Одноюнитовый двухпроцессорный сервер с сокетами третьего поколения Intel Xeon Scalable. Сервер Nerpa Server 5000 N1 — это аналог сервера ASUS RS700-E10-RS12U.
Сервер поддерживает 32 планки DIMM общим объёмом до 6 ТБ на сокет (12 ТБ на сервер), установку одной двухслотовой GPU, 12 NVMe, одну плату OCP NET 3.0, две M.2. Управление через ASUS ASMB10-iKVM.
Ключевые функции
- Процессор Intel Scalable 3-го поколения с 32 модулями DIMM и поддержкой максимального TDP до 270 Вт на сокет
- GPU-ориентированный дизайн, поддержка одной двухслотовой платы GPU
- До 12 NVMe дисков на фронтальной панели
- До трёх PCIe 4.0 слотов
- Четыре 1 Gb LAN или два 10 Gb LAN порта
- Гибкое решение для воздушного и жидкостного охлаждения
- Встроенный ПО ASUS ASMB10-iKVM для взаимодействия с контроллером ASPEED AST2600
- Интегрированная PFR FPGA в качестве платформы Root-of-Trust
- Два резервируемых БП 1600 Вт или 1200 Вт 80 Plus Titanium/Platinum
Панели и индикация
На передней панели расположены кнопки Power и Reset, LED индикаторы и фронтальные дисковые слоты.
- Слоты с 1 по 8 поддерживают NVMe/SATA. Для SAS требуется PIKE II карта или RAID контроллер.
- Слоты с 9 по 12 поддерживают NVMe/SATA.
- Все слоты поддерживают 2.5” диска с салазками.
- Power LED
- ON — система включена
- Message LED
- OFF — нормальная работа; нет сообщений
- ON — сообщение об аппаратной проблеме
- Location LED
- OFF — нормальная работа
- ON — включён индикатор локации
- LAN LEDs
- OFF — нет сетевого соединения
- Мигает — передача данных
- ON — есть сетевое соединение
Индикаторы дисков.
- Горит зелёный — SATA/SAS диск включён
- Горит красный — сбой диска, требуется замена
- Мигает зелёный/красный — перестроение массива
- Мигает зелёный/красный — обнаружение диска
- Оба не горят — диск не найден
- Мигает зелёный — чтение/запись данных
На задней панели доступны слоты расширения, блоки питания, порты I/O.
- * Порт управления только для ASUS ASMB10-iKVM.
- Первый слот 1 x PCIe 4.0 x16 slot, FHFL (x8 или x16)
- Второй слот 1 x PCIe 4.0 x16 slot, FHFL (x8 или x16)
- Третий внутренний слот 1 x PCIe 4.0 x8 slot, для RAID контроллера
- Четвёртый слот 1 x PCIe 4.0 slot, LPHL (x16 или x8, если используются M.2 диски, то слот работает как x8.)
- Power LED
- ON — система включена
- Location LED
- OFF — нормальная работа
- ON — включён индикатор локации
Компоненты сервера
- Резервируемые блоки питания
- Материнская плата ASUS Z12PP-D32
- Вентиляторы
- Плата вентиляторов
- 12 x 2.5“ дисковых слотов
- NVMe/SATA/SAS бэкплейн
- PCI райзер
- Райзер бабочка (Gen4 x16)
- Шильдик
- Внешний вентилятор (опционально для GPU)
- OCP адаптер
Порядок планок памяти
с
Характеристики Nerpa
https://nerpa-it.ru/products/servers#Sever_5000_series
- Модель: Nerpa Server 5000 N1
- Форм-фактор: стоечный сервер 1U
- Процессор: два процессора из следующих семейств:
- Intel® Xeon® Bronze
- Intel® Xeon® Silver
- Intel® Xeon® Gold
- Intel® Xeon® Platinum
- Поддержка CPU TDP 70-270W
- Система хранения данных (корпус)
- 12 Hot-swap 2.5" SAS/SATA/NVMe
- 2 x M.2 2260/2280
- Память
- 32 x DDR4 DIMM слота
- Поддерживается 3DS ECC DDR4-3200MHz RDIMM/LRDIMM
- Тип памяти: RDIMM/LRDIMM
- Поддержка Intel® Optane™ DCPMM
- Максимальный объем ОЗУ: до 6ТБ
- RAID-контроллеры
- Внутренний программный контроллер: Intel® C621A chipset SATA3 (6Gbps); RAID 0, 1, 5, 10
- Внешние адаптеры HBA: 8/16 internal ports (12Gb/s) SAS HBA (без RAID/с RAID)
- Внешние адаптеры RAID: 8/16 internal ports (12Gb/s) 0, 1, 10, 1E, 5, 6, 50, 60
- Внешние адаптеры HBA/RAID: 8/16 external ports (12Gb/s)
- Утилиты
- OpenManage Server Administrator
- Repository Manager
- System Update
- Server Update Utility
- Update Catalogs
- IPMI Tool
- Слоты расширения ввода / вывода
- 1 x VGA
- 2 x USB 3.2 ports
- Питание: два на 1100-1600 Вт блока питания
- Операционные системы
- Microsoft Windows Server с Hyper-V
- Red Hat Enterprise Linux
- Ubuntu Server
- XenServer Citrix
- SUSE Linux Enterprise Server
- VMware ESXi
- Размеры и вес
- Ширина шасси: 449 mm
- Глубина шасси: 842 mm
- Высота шасси: 43 mm
- Вес шасси: ~ 13.7 кг
Характеристики ASUS
https://servers.asus.com/products/servers/rack-servers/RS700-E10-RS12U
- Процессор
- 2 x Socket P+ (LGA 4189)
- 3rd Gen Intel Xeon Scalable Processors Family(270w)
- UPI (11.2 GT/s)
- Поколение: E10
- Чип: Intel® C621A Chipset
- Память
- Слотов: 32 (8-channel per CPU, 16 DIMM per CPU)
- Ёмкость: До 6 ТБ на сокет
- Тип памяти:
- DDR4 3200/2933 RDIMM
- DDR4 3200/2933 LRDIMM
- DDR4 3200/2933 RDIMM 3DS
- Объём памяти
- 64GB, 32GB, 16GB, 8GB RDIMM
- 256GB, 128GB, 64GB RDIMM 3DS
- 128GB LRDIMM/LR-DIMM 3DS
- 512GB, 256GB, 128GB Intel® Optane™ DC persistent memory 200 Series (DCPMM)
- Частота памяти зависит от типа процессора и планки памяти
- Слоты расширения
- 3 слота расширения + 1 x Internal PIKE слот
- 1 x PCIe Gen4 x16, FHFL (CPU1)
- 1 x PCIe Gen4 x16, FHFL or OCP3.0 (CPU2)
- 1 x PCIe Gen4 x8 or x16, LP (при использовании PCIe M.2 работает как x8) (CPU2)
- Хранилище
- Storage Controller:
- Intel C621A
- Intel® Rapid Storage Technology Enterprise(RSTe) (Linux/Windows)
- (Support Software RAID 0, 1, 5, 10 )
- Intel VROC (Linux/Windows)
- (Support Software RAID 0/1/5/10 )
- SAS Controller:
- ASUS PIKE II 3008-8i 8-port SAS 12G RAID card (Optional)
- ASUS PIKE II 3108-8i 8-port SAS 12G HW RAID card (Optional)
- Broadcom MegaRAID 9560-16i (Optional)
- Storage Controller:
- Диски
- 12 x 2.5" hot-swap bays (12 x NVMe/SAS*/SATA)
- 2 x M.2 connector (NGFF 2280/2260. PCIe Gen4x4 link)
- SAS поддерживается только с SAS HBA/RAID контроллером
- Вентиляторы
- 9 (GPU SKU имеет возможность установки дополнительного внешнего вентилятора)
- Сеть
- Вариант 1: 1 x Quad Port Intel I350-AM4 1G LAN Controller + 1 x Mgmt LAN
- Вариант 2: 1 x Dual Port Intel X710-AT2 Gigabit 10G LAN Controller + 1 x Mgmt LAN
- Вариант 3: 1 x Mgmt LAN
- Графика
- Aspeed AST2600 with 64MB VRAM
- Multi-GPU Support
- Задние I/O порты
- 2 x USB 3.2 Gen1
- 1 x VGA
- 1 x RJ-45 Mgmt LAN
- 4/2 x NIC
- Передние кнопки и индикаторы
- 1 x Power Switch (w/ LED)
- 1 x Reset Switch
- 1 x Location Switch (w/ LED)
- 1 x HDD Access LED (с ASUS PIKE II)
- 1 x Message LED
- LAN 1-4 LED
- Задние кнопки и индикаторы
- 1 x Port 80 LED (Q-Code)
- 1 x Power Switch w/ LED
- 1 x Location Switch w/ LED
- Операционные системы: https://servers.asus.com/support/os
- Управление
- ASUS Control Center Enterprise (Optional) On-Board ASMB10-iKVM for KVM-over-IP
- Размеры и вес
- 842.5mm x 449mm x 44mm (1U) 33.17” x 17.68” x 1.73”
- Форм-фактор: 1U
- Вес: 13.7KG
- Электропитание
- 1+1 Redundant 1600W 80 PLUS Platinum Power Supply Rating: 100-127Vac/200-240Vac, 13A/9.5A (for each inlet), 50-60Hz, Class I
- 1+1 Redundant 1200W 80 PLUS Platinum Power Supply Rating: 100-127Vac/200-240Vac, 10A/8A (for each inlet), 50/60Hz, Class I
- Окружающая среда
- Рабочая температура: 10℃ ~ 35℃
- Температура хранения: -40℃ ~ 60℃
- Влажность при хранении: 20% ~ 90% (без конденсата)
Упаковка и комплектация
Доставили два сервера, давайте один распакуем и посмотрим что внутри. Коробки невысокие и длинные, не в каждый багажник войдут.
Вот что должно быть внутри:
- Сервер ASUS Model Name RS700-E10-RS12U
- Chassis ASUS R12F 1U Rackmount Chassis
- Motherboard ASUS Z12PP-D32 Server Board
- Component
- 1 x 80 PLUS Power Supply
- 1 x 2.5-inch Storage Device Backplane
- 12 x 2.5-inch Storage Device Trays or Dummy Trays
- 2 x Fan Board
- 1 x Front Panel Board
- 2 x Riser Card
- 9 x System Fans
- Accessories
- 1 x Support DVD
- 1 x Bag of Screws
- 2 x CPU Heatsink
- 2 x AC Power Cable
- 1 x External Fan Module (Optional)
- 1 x OCP3.0 Adapter Card (Optional)
- 1 x LAN Module (Optional)
- Optional Items
- 1 x 80 PLUS Power Supply (Second PSU)
- 1 x Friction Rail Kit
- 1 x Ball Bearing Rail Kit (1000mm)
- 1 x Ball Bearing Rail Kit (1200mm)
- 1 x 1 x Cable Management Arm (1200m Cabinet only)
Упаковано очень хорошо. Вверху две коробки с мелочами.
Среди мелочей два кабеля питания под евроразъём, пригодятся.
Гарантийный талон и руководство по эксплуатации.
Планка для вывода внешнего серийного порта на один из PCIe слотов.
Кабели питания, так понимаю, для подключения GPU.
Комплект винтов для крепления M.2.
Набор винтов для дисков и PCIe плат.
Наклейки на салазки.
Высокопрофильные планки от контроллера и SFP+ сетевухи, которые нам при сборке установили в сервер.
Длинный кабель от батарейки RAID контроллера, в нашем случае не пригодится, потому как использован короткий кабель.
Диск с серверным ПО и драйверами.
Диск с драйверами сетевухи, она не входит в комплект сервера и была установлена по заказу.
Под сервером лежат салазки. Расположение необычное, но позволяет оптимизировать центр тяжести коробки.
Ещё коробочка.
Это у нас комплект для установки адаптера OCP NIC 3.0. Два кабеля и сам адаптер.
Два кабеля OCP_SIDE1 - OCP_NSCI1 и OCP_SIDE1 - OCP_BUS1 вижу, а вот двух кабелей для подключения к SLMPCIE коннекторам нет. На самом деле это опциональная комплектация, если вы собираетесь ставить OCP сетевуху, то проверяйте комплект полностью.
Хм, возможно в качестве SLMPCIE кабелей нужно использовать те, что идут к райзеру, но тогда не будут работать сами PCIe слоты. Непонятно, нужно будет уточнить.
OCP 3.0 адаптер. Сфотографирую модель, потому как в мануале по дополнительным опциям отсутствует. RG16L-OCP-R1P-A.
Достаём сервер.
Верхняя часть сервера в плёнке, снимаем её.
Внешний вид и содержимое сервера
Сервер длинный, имейте в виду. Сервер не влезают в стандартные стойки с вертикальными розетками PDU.
А если установить GPU с внешним вентилятором, то габаритная глубина сервера увеличится ещё больше.
Передняя панель чёрная, вместе с салазками. Сервер фиксируется в стойке с помощью двух винтов, которые можно закрутить вручную.
Снизу имеется выдвижной шильдик, для маркировки.
В правой нижней части расположены индикаторы и кнопки управления.
Такое компактное расположение элементов позволило разместить на передней панели 12 дисковых слотов.
На салазках нет маркировки.
Диски можно устанавливать любые, у меня под систему диски Toshiba HDD 1.2 ТБ SAS.
HDD Toshiba 1.2 ТБ SAS — AL15SEB12EQ
А под данные Samsung SSD 7.68 ТБ.
Samsung SSD 7.68 ТБ — MZILT7T6HALA-00007
Задняя панель.
Первый и второй PCIe слоты у меня не используются.
В четвёртом PCIe слоте установлен SFP+ сетевой адаптер.
USB и BMC порты на задней панели. Плюс два порта 10G от сетевой карты.
Вот эта карта.
Два резервируемых блока питания по 1600 Вт.
Блоки питания поддерживают горячую замену.
На блоках питания имеются пластиковые хомуты для крепления кабеля питания. Не люблю их, со временем пересыхают и становятся хрупкими. Лучше сразу использовать вместо них липучки.
У меня стоят блоки 80 PLUS Platinum.
Заглянем под крышку.
В сервер можно установить полнопрофильную двухслотовую GPU карту. Хорошо виден третий PCI слот, в нём сейчас установлен RAID контроллер. Кстати, для батарейки контроллера предусмотрено место на соседнем райзере.
Девять встроенных вентиляторов.
Вентиляторы съёмные, питаются и управляются от специальной платы. Стрелками указано направление воздушного потока.
За дисками расположен бэкплейн.
Варианты подключения можно найти в мануале.
Райзер.
С обратной стороны подключается RAID контроллер в третий PCIe слот.
В роли RAID контроллера у меня выступает LSI MegaRAID SAS 9361-8i. Такой контроллер мне уже встречался.
LSI MegaRAID SAS 9361-8i — 12Gb/s SAS/SATA контроллер
MegaRAID SAS 9361-8i с восемью внутренними портами оснащён двумя процессорными ядрами PowerPC с частотой 1.2 ГГц, 72-разрядным интерфейсом DDR3 с 2 ГБ кэш-памяти. Контроллер работает на базе SAS3108 RAID-on-Chip (ROC), греется как утюг. Поддерживаются массивы RAID0, RAID1, RAID10, RAID5, RAID6, RAID50, RAID60. Модуль защиты флэш-кэша CacheVault еще больше усиливает возможности защиты данных MegaRAID SAS 9361-8i.
CacheVault стоит.
А батарейка прикручивается к другому райзеру.
Снимем посмотреть.
В райзере установлена сетевая карта LR-Link LRES1002PF-2SFP+.
R-Link PCIe x8 10G Dual-Port Server Adapter — LRES1002PF-2SFP+
Карту буду менять, эта не поддерживает ESXi.
Ниже карты крепится батарейка для CacheVault. Крепление идёт в комплекте с батарейкой.
С другой стороны подключена сетевая карта.
Материнская плата ASUS Z12PP-D32.
Есть слот для MicroSD.
Какая прелесть.
Первый запуск
Собираю всё в куча и включаю.
На задней панель отображается код POST.
NERPA приветствует нас.
Сервер грузится.
Ссылки
E18110_RS700-E10-RS12U_UM_WEB.pdf
Zabbix шаблон для мониторинга ASUS ASMB10-iKVM
