Nerpa Server 5000 N1 — обзор

Олег

11 февраля 2023

Одноюнитовый двухпроцессорный сервер с сокетами третьего поколения Intel Xeon Scalable. Сервер Nerpa Server 5000 N1 — это аналог сервера ASUS RS700-E10-RS12U.

Сервер поддерживает 32 планки DIMM общим объёмом до 6 ТБ на сокет (12 ТБ на сервер), установку одной двухслотовой GPU, 12 NVMe, одну плату OCP NET 3.0, две M.2. Управление через ASUS ASMB10-iKVM.

ASMB10-iKVM — большой обзор

Ключевые функции

Процессор Intel Scalable 3-го поколения с 32 модулями DIMM и поддержкой максимального TDP до 270 Вт на сокет
GPU-ориентированный дизайн, поддержка одной двухслотовой платы GPU
До 12 NVMe дисков на фронтальной панели
До трёх PCIe 4.0 слотов
Четыре 1 Gb LAN или два 10 Gb LAN порта
Гибкое решение для воздушного и жидкостного охлаждения
Встроенный ПО ASUS ASMB10-iKVM для взаимодействия с контроллером ASPEED AST2600
Интегрированная PFR FPGA в качестве платформы Root-of-Trust
Два резервируемых БП 1600 Вт или 1200 Вт 80 Plus Titanium/Platinum

nerpa

Панели и индикация

На передней панели расположены кнопки Power и Reset, LED индикаторы и фронтальные дисковые слоты.

nerpa

Слоты с 1 по 8 поддерживают NVMe/SATA. Для SAS требуется PIKE II карта или RAID контроллер.
Слоты с 9 по 12 поддерживают NVMe/SATA.
Все слоты поддерживают 2.5” диска с салазками.

nerpa

Power LED
- ON — система включена
Message LED
- OFF — нормальная работа; нет сообщений
- ON — сообщение об аппаратной проблеме
Location LED
- OFF — нормальная работа
- ON — включён индикатор локации
LAN LEDs
- OFF — нет сетевого соединения
- Мигает — передача данных
- ON — есть сетевое соединение

Индикаторы дисков.

nerpa

Горит зелёный — SATA/SAS диск включён
Горит красный — сбой диска, требуется замена
Мигает зелёный/красный — перестроение массива
Мигает зелёный/красный — обнаружение диска
Оба не горят — диск не найден
Мигает зелёный — чтение/запись данных

На задней панели доступны слоты расширения, блоки питания, порты I/O.

nerpa

* Порт управления только для ASUS ASMB10-iKVM.

nerpa

Первый слот 1 x PCIe 4.0 x16 slot, FHFL (x8 или x16)
Второй слот 1 x PCIe 4.0 x16 slot, FHFL (x8 или x16)
Третий внутренний слот 1 x PCIe 4.0 x8 slot, для RAID контроллера
Четвёртый слот 1 x PCIe 4.0 slot, LPHL (x16 или x8, если используются M.2 диски, то слот работает как x8.)

nerpa

Power LED
- ON — система включена
Location LED
- OFF — нормальная работа
- ON — включён индикатор локации

Компоненты сервера

nerpa

Резервируемые блоки питания
Материнская плата ASUS Z12PP-D32
Вентиляторы
Плата вентиляторов
12 x 2.5“ дисковых слотов
NVMe/SATA/SAS бэкплейн
PCI райзер
Райзер бабочка (Gen4 x16)
Шильдик
Внешний вентилятор (опционально для GPU)
OCP адаптер

Порядок планок памяти

nerpa с

huawei

Характеристики Nerpa

https://nerpa-it.ru/products/servers#Sever_5000_series

Модель: Nerpa Server 5000 N1
Форм-фактор: стоечный сервер 1U
Процессор: два процессора из следующих семейств:
- Intel® Xeon® Bronze
- Intel® Xeon® Silver
- Intel® Xeon® Gold
- Intel® Xeon® Platinum
- Поддержка CPU TDP 70-270W
Система хранения данных (корпус)
- 12 Hot-swap 2.5" SAS/SATA/NVMe
- 2 x M.2 2260/2280
Память
- 32 x DDR4 DIMM слота
- Поддерживается 3DS ECC DDR4-3200MHz RDIMM/LRDIMM
- Тип памяти: RDIMM/LRDIMM
- Поддержка Intel® Optane™ DCPMM
- Максимальный объем ОЗУ: до 6ТБ
RAID-контроллеры
- Внутренний программный контроллер: Intel® C621A chipset SATA3 (6Gbps); RAID 0, 1, 5, 10
- Внешние адаптеры HBA: 8/16 internal ports (12Gb/s) SAS HBA (без RAID/с RAID)
- Внешние адаптеры RAID: 8/16 internal ports (12Gb/s) 0, 1, 10, 1E, 5, 6, 50, 60
- Внешние адаптеры HBA/RAID: 8/16 external ports (12Gb/s)
Утилиты
- OpenManage Server Administrator
- Repository Manager
- System Update
- Server Update Utility
- Update Catalogs
- IPMI Tool
Слоты расширения ввода / вывода
- 1 x VGA
- 2 x USB 3.2 ports
Питание: два на 1100-1600 Вт блока питания
Операционные системы
- Microsoft Windows Server с Hyper-V
- Red Hat Enterprise Linux
- Ubuntu Server
- XenServer Citrix
- SUSE Linux Enterprise Server
- VMware ESXi
Размеры и вес
- Ширина шасси: 449 mm
- Глубина шасси: 842 mm
- Высота шасси: 43 mm
- Вес шасси: ~ 13.7 кг

Характеристики ASUS

https://servers.asus.com/products/servers/rack-servers/RS700-E10-RS12U

Процессор
- 2 x Socket P+ (LGA 4189)
- 3rd Gen Intel Xeon Scalable Processors Family(270w)
- UPI (11.2 GT/s)
Поколение: E10
Чип: Intel® C621A Chipset
Память
- Слотов: 32 (8-channel per CPU, 16 DIMM per CPU)
- Ёмкость: До 6 ТБ на сокет
- Тип памяти:
  - DDR4 3200/2933 RDIMM
  - DDR4 3200/2933 LRDIMM
  - DDR4 3200/2933 RDIMM 3DS
- Объём памяти
  - 64GB, 32GB, 16GB, 8GB RDIMM
  - 256GB, 128GB, 64GB RDIMM 3DS
  - 128GB LRDIMM/LR-DIMM 3DS
  - 512GB, 256GB, 128GB Intel® Optane™ DC persistent memory 200 Series (DCPMM)
- Частота памяти зависит от типа процессора и планки памяти
Слоты расширения
- 3 слота расширения + 1 x Internal PIKE слот
- 1 x PCIe Gen4 x16, FHFL (CPU1)
- 1 x PCIe Gen4 x16, FHFL or OCP3.0 (CPU2)
- 1 x PCIe Gen4 x8 or x16, LP (при использовании PCIe M.2 работает как x8) (CPU2)
Хранилище
- Storage Controller:
  - Intel C621A
  - Intel® Rapid Storage Technology Enterprise(RSTe) (Linux/Windows)
  - (Support Software RAID 0, 1, 5, 10 )
  - Intel VROC (Linux/Windows)
  - (Support Software RAID 0/1/5/10 )
- SAS Controller:
  - ASUS PIKE II 3008-8i 8-port SAS 12G RAID card (Optional)
  - ASUS PIKE II 3108-8i 8-port SAS 12G HW RAID card (Optional)
  - Broadcom MegaRAID 9560-16i (Optional)
Диски
- 12 x 2.5" hot-swap bays (12 x NVMe/SAS*/SATA)
- 2 x M.2 connector (NGFF 2280/2260. PCIe Gen4x4 link)
- SAS поддерживается только с SAS HBA/RAID контроллером
Вентиляторы
- 9 (GPU SKU имеет возможность установки дополнительного внешнего вентилятора)
Сеть
- Вариант 1: 1 x Quad Port Intel I350-AM4 1G LAN Controller + 1 x Mgmt LAN
- Вариант 2: 1 x Dual Port Intel X710-AT2 Gigabit 10G LAN Controller + 1 x Mgmt LAN
- Вариант 3: 1 x Mgmt LAN
Графика
- Aspeed AST2600 with 64MB VRAM
- Multi-GPU Support
Задние I/O порты
- 2 x USB 3.2 Gen1
- 1 x VGA
- 1 x RJ-45 Mgmt LAN
- 4/2 x NIC
Передние кнопки и индикаторы
- 1 x Power Switch (w/ LED)
- 1 x Reset Switch
- 1 x Location Switch (w/ LED)
- 1 x HDD Access LED (с ASUS PIKE II)
- 1 x Message LED
- LAN 1-4 LED
Задние кнопки и индикаторы
- 1 x Port 80 LED (Q-Code)
- 1 x Power Switch w/ LED
- 1 x Location Switch w/ LED
Операционные системы: https://servers.asus.com/support/os
Управление
- ASUS Control Center Enterprise (Optional) On-Board ASMB10-iKVM for KVM-over-IP
Размеры и вес
- 842.5mm x 449mm x 44mm (1U) 33.17” x 17.68” x 1.73”
- Форм-фактор: 1U
- Вес: 13.7KG
Электропитание
- 1+1 Redundant 1600W 80 PLUS Platinum Power Supply Rating: 100-127Vac/200-240Vac, 13A/9.5A (for each inlet), 50-60Hz, Class I
- 1+1 Redundant 1200W 80 PLUS Platinum Power Supply Rating: 100-127Vac/200-240Vac, 10A/8A (for each inlet), 50/60Hz, Class I
Окружающая среда
- Рабочая температура: 10℃ ~ 35℃
- Температура хранения: -40℃ ~ 60℃
- Влажность при хранении: 20% ~ 90% (без конденсата)

Упаковка и комплектация

Доставили два сервера, давайте один распакуем и посмотрим что внутри. Коробки невысокие и длинные, не в каждый багажник войдут.

nerpa

Вот что должно быть внутри:

Сервер ASUS Model Name RS700-E10-RS12U
Chassis ASUS R12F 1U Rackmount Chassis
Motherboard ASUS Z12PP-D32 Server Board
Component
- 1 x 80 PLUS Power Supply
- 1 x 2.5-inch Storage Device Backplane
- 12 x 2.5-inch Storage Device Trays or Dummy Trays
- 2 x Fan Board
- 1 x Front Panel Board
- 2 x Riser Card
- 9 x System Fans
Accessories
- 1 x Support DVD
- 1 x Bag of Screws
- 2 x CPU Heatsink
- 2 x AC Power Cable
- 1 x External Fan Module (Optional)
- 1 x OCP3.0 Adapter Card (Optional)
- 1 x LAN Module (Optional)
Optional Items
- 1 x 80 PLUS Power Supply (Second PSU)
- 1 x Friction Rail Kit
- 1 x Ball Bearing Rail Kit (1000mm)
- 1 x Ball Bearing Rail Kit (1200mm)
- 1 x 1 x Cable Management Arm (1200m Cabinet only)

Упаковано очень хорошо. Вверху две коробки с мелочами.

nerpa

Среди мелочей два кабеля питания под евроразъём, пригодятся.

nerpa

Гарантийный талон и руководство по эксплуатации.

nerpa

Планка для вывода внешнего серийного порта на один из PCIe слотов.

nerpa

Кабели питания, так понимаю, для подключения GPU.

nerpa

Комплект винтов для крепления M.2.

nerpa

Набор винтов для дисков и PCIe плат.

nerpa

Наклейки на салазки.

nerpa

Высокопрофильные планки от контроллера и SFP+ сетевухи, которые нам при сборке установили в сервер.

nerpa

Длинный кабель от батарейки RAID контроллера, в нашем случае не пригодится, потому как использован короткий кабель.

nerpa

Диск с серверным ПО и драйверами.

nerpa

Диск с драйверами сетевухи, она не входит в комплект сервера и была установлена по заказу.

nerpa

Под сервером лежат салазки. Расположение необычное, но позволяет оптимизировать центр тяжести коробки.

nerpa

Ещё коробочка.

nerpa

Это у нас комплект для установки адаптера OCP NIC 3.0. Два кабеля и сам адаптер.

nerpa

Два кабеля OCP_SIDE1 - OCP_NSCI1 и OCP_SIDE1 - OCP_BUS1 вижу, а вот двух кабелей для подключения к SLMPCIE коннекторам нет. На самом деле это опциональная комплектация, если вы собираетесь ставить OCP сетевуху, то проверяйте комплект полностью.

Хм, возможно в качестве SLMPCIE кабелей нужно использовать те, что идут к райзеру, но тогда не будут работать сами PCIe слоты. Непонятно, нужно будет уточнить.

nerpa

OCP 3.0 адаптер. Сфотографирую модель, потому как в мануале по дополнительным опциям отсутствует. RG16L-OCP-R1P-A.

nerpa

Достаём сервер.

nerpa

Верхняя часть сервера в плёнке, снимаем её.

Внешний вид и содержимое сервера

nerpa

Сервер длинный, имейте в виду. Сервер не влезают в стандартные стойки с вертикальными розетками PDU.

Ах ты ж, длинная Нерпа...

nerpa

А если установить GPU с внешним вентилятором, то габаритная глубина сервера увеличится ещё больше.

nerpa

Передняя панель чёрная, вместе с салазками. Сервер фиксируется в стойке с помощью двух винтов, которые можно закрутить вручную.

nerpa

Снизу имеется выдвижной шильдик, для маркировки.

nerpa

В правой нижней части расположены индикаторы и кнопки управления.

nerpa

Такое компактное расположение элементов позволило разместить на передней панели 12 дисковых слотов.

nerpa

На салазках нет маркировки.

hdd

Диски можно устанавливать любые, у меня под систему диски Toshiba HDD 1.2 ТБ SAS.

HDD Toshiba 1.2 ТБ SAS — AL15SEB12EQ

samsung

А под данные Samsung SSD 7.68 ТБ.

Samsung SSD 7.68 ТБ — MZILT7T6HALA-00007

nerpa

Задняя панель.

nerpa

Первый и второй PCIe слоты у меня не используются.

nerpa

В четвёртом PCIe слоте установлен SFP+ сетевой адаптер.

nerpa

USB и BMC порты на задней панели. Плюс два порта 10G от сетевой карты.

nerpa

Вот эта карта.

nerpa

Два резервируемых блока питания по 1600 Вт.

nerpa

Блоки питания поддерживают горячую замену.

nerpa

На блоках питания имеются пластиковые хомуты для крепления кабеля питания. Не люблю их, со временем пересыхают и становятся хрупкими. Лучше сразу использовать вместо них липучки.

nerpa

У меня стоят блоки 80 PLUS Platinum.

huawei

Заглянем под крышку.

nerpa

В сервер можно установить полнопрофильную двухслотовую GPU карту. Хорошо виден третий PCI слот, в нём сейчас установлен RAID контроллер. Кстати, для батарейки контроллера предусмотрено место на соседнем райзере.

huawei

Девять встроенных вентиляторов.

nerpa

Вентиляторы съёмные, питаются и управляются от специальной платы. Стрелками указано направление воздушного потока.

nerpa

За дисками расположен бэкплейн.

nerpa

Варианты подключения можно найти в мануале.

nerpa

Райзер.

nerpa

С обратной стороны подключается RAID контроллер в третий PCIe слот.

nerpa

В роли RAID контроллера у меня выступает LSI MegaRAID SAS 9361-8i. Такой контроллер мне уже встречался.

LSI MegaRAID SAS 9361-8i — 12Gb/s SAS/SATA контроллер

MegaRAID SAS 9361-8i с восемью внутренними портами оснащён двумя процессорными ядрами PowerPC с частотой 1.2 ГГц, 72-разрядным интерфейсом DDR3 с 2 ГБ кэш-памяти. Контроллер работает на базе SAS3108 RAID-on-Chip (ROC), греется как утюг. Поддерживаются массивы RAID0, RAID1, RAID10, RAID5, RAID6, RAID50, RAID60. Модуль защиты флэш-кэша CacheVault еще больше усиливает возможности защиты данных MegaRAID SAS 9361-8i.

nerpa