Сервер Supermicro SYS-120U-TNR

Всем привет, сегодня нам привезли парочку новеньких серверов Supermicro Ultra SuperServer SYS-120U-TNR. Производитель указывает достаточно широкие области применения:

• виртуализация
• облачные вычисления
• Software Defined Storage — программно определяемое хранилище
• 5G телекоммуникации
• HPC — высокопроизводительные вычисления
• корпоративный сервер высокого класса
• провайдер услуг прикладного уровня
• NVIDIA certified

Этому способствуют две вещи: компактный размер в 1U и богатые аппаратные возможности. К примеру, возможность установки до 12 NVMe/SATA/SAS дисков.

https://www.supermicro.com/en/products/system/ultra/1u/sys-120u-tnr

Ключевые опции

1. Два сокета P+ (LGA-4189) 3 поколение процессоров Gen Intel Xeon Scalable Processors
2. Intel C621A чипсет
3. 32 DIMM слота, до 8TB DRAM, до 8TB Intel Optane Persistent Memory (до 12TB с DRAM), 3200/2933/2666 ECC DDR4 LRDIMM; RDIMM; Intel Optane Persistent Memory 200 серии
4. 1 Internal PCIe 4.0 x16, 1 PCIe 4.0 x16 (LP), 2 PCIe 4.0 x16 (FH, 10.5"L)
5. Гибкие опции сети
6. 12 x 2.5" гибридных NVMe/SATA/SAS дисковых слотов с возможностью горячей замены
7. 8 высокопроизводительных управляемых вентиляторов
8. 1200W резервируемые блоки питания Titanium level

Панели и индикация

Фронтальная панель

• 0-5 — 2.5" SATA/SAS3*/NVMe дисковые столы с поддержкой горячей замены (NVMe для CPU1)
• 6-11 — 2.5" SATA/SAS3*/NVMe дисковые столы с поддержкой горячей замены (NVMe для CPU2)

Индикация дисков:

? solid on — SAS или NVMe диск установлен
? blinking — I/O активность
⚫ off — SATA диск установлен

? solid on — сбой
? blinking 1 Гц — перестроение
? blinking 4 Гц — идентификация
? blinking 2+1 1 Гц — hot spare
? blinking 1 на 5 сек — drive power on

? blinking 1 Гц — внимание, не извлекать

? solid on — можно извлечь

• UID button/LED, BMC reset — включает или выключает синий индикатор идентификации, кнопку можно использовать для сброса BMC
• Information LED — информация о статусе
• NIC LED — активность сети
• HDD — активность дисков
• Power LED
  • ? steady on — включено
  • ? blinking 4 Гц — проверка целостности BIOS/BMC
  • ? blinking 4 Гц + ? Information LED — прошивка BIOS
  • ? blinking 2 4 Гц, pause 2 Гц + ?Information LED blue — прошивка BMC
  • ? blinking 1 Гц + ? Information LED — ошибка
• Power button — включает/выключает питание, для принудительного выключения удерживайте 4 сек

Information LED:

? solid — перегрев
? blinking 1 Гц — сбой вентилятора
? blinking 0.25 Гц — сбой питания
? solid + ? Power LED blinking — ошибка

?? blinking 10 Гц — recovery mode
? solid — UID идентификация локально
? blinking 1 Гц — UID идентификация через BMC
? blinking 2 Гц — BMC reset
? blinking 4 Гц — BMC сброс на заводские настройки
? blinking 10 Гц + ? Power LED blinking — прошивка BMC/BIOS

Задняя панель

• Power Supplies — резервируемые блоки питания, PWS1 слева, PWS2 справа
• 0 — LAN порты от опции Ultra riser card
• 1 — PCIe x16 Internal LP, 75W (CPU2) для Ultra riser card
  • AOC-URG4N4
  • AOC-URG4N4-i2XT
  • AOC-URG4N4-i4XTS
  • AOC-URG4N4-m2TS
• 2 — PCIe x16 low profile, 75W (CPU1)
  • RSC-WR-6
• 3 — PCIe x16 FH, 10.5”L, 75W (CPU2)
  4 — PCIe x16 FH, 10.5”L, 75W (CPU1)
  • RSC-W-66G4
• USB — два порта USB 3.0
• BMC LAN — порт управления IPMI
• UID Button/BMC Reset — включает или выключает синий индикатор идентификации, кнопку можно использовать для сброса BMC
• COM — серийный порт
• VGA — видео порт

Порты на задней панели:

1. USB0 (3.0)
2. USB1 (3.0)
3. BMC Dedicated LAN
4. COM1
5. UID Switch
6. VGA

Внешний вид

• Power Supply — резервируемые блоки питания
• SATADOM порты — два порта Disk-on-Module позволяют установить флешки на материнку
• DIMM слоты — 32 слота памяти
• Процессоры — Два Intel Xeon Scalable Processors с радиаторами, SNK-P0077P
• Вентиляторы — 8 4 см двойных вентиляторов, FAN-0201L4

Структурная схема системы

Материнская плата

Схема:

Структурная схема материнской платы:

Память

Поддерживаемая память:

Нумерация слотов:

Порядок установки:

Optane PMem 200 Series:

Характеристики

• Общие
  • Product SKUs: SuperServer SYS-120U-TNR (Black Front & Silver Body)
  • Материнская плата: Super X12DPU-6
  • BIOS: AMI 32MB SPI Flash EEPROM
  • Форм-фактор: 1U
  • Шасси: CSE-119UH3TS-R1K22P-T
• Процессор
  • CPU: Dual Socket P+ (LGA-4189) 3rd Gen Intel Xeon Scalable processors
  • Core Count: Up to 40C/80T; Up to 60MB Cache per CPU
  • Поддерживаются процессоры до 270W TDP (Air Cooled)
• GPU (ошибка в описании на сайте производителя, можно воткнуть только одну двухслотовую карту)
  • Max GPU Count: 1 двухслотовая или 2 однослотовые
  • Совместимые GPU: NVIDIA PCIe A16, A100, T4, A2
  • NVIDIA certified
• Память
  • Memory Capacity: 32 DIMM slots
    Up to 8TB: 32x 256 GB DRAM
    Up to 12TB: 16x 512 GB PMem and 16x 256 GB DRAM
    Memory Type: 3200/2933/2666MHz ECC DDR4 RDIMM;LRDIMM
    Intel Optane persistent memory 200 series
  • Напряжение: 1.2 В
  • Error Detection: ECC
• On-Board Devices
  • SATA: SATA3 (6Gbps) via Intel PCH 621A; RAID 0/1/5/10 support
  • NVMe: NVMe (16GT/s); RAID 0/1/5/10 support
  • Chipset: Intel C621A
  • Network Connectivity
    • 2x 10GbE BaseT with Intel X710-AT2 (optional) или
    • 2x 10GbE BaseT and 2x 10GbE SFP+ with Intel X710-TM4 (optional)
    • No NIC option supported
  • IPMI: Support for Intelligent Platform Management Interface v.2.0, IPMI 2.0 with virtual media over LAN and KVM-over-LAN support
• Input / Output
  • LAN: 1 RJ45 Dedicated BMC LAN port
  • USB: 3 USB 3.0 port(s) (1 front; 2 rear)
  • Video: 1 VGA port(s)
  • Serial Port: 1 COM Port(s) (1 rear)
  • DOM: 2 SuperDOM (Disk on Module) port
• Управление
  • ПО
    • IPMI 2.0
    • KVM with dedicated LAN
    • Super Diagnostics Offline
    • SuperDoctor® 5
    • Supermicro Update Manager (SUM)
    • Supermicro Power Manager (SPM)
    • Supermicro Server Manager (SSM)
    • Redfish API
  • Power Configurations
    • ACPI Power Management
    • Power-on mode for AC power recovery
• Безопасность
  • Hardware
    • Trusted Platform Module (TPM) 2.0
    • Silicon Root of Trust (RoT) – NIST 800-193 Compliant
  • Опции
    • Cryptographically Signed Firmware
    • Secure Boot
    • Secure Firmware Updates
    • Automatic Firmware Recovery
    • System Lockdown
• PC Health Monitoring
  • CPU
    • 7 +1 Phase-switching voltage regulator
    • Monitors for CPU Cores, Chipset Voltages, Memory
  • FAN
    • Fans with tachometer monitoring
    • Pulse Width Modulated (PWM) fan connectors
    • Status monitor for speed control
  • Температура
    • Monitoring for CPU and chassis environment
    • Thermal Control for fan connectors
• Размеры и вес
  • Высота: 43 мм
  • Ширина: 437 мм
  • Глубина: 739 мм
  • Упаковка: 7.99" (H) x 23.81" (W) x 37.4" (D)
  • Вес нетто: 12.2 кг
  • Вес брутто: 18.6 кг
  • Цвет: черный фасад, серебряный корпус
• Передняя панель
  • Кнопки
    • Power On/Off
    • UID button
  • Индикаторы
    • HDD activity
    • LAN1 activity
    • Power status
    • System information (overheat/UID)
• Слоты расширения
  • 1 PCIe 4.0 x16 Internal LP slot(s)
  • 1 PCIe 4.0 x16 LP slot(s)
  • 2 PCIe 4.0 x16 FH, 10.5"L slot(s)
• Диски
  • 12x 2.5" hot-swap NVMe/SATA/SAS drive bays (12x 2.5" NVMe hybrid) (SAS/NVMe support requires additional parts. Please see the Optional Parts list.)
• Охлаждение
  • вентиляторы: 8 x 4 см высокопроизводительных управляемых вентиляторов
  • воздуховоды: 2
• Электропитание
  • 2 x 1200W резервируемые блоки питания Titanium level
• Окружающая среда
  • Рабочая температура: 10°C ~ 35°C
  • Температура хранения: -40°C ~ 60°C
  • Рабочая влажность: 8% ~ 90% (без конденсата)
  • Влажность при хранении: 5% ~ 95% (без конденсата)

Комплектация

Комплект шасси

• Шасси: CSE-119UH3TS-R1K22P-T - 1 - 1U Chassis
• Power Supply: PWS-1K22A-1R - 2- 1U 1200W/800W Titanium Redundant Power Supply CRPS 73.5
• Front Panel: FPB-FP119UH - 1 - Front control board for 119UHTS 1U Ultra
• Parts: MCP-160-11901-0B - 1 1U Ultra Mylar cable channel for X12
• Parts: MCP-160-11902-0B - 1 1U Ultra FP1 cable protective Mylar
• Drive Tray(s): MCP-220-00187-0B - 12 - 2.5 thin profile drive tray, standard color tab, for SC119UH
• Rear Window: MCP-240-81916-0N - 1- Ultra I/O Rear window for SC819U, 119U tool-less chassis (No opening)
• Rail Set: MCP-290-00102-0N - 1 - Outer rail, quick-release type, 25.6
• Rail Set: MCP-290-00112-0N - 1 - Inner rail, extension, long (quick) for 1U 17.2W chassis
• Rail Set: MCP-290-00179-0N - 1 1U Inner rail, front, quick-release type (W/O handle)
• Fan Holder: MCP-320-00056-0B - 32 - 40X56 rubber fan pin for SC819U, SC119U,RoHS/REACH
• Fan Holder: MCP-320-11901-0B - 2 - Fan Holder for 4pcs 40x56 fans with cable tunnel optimize for X12DPU and SC119UH3
• Fan: FAN-0210L - 8 - 40x40x56 mm, 29.5K-25.5K RPM, Counter-rotating Fan, RoHS или FAN-0216L4-2 - 8 - 40x40x56 mm, 31K-26.6K RPM, Counter-rotating Fan, Non-hot-swappable

Комплект сервера

• Материнская плата: MBD-X12DPU-6 - 1 - Super X12DPU-6 Motherboard
• Backplane: BPN-NVME4-119A-S12 - 1 - 1U 12-Slot SFF Backplane Supports 12 x SAS3/SATA3/NVMe4 Storage Device,HF,RoHS
• Cable: CBL-PWEX-0920-1 - 1 - 2x4pin,P4.2,Female,GPU to 2 2x2,P4.2,Female,67cm,YRB,
• Cable: CBL-PWEX-0921-1 - 1- 2x4,P4.2,F,GPU to 2x2,P4.2,F,33cm,YRB,18AWG,10.5A/p,RoHS
• Cable: CBL-SAST-1241F-100 - 1 - Slimline x4 (STR) to Slimline x4 (STR),FFC,INT,41CM,100
• Cable: CBL-SAST-1250F-100 - 1 - Slimline x4 (STR) to Slimline x4 (STR),FFC,INT,50CM,100
• Cable: CBL-SAST-1270F-100 - 1 - Slimline x4 (STR) to Slimline x4 (STR),FFC,INT,70CM,100
• Cable: CBL-CDAT-1290F - 1 - [NR] FRONT CNTL,20 TO 20 PIN,P0.5,FLAT,90CM,STD,RoHS
• Cable: CBL-CUSB-1265-119 - 1 [NR] USB 3.0(F) Type A, RA to USB3.0 20pin,65CM,26/32AWG
• Cable: CBL-PWCD-0160-IS - 2 - PWCD,US,NEMA5-15P TO IEC60320 C13,6FT,16AWG,RoHS/REACH
• Air Shroud: MCP-310-11907-0N - 1 - CSE-119UH3 Plastic Air Shroud (right side) for X12DPU
• Air Shroud: MCP-310-11908-0N - 1 - CSE-119UH3 Plastic Air Shroud (left side) for X12DPU
• Air Shroud: MCP-310-11912-0B - 1 - Rubber center Air block for SC119UH3
• Air Shroud: MCP-310-81905-0B - 1 - Plastic air shroud for SC819U, 119U, 829U, 219U (PWS),RoHS/REACH
• Riser Card: RSC-W-66G4 - 1 - 1U LHS WIO Riser card with two PCIe 4.0 x16 slots,HF,RoHS
• Riser Card: RSC-WR-6 - 1 - 1U RHS WIO Riser card with one PCIe 4.0 x16 slot,HF,RoHS
• Software: SFT-OOB-LIC - 1 - License key for enabling OOB BIOS management
• Heatsink / Retention: SNK-P0077P - 2 - 1U Passive CPU Heat Sink for X12 Generation Intel Whitley and Cedar Island Platforms

Распаковка

Приехал новый сервер, разберём, посмотрим что внутри.

Упаковка обычная, две коробки, внутри всё хорошо размещено.

Сервер уже в сборе, поэтому коробки от радиаторов пустые. Непонятно зачем их кладут.

Коробка с мелочами, оставшимися после сборки.

Кабели питания. Разные могут быть, в зависимости от поставок.

Крепления из набора шасси.

Для райзера, скорее всего.

Трансиверы из комплекта сетевой карты.

Рельсы для крепления в стойку, неполного выдвижения. Очень простые, универсальные. Есть у них свои минусы, но пользоваться можно.

Достаём сервер из коробки.

И наконец-то у Supermicro появились нормальные крепления для фиксации сервера в стойке.

Выдвижной шильдик, снизу есть наклейка с паролем BMC.

В правом верхнем углу кнопка включения и индикация.

Вид на заднюю панель.

В четвёртом слоте расширения стоит сетевая карта, в третьем — RAID контроллер, во-втором батарейка, но её можно и по-другому установить, при желании. Потом ближе посмотрим.

Порты задней панели, здесь же наклейка с серийным номером.

Два резервируемых блока питания.

Всегда фотографирую БП, чтобы потом знать что точно покупать, если выйдет из строя.

Пора снять крышку. Чтобы её снять, нужно открутить несколько винтов. Этот момент мне не нравится, но страшного ничего нет.

Фотографии с обратной стороны крышки в высоком разрешении прикреплены в конце статьи.

Собрали сервер хорошо, менять особо ничего не буду, пока.

В сервере 8 вентиляторов, если смотреть со стороны передней панели, то нумерация вентиляторов идёт справа налево.

К бэкплейну у меня подключены SAS кабели.

Обратите внимание на воздуховоды. Теперь они пластиковые. И это хорошо, поскольку к ним можно прикрепить батарейку от RAID контроллера, если не будет хватать места. Удачно закрыты блоки питания, чтобы на них не попадал воздух от процессора. По сути первый вентилятор охлаждает БП.

Процессоры и память.

Переходим к слотам расширения, в большой райзер можно впихнуть двухслотовую видеокарту. У меня там сейчас сетевуха и RAID контроллер.

Четыре из двенадцати дисковых слотов заведены на материнскую плату, можно туда SATA диски поставить, при желании.

На RAID контроллер приходит только восемь первых слотов, нужно помнить об этом.

Батарейка RAID контроллера сейчас установлена в PCIe слот с помощью монтажного комплекта BBU-BRACKET-05. Нареканий нет.

Монтажный комплект BBU-BRACKET-05

Монтажный комплект BBU-BRACKET-05 — это панель для установки батареек RAID контроллеров MEGARAID 9260, 9271, 9361, 9380, 9460, 9480 (LSI00291/L5-25376-00). Поддерживается установка батарей BBU07, BBU08, BBU09, CVM01, CVM02, CVPM02, CVPM05, для установки понадобится крепление из комплекта батареи.

Снял райзер, чтобы показать как установлены адаптеры.

Двухпортовый SFP+ сетевой адаптер Silicom PE210G2SPI9A-XR. Silicom PE210G2SPI9A-XR — это двухпортовый оптический 10-гигабитный серверный адаптер PCI Express Ethernet на базе Intel 82599ES.

Серверные адаптеры Silicom SFP+ 10Gigabit Ethernet PCI Express предназначены для серверов и высокопроизводительных устройств. Адаптеры без проблем интегрируются в любые сети PCI Express X8-10Gigabit. Производительность оптимизирована таким образом, что системный ввод-вывод не будет узким местом в высокопроизводительных сетевых приложениях.

Адаптер мне нравится, этому есть три причины:

1. Он без проблем заводится в гипервизоре ESXi 7.
2. С ним вместе заработали все виды трансиверов, которые у меня были в наличие.
3. После установки не доставлял проблем.

RAID контроллер с кэшом.

Снял посмотреть модель.

Это у нас LSI MegaRAID SAS 9361-8i. Ещё не сильно древний контроллер 2018 года для серверов и хранилищ данных. Первый с интерфейсом SAS.

LSI MegaRAID SAS 9361-8i — 12Gb/s SAS/SATA контроллер

Одна плата контроллера полностью утилизирует слот PCI Express 3.0. MegaRAID SAS 9361-8i с восемью внутренними портами оснащён двумя процессорными ядрами PowerPC с частотой 1.2 ГГц, 72-разрядным интерфейсом DDR3 с 2 ГБ кэш-памяти. Контроллер работает на базе SAS3108 RAID-on-Chip (ROC), греется как утюг, ничего нового, при сборке сервера уделите особое внимание охлаждению. Сам контроллер с пассивным охлаждением.

Поддерживаются массивы RAID0, RAID1, RAID10, RAID5, RAID6, RAID50, RAID60. Модуль защиты флэш-кэша CacheVault еще больше усиливает возможности защиты данных MegaRAID SAS 9361-8i.

Материнская плата Super X12DPU-6.

Собираем, включаем. Работает.

Диски стоят двух видов.

HDD Seagate 900Gb 10K 12G SAS — ST900MM0168

2.5 дюймовые диски корпоративного класса для работы 24x7. Размер сектора 512b, без эмуляции. Интерфейс 12Gb/s SAS.

Samsung SSD 6.4 ТБ — MZILT6T4HALA-00007

SAS SSD диск корпоративного класса повышенной ёмкости Samsung SSD 6.4 ТБ, модель MZILT6T4HALA-00007. Назначение: для серверов, для чтения. DWPD3. Диск брали без салазок для установки в сервер HPE.

По нашей просьбе поставщики прошили диск MZILT7T6HALA-00007 DWPD1 другой прошивкой, сделав объём 6.4 ТБ, при этом DWPD подняли до 3. Сам не прошивал, но планирую научиться. Не уверен что такая модель по факту существует, но на российском рынке она широко представлена.

Заключение

Сервер хороший, мне понравился. Стоит отметить несколько позитивных моментов. Во-первых, пластиковые воздуховоды можно использовать для крепления батарейки RAID контроллера. Это хорошо. Во-вторых, сервер прекрасно входит по длине в стандартную стойку с вертикальными PDU. Только не нужно ставить дополнительные направляющие, а то они длинноваты.

12 дисков — это круто, но в наш RAID контроллер можно прокинуть только 8. Или другой контроллер брать. Да, если контроллер будет сильно греться, его можно перекинуть в другой слот, возможно, я это потом сделаю.

Ещё нужно почитать про дополнительные опции в отдельном райзере. Не смотрел ещё, вдруг там есть с SFP+ портами.

Бонус

Zabbix шаблон для мониторинга сервера Supermicro SYS-120U-TNR