Supermicro — cервер на базе платформы SuperStorage SSG-6049P-E1CR24H

Сегодня у нас парочка серверов Supermicro на базе серверной платформы 4U SuperStorage 6049P-E1CR24H. Сервера предназначены для организации системы хранения, проще говоря, под бэкапы пойдут.

Рассматриваем сборку:

• Серверная платформа SuperStorage 6049P-E1CR24H — 4U
  • Материнская плата Super X11DPH-T
    • 2 сокета LGA3647, поддержка 2nd Gen Intel Xeon Scalable processors
    • Intel C622 controller для 10 SATA3 (6 Gbps) портов; RAID 0,1,5,10
    • 16xDDR4
    • 3xPCI-Ex16 + 4xPCI-Ex8
    • VGA port
    • 2x10GbE Intel X722 + X557, IPMI 2.0 with LAN
  • 24x3.5" HDD Hot-swap SAS/SATA
  • SAS (Broadcom LSISAS3108, 12Gbps, 2GB RAID 0,1,5,6,10,50,60)
  • Два блока питания 2x1200W Redundant
  • Комплект для монтажа в стойку
• Intel Xeon Silver 4210 2.2GHz — 2 шт
• Модуль памяти DDR4-3200MHz 16GB ECC REG — 4 шт
• Модуль защиты кэш-памяти контроллера Supermicro BTR-TFM8G-LSICVM02
• Комплект крепления модуля защиты BKT-BBU-BRACKET-05 Mounting PCIe Card
• HDD SAS 3.5" Enterprise 16TB — 24 шт
• SSD SATA 2.5" Enterpise 480GB — 2 шт
• Контроллер 10GbE dual port 2xSFP+
• Трансивер 10GbE SFP+ — 2 шт (чего это мы два взяли, четыре надо было)
• ПО Supermicro SFT-OOB-LIC - Per node license for OOB BIOS (всучили, вообще без надобности)

Ссылки

SuperStorage 6049P-E1CR24H

Super X11DPH-T

LSI MegaRAID SAS 9361-8i — 12Gb/s SAS/SATA контроллер

SuperStorage 6049P-E1CR24H

Платформа использует 4U шасси CSE-846BE1C-R1K23B. Предназначена для установки в стойку.

Передняя панель

Спереди расположены 24 слота для 3.5 HDD, кнопка управления питанием и индикаторы.

Кнопки:

• Power On/Off button
• System Reset button

Индикаторы:

• Power status LED
• Hard drive activity LED
• Network activity LEDs
• System Information LED
• Power fail LED

Нумерация дисковых слотов:

Задняя панель

Элементы на задней панели:

На задней панели расположены выводы материнской платы:

• серийный порт
• IPMI порт RJ45
• 4 USB порта
• 2 порта GbE LAN RJ45
• VGA

2 блока питания Titanium Level (96%) 1200 Вт с поддержкой Hot Plug.

2 слота 2.5 SATA3, сюда мы взяли 2 SSD диска, которые будут объединены в RAID1 на контроллере Intel C622.

2 задних вентилятора в зоне CPU.

7 PCIe слотов. В идеале слоты 2 и 3 заняты RAID контроллером и JBOD расширителем SAS, который занимает место. 1, 3, 6, 7 столы CPU 1; 2, 4, 5 слоты CPU 2. У меня JBOD расширитель занимает первый слот, но его можно при желании переставить на второй. Ещё один слот занят платой крепления модуля защиты BKT-BBU-BRACKET-05 Mounting PCIe Card для батарейки RAID контроллера. В ещё один слот воткнута SFP+ сетевуха.

Сразу скажу, RAID контроллер греется, сразу включайте вентиляторы на максимум. У меня даже была мысль закрыть вентиляционные отверстия над зоной PCI, чтобы больше охлаждало сам RAID контроллер, но руки не дошли до испытаний.

Вид сверху

Сверху можно понять местоположение элементов внутри корпуса. Из трёх фронтальных вентиляторов в зону PCI направлен только один, маловато.

Характаристики

• Общие
  • Product SKUs: SSG-6049P-E1CR24H, SuperStorage 6049P-E1CR24H (Black)
  • Материнская плата: Super X11DPH-T
  • BIOS Type: 256Mb AMI UEFI
  • Form Factor: 4U Rackmount
  • Модель шасси: CSE-846BE1C-R1K23B
• CPU
  • Dual Socket P (LGA 3647)
  • 2nd Gen Intel Xeon Scalable Processors and Intel Xeon Scalable Processors, 3 UPI up to 10.4GT/s
  • Support CPU TDP 70-205W
  • Cores: Up to 28 Cores
  • Примечание: BIOS version 3.2 or above is required to support 2nd Gen Intel Xeon Scalable processors (codenamed Cascade Lake-R)
  • Установлено: 2 x Intel Xeon Silver 4210 2.2GHz.
• System Memory
  • Memory Capacity: 16 DIMM slots, Up to 4TB 3DS ECC DDR4-2933MHz RDIMM/LRDIMM, Supports Intel Optane DCPMM (Cascade Lake only)
  • Memory Type: 2933/2666/2400/2133MHz ECC DDR4 RDIMM/LRDIMM (933MHz in two DIMMs per channel can be achieved by using memory purchased from Supermicro)
  • Установлено: DDR4-3200MHz 16GB ECC REG — 4 шт
• On-Board Devices
  • Chipset: Intel C622
  • SAS: SAS3 (12Gbps) via Broadcom 3108 AOC; HW RAID, RAID 0, 1, 5, 6, 10, 50, 60
    • Установлено дополнительно BTR-TFM8G-LSICVM02 SuperCap for SAS3108 controller
    • Установлено дополнительно BKT-BBU-BRACKET-05 Mounting for SuperCap
  • SATA: SATA3 (6Gbps) with RAID 0, 1, 5, 10
  • Network Controllers: Dual 10GBase-T LAN ports with Intel X722 + PHY Intel X557
  • IPMI: Support for Intelligent Platform Management Interface v.2.0, IPMI 2.0 with virtual media over LAN and KVM-over-LAN support
  • Graphics: ASPEED AST2500 BMC
• Input / Output
  • LAN: 2 RJ45 10GBase-T LAN ports, 1 RJ45 Dedicated IPMI LAN port
  • USB: 4 USB 3.0 ports (rear), 1 Type A
  • VGA: 1 VGA port
  • Serial Port / Header: 1 Fast UART 16550 port / 1 Header
• PCI-Express
  • 3 PCI-E 3.0 x16 slot
  • 4 PCI-E 3.0 x8 slots
  • Slot 2 & 3 occupied by controller and JBOD Expansion Port
• Диски:
  • 24 Hot-swap 3.5" SAS3/SATA3 drive bays, установлены 24 SAS HDD
  • 2 Optional Onboard NVMe M.2
  • Backplane: SAS3/SATA3 single expander per backplane (BPN-SAS3-846EL1)
  • 2 SATA3 2.5" на задней панели (MCP-220-84606-0N Rear dual 2.5 hot swap HDD kit for SC846B)
• Power Supply (76mm Width): AC-DC 1200W, Titanium Level, Redundancy, 1U, PMBUS 1.2, +12V/+5Vsb, 360x76x40 mm,HF,RoHS/REACH
• Software
  • Intel Node Manager
  • IPMI 2.0
  • NMI
  • SPM, SUM
  • SuperDoctor 5
  • Watchdog
• PC Health Monitoring
  • CPU: Monitors for CPU Cores, Chipset Voltages, Memory; 4+1 Phase-switching voltage regulator
  • FAN: Fans with tachometer monitoring. Status monitor for speed control. Pulse Width Modulated (PWM) fan connectors.
  • Temperature: Monitoring for CPU and chassis environment. Thermal Control for fan connectors.
• Размеры и вес
  • Размеры (Ш x В x Г): 437 x 178 x 673 мм
  • Вес: Gross Weight: 92 lbs (41.7 kg), Net Weight: 55 lbs (24.9 kg)

Распаковка

Давайте открывать. В одиночку не поднимешь. Коробки большее, вес может доходить до 41.7 кг, особенно, когда все слоты забиты. Я поднимал, но можно спину потянуть, так что переносите вдвоём.

Упаковано хорошо.

Сверху находится комплект рельс для крепления в стойку. В сторонку его отложим.

Достаю коробку, в которой должны быть оставшиеся детали от шасси после сборки.

Два кабеля питания под евроразъём.

Заглушки от PCI слотов, детали от воздуховода, комплект креплений для стойки, болты и наклейки.

Вид сверху.

Вид спереди.

Установлено 24 HDD диска Toshiba 16TB SAS 7.2K:

HDD Toshiba 16TB SAS 7.2K — MG08SCA16TE

Жёсткие диски корпоративного класса MG08SCA16TE ёмкостью 16 ТБ, скорость вращения шпинделя 7200 об/мин. Интерфейс SAS. Лучшая в отрасли конструкция из 9 пластин серии MG08, впервые разработанная Toshiba.

Суммарный объём 384 ТБ.

Вид сзади.

Установлено 2 SSD диска Samsung PM897 SATA III 480 ГБ :

SSD Samsung PM897 SATA III 480 ГБ — MZ7L3480HBLT-00A07

Высокопроизводительный SSD Samsung PM897 SATA 3 480 ГБ MZ7L3480HBLT-00A07 для производительных корпоративных систем в форм-факторе 2,5 дюйма.

Два блока питания с поддержкой горячей замены.

AC-DC 1200W, Titanium Level, Redundancy, 1U, PMBUS 1.2, +12V/+5Vsb, 360x76x40 mm,HF,RoHS/REACH.

Слоты PCIe, справа нелаво:

1. JBOB экспандер
2. свободен
3. RAID контроллер
4. свободен
5. SFP+ сетевуха
6. свободен
7. батарейка RAID контроллера

Снимаем крышку.

Внутри у нас находится RAID контроллер:

LSI MegaRAID SAS 9361-8i — 12Gb/s SAS/SATA контроллер

Ещё не сильно древний контроллер 2018 года для серверов и хранилищ данных. Первый с интерфейсом SAS.

Одна плата контроллера полностью утилизирует слот PCI Express 3.0. MegaRAID SAS 9361-8i с восемью внутренними портами оснащён двумя процессорными ядрами PowerPC с частотой 1.2 ГГц, 72-разрядным интерфейсом DDR3 с 2 ГБ кэш-памяти. Контроллер работает на базе SAS3108 RAID-on-Chip (ROC), греется как утюг, ничего нового, при сборке сервера уделите особое внимание охлаждению. Сам контроллер с пассивным охлаждением.

Поддерживаются массивы RAID0, RAID1, RAID10, RAID5, RAID6, RAID50, RAID60. Модуль защиты флэш-кэша CacheVault еще больше усиливает возможности защиты данных MegaRAID SAS 9361-8i.

К контроллеру идёт батарейка с креплением. Установлено криво, воздуховодом прищемили, недочёт. Чуть больше раздвинул воздуховод, плата встала ровно. В таком положении она попадает в область охлаждения CPU.

Ещё докупили двухпортовый SFP+ адаптер. Он тот же самый, что я уже описывал под брендом Dell, один в один. Я даже описание новое не стал делать:

Dell — Intel X710 Dual Port 10Gb Direct Attach SFP+ CNA

На этот раз поставщики собрали сервер нормально, практически без замечаний. Зачем-то JBOD экспандер воткнули в первый слот, нужно было во второй. Если буду ставить ещё PCIe плату, то придётся сместить, но это не сложно.

Материнская плата X11DPH-T.

Включаем

Закрываю корпус, подключаю монитор, пробую включить.

Ещё немного усилий, и сервер в стойке.

Перегрев контроллера

Как я уже писал ранее, контроллеры LSI очень любят греться, так что охлаждению в серверах стоит уделить большое внимание. По спецификации рабочая температура контроллера от 0 °C до 55 °C. Как добиться такой температуры в серверах Supermicro, я даже и не знаю. У меня уже был печальный опыт использования RAID контроллеров LSI в 4-юнитовом сервере Supermicro. Там один контроллер нагрелся до 92°C, а второй — до 107°C.

Перегрев RAID контроллера LSI в сервере Supermicro

Контроллер LSI MegaRAID SAS 9361-8i я также планирую использовать в 4-юнитовом сервере Supermicro. Наученный горьким опытом я с самого начала разогнал вентиляторы на максимум.

Supermicro — управление вентиляторами

В BMC Supermicro имеется 4 режима работы вентиляторов:

• Standard
  • Зона 0 — в зависимости от температуры CPU вентиляторы вращаются на 50%.
  • Зона 1 — в зависимости от температуры PCH вентиляторы вращаются на 50%.
• Optimal
  • Зона 0 — в зависимости от температуры CPU вентиляторы вращаются на 30%.
  • Зона 1 — вентиляторы вращаются на 30%.
• Full
  • Зона 0 — вентиляторы вращаются на 100%.
  • Зона 1 — вентиляторы вращаются на 100%.
• Heavy IO
  • Зона 0 — в зависимости от температуры CPU вентиляторы вращаются на 30%.
  • Зона 1 — вентиляторы вращаются на 75%.

Я установил Full, вентиляторы вращаются на 100%. Сервер работает уже несколько недель в таком режиме, можем полюбоваться на график температур за неделю. Видно, что температура чипа в районе 68 - 74 °C.

При этом датчик CacheVault отображает нормальную температуру 26 - 29 °C.

Если учесть, что показатель наработки на отказ (MTBF) в 1343187 часов рассчитан на работу контроллера при температуре 40 °С, то реальный срок службы контроллера в серверах Supermicro со средней температурой контроллера 70 °C будет значительно меньше.