Supermicro GPU SuperWorkstation 7049GP-TRT — обзор

Олег

12 апреля 2021

Небольшой обзор сервера Supermicro GPU SuperWorkstation 7049GP-TRT. В сервер можно установить до 4 больших GPU 10.5' двойной ширины. Для GPU с пассивным охлаждением понадобится комплект вентиляторов MCP-320-74702-0N-KIT.

Сервер примечателен тем, что может устанавливаться и как обычная рабочая станция и как стоечный сервер.

Особенности:

Два процессора (LGA 3647), поддержка процессоров 2nd Gen Intel Xeon Scalable (Cascade Lake/Skylake)
16 DIMMs; до 4TB 3DS ECC DDR4-2933MHz RDIMM/LRDIMM, поддержка Intel Optane DCPMM
PCIe
- 4 PCI-E 3.0 x16 (double-width) slots
- 2 PCI-E 3.0 x16 (single-width) slots\
- 1 PCI-E 3.0 x4 (in x8) slot
8 Hot-swap 3.5" drive bays
2x 10GBase-T LAN ports
1 VGA, 2 COM, 5 USB 3.0
Охлаждение
- 4 внутренних вентилятора
- 2 радиатора на процессоры с управляемыми вентиляторами
- 2 вытяжных вентилятора
- 2 опциональных вентилятора для пассивных GPU

Буду собирать сервер с дополнениями:

монтаж в стойку;
две видеокарты с активным охлаждением MSI Geforce RTX 3090 AERO 24G на базе архитектуры NVIDIA Ampere;
дополнительный PCIe адаптер SFP+ на два порта;
два SATA SSD диска в RAID 1 под систему;
1 процессор, 128 ГБ оперативки.

Расположение элементов

Спереди доступно 8 слотов для дисков 3.5'. Опционально 4 NVMe.

Входит 4 толстых GPU. Под ними можно установить M2 диск. Выше ещё останется два PCIe слота 3.0 x 16 и один 3.0 x 4. GPU поддерживаются специальной рейкой с прорезиненными держателями. Питание к GPU подведено.

Два радиатора CPU с вентиляторами. Напротив CPU установлены два вытяжных вентилятора. В верхней части два БП. Между дисками и GPU 4 внутренних вентилятора.

16 DIMM слотов. Рядом с дисками датчик температуры и датчик открытия корпуса.

Спереди имеется панель управления и индикации.

Кнопка питания
Кнопка перезагрузки
HDD LED
NIC LED
Information LED
Power Fail
Два порта USB 3.0
Line out
Mic

Передняя крышка может запираться. При установке в стойку эту крышку лучше снять совсем, иначе может не открыться из-за оборудования снизу.

Задняя панель.

Два Hot Plug блока питания 2200 Вт
COM
2 USB 3.0 + 2 USB 2.0
LAN
IPMI
Два вентилятора
VGA
Четыре слота PCIe 3.0 x16 (double-width)
Два слота PCIe 3.0 x16 (single-width) и один слот PCIe 3.0 x4 (in x8)

Характеристики сервера

Основные
- Модель: SYS-7049GP-TRT
- Название: SuperServer 7049GP-TRT (Black)
- Материнская плата: Super X11DPG-QT
- BIOS Type: AMI 32Mb SPI Flash ROM
- Форм-фактор
  - 4U Rackmountable / Tower
  - Optional Rackmount Kit
- Модель шасси: CSE-747BTS-R2K20BP
Процессоры
- CPU
  - Dual Socket P (LGA 3647) 2nd Gen Intel Xeon Scalable Processors and Intel Xeon Scalable Processors
  - 3 UPI up to 10.4GT/s
  - Support CPU TDP 70-205W
- Cores: до 28 ядер
- Примечание: BIOS 3.2 или выше требуется для поддержки 2nd Gen Intel Xeon Scalable processors (Cascade Lake-R)
- Поддержка GPU:
  - https://www.supermicro.com/en/support/resources/gpu
  - 4 GPU
Память
- Memory Capacity
  - 16 DIMM slots
  - До 4TB 3DS ECC DDR4-2933MHz RDIMM/LRDIMM
  - Supports Intel Optane DCPMM
- Memory Type: 2933/2666/2400/2133MHz ECC DDR4 RDIMM/LRDIMM
- Примечание: 2933MHz in two DIMMs per channel can be achieved by using memory purchased from Supermicro Cascade Lake only.
Устройства на плате On-Board Devices
- Chipset: Intel C621 chipset
- SATA: SATA3 (6Gbps); RAID 0, 1, 5, 10
- Network Controllers
  - Intel X550 Dual Port 10GBase-T
  - Virtual Machine Device Queues reduce I/O overhead
  - Supports 10GBASE-T, 100BASE-TX, and 1000BASE-T, RJ45 output
- IPMI
  - Support for Intelligent Platform Management Interface v.2.0
  - IPMI 2.0 with virtual media over LAN and KVM-over-LAN support
- Graphics: ASPEED AST2500 BMC
Порты ввода/вывода
- SATA: 10 SATA3 (6Gbps) ports
- LAN
  - 2 RJ45 10GBase-T ports
  - 1 RJ45 Dedicated IPMI LAN port
- USB
  - 5 USB 3.0 ports (2 rear, 2 via header, 1 Type A)
  - 4 USB 2.0 ports (2 rear, 2 via headers)
- Video: 1 VGA port
- Audio: 7.1 HD Jacks
- Serial Port/Header: 2 COM ports (1 rear, 1 Header)
Софт
- Intel Node Manager
- IPMI 2.0
- SSM, SPM, SUM
- SuperDoctor 5
PC Health Monitoring
- CPU
  - Monitors for CPU Cores, Chipset Voltages, Memory.
  - 4+1 Phase-switching voltage regulator
- FAN
  - Fans with tachometer monitoring
  - Status monitor for speed control
  - Pulse Width Modulated (PWM) fan connectors
- Temperature
  - Monitoring for CPU and chassis environment
  - Thermal Control for fan connectors
Цвет, размеры и вес
- Высота: 462 мм
- Ширина: 178 мм
- Глубина: 673 мм
- Упаковка (В x Ш x Г): 27" x 13" x 38"
- Вес нетто: 20.9 кг
- Вес брутто: 28.1 кг
- Цвет: тёмно-серый
Передняя панель
- Кнопки
  - Power On/Off button
  - System Reset button
- LEDs
  - Power status LED
  - Hard drive activity LED
  - Network activity LEDs
  - System Overheat & Power Fail LED
- Порты: 2 Front USB 3.0 Ports
Слоты расширения
- PCI-Express
  - 4 PCI-E 3.0 x16 (double-width) slots
  - 2 PCI-E 3.0 x16 (single-width) slots
  - 1 PCI-E 3.0 x4 (in x8 slot)
Дисковые слоты
- Hot-swap
  - 8 Hot-swap 3.5" drive bays
  - Optional 4x 2.5" NVMe supported
- M.2
  - 1 NVMe based M.2 SSD
  - Form Factors: 2280, 22110
Охлаждение
- Fans
  - 4 Heavy duty fans
  - 2 Rear exhaust fans
  - 2 Optional Rear fans (required for Passive GPUs)
- Heatsink: 2 Active heatsink with optimal fan speed control
Питание
- 2200W Redundant Power Supplies with PMBus
- Total Output Power and Input
  - 1200W with Input 100-127Vac
  - 1800W with Input 200-220Vac
  - 1980W with Input 220-230Vac
  - 2090W with Input 230-240Vac
  - 2200W with Input 220-240Vac (for UL/cUL use only)
  - 2090W with Input 230-240Vdc (for CCC only)
- AC Input Frequency: 50-60Hz
- Размеры БП (Ш x В x Г): 76 x 40 x 336 мм
- +12V
  - Max: 100A / Min: 0A (100-127Vac)
  - Max: 150A / Min: 0A (200-220Vac)
  - Max: 165A / Min: 0A (220-230Vac)\
  - Max: 174.17A / Min: 0A (230-240Vac)
  - Max: 183.3A / Min: 0A (220-240Vac)
- 5VSB: Max: 1A / Min: 0A
- Output Type: Backplanes (gold finger)
- Certification: Titanium 80 Plus

Характеристики материнской платы

https://www.supermicro.com/en/products/motherboard/X11DPG-QT

Основные
- Модель: X11DPG-QT
- Размеры: 38.4x 33.53 см
- Тип: проприетарный
Процессоры
- CPU
  - Dual Socket P (LGA 3647) 2nd Gen Intel Xeon Scalable Processors and Intel Xeon Scalable Processors
  - 3 UPI up to 10.4GT/s
  - Support CPU TDP 70-205W
- Cores: до 28 ядер
- Примечание: BIOS 3.2 или выше требуется для поддержки 2nd Gen Intel Xeon Scalable processors (Cascade Lake-R)
Память
- Memory Capacity
  - До 4TB 3DS ECC RDIMM, DDR4-2933MHz; Up to 4TB 3DS ECC LRDIMM, DDR4-2933MHz, in 16 DIMM slots
  - До 2TB Intel Optane DC Persistent Memory in memory mode (Cascade Lake only)
- Memory Type: 2933/2666/2400/2133MHz ECC DDR4 RDIMM/LRDIMM
- DIMM Sizes
  - RDIMM: 64GB, 128GB
  - LRDIMM: 128GB, 256GB
  - 3DS LRDIMM: 128GB, 256GB
- Memory Voltage: 1.2V
Устройства на плате On-Board Devices
- Chipset: Intel C621
- SATA: Intel C621 controller for 10 SATA3 (6 Gbps) ports; RAID 0,1,5,10
- IPMI: ASPEED AST2500
- Network Controllers: Dual LAN with Intel X550 10GBase-T Ethernet Controller
- Audio: 7.1 HD Audio Header
- Graphics: Aspeed AST2500 BMC
Порты ввода/вывода
- SATA: 10 SATA3 (6Gbps) port
- USB
  - 4 USB 2.0 ports (2 rear + 2 headers)
  - 5 USB 3.0 ports (2 rear + 2 headers + 1 Type A)
- Video Output: 1 VGA D-Sub Connector port
- Serial Port / Header: 2 COM Ports (1 rear, 1 header)
- TPM: 1 TPM Header
Слоты расширения
- PCI-E
  - 6 PCI-E 3.0 x16
  - 1 PCI-E 3.0 x4 (in x8 slot)
- M.2
  - M.2 Interface: PCI-E 3.0 x4
  - Form Factor: 2280, 22110
  - Key: M-Key
System BIOS
- BIOS Type: AMI 32Mb SPI Flash ROM
- BIOS Features
  - Plug and Play (PnP)
  - ACPI 1.0 / 2.0 / 3.0 / 4.0
  - USB Keyboard support
  - SMBIOS 2.7.1
  - UEFI 2.3.1
Софт
- Intel Node Manager
- IPMI2.0
- KVM with dedicated LAN
- NMI
- SPM
- SSM
- SUM
- SuperDoctor 5
- Watchdog
- Power Configurations: ACPI Power Management
PC Health Monitoring
- Voltage: +1.8V, +12V, +3.3V, +5V, +5V standby, 10 -fan status, 5+1 Phase-switching voltage regulator, Chassis intrusion header, HT, Supports system management utility, VBAT
- FAN: 10x 4-pin fan headers (up to 10 fans), Pulse Width Modulated (PWM) fan connectors, Status monitoring for speed control
- Temperature: N/A
- LED: CPU / System Overheat LED, Suspend static indicator LED, UID/Remote UID
- Other Features: Chassis intrusion detection, CPU thermal trip support for processor protection, Node Manager Support, RoHS
Окружающая среда
- Рабочая температура: 10°C - 35°C
- Температура хранения: -40°C - 70°C
- Рабочая влажность: 8% - 90% без конденсата
- Влажность при хранении: 5% - 95% без конденсата

Порядок установки памяти

Упаковка и комплектация

По спецификации положено:

Motherboard / Chassis	MBD-X11DPG-QT CSE-747BTS-R2K20BP	1 1	Super X11DPG-QT Motherboard 4U Chassis
Backplane	BPN-SAS3-747TQ-N4	1	8-port 4U/Tower SAS3 12Gbps Hybrid backplane, support up to 4x 3.5-inch SAS3/SATA3 HDD/SSD and 4x NVMe/SAS3/SATA3 storage devices
Cable 1	CBL-0188L-02	2	MINI SAS-4 SATA,INT,64/54/44/34CM,64CM SB,30AWG
Parts	MCP-260-00042-2N	1	STD I/O shield for X9/X10/X11 server MB with EMI Gasket & Mylar
Manual	MNL-2045-QRG	1	7049GP-TRT Quick Reference Guide
Heatsink / Retention	SNK-P0070APS4	2	4U Active CPU Heat Sink Supporting Narrow Bolster Plate Mounting Mechanism for X11 Purley Platform
Power Supply	PWS-2K20A-1R	2	1U 2200W Redundant, Titanium, 76(W) X 40(H) X 336(L) mm
Power Distributor	PDB-PT747-6824	1	Power Distributor Board is for 4U GPU solution using regular
Cable 2	CBL-0071L	1	CBL,FRONT CNTL,16 TO 16 PIN,RA,RND TUBE,75CM,28AWG
Cable 3	CBL-0160L	2	NEMA5-15P to C13 US power cord 16AWG 6ft, PBF (default for high watt)
Cable 4	CBL-0216L	4	4 PIN TO 4 PIN MIDDLE FAN POWER EXTENSION, 20cm. 24AWG(PWM)
Cable 5	CBL-0286L	2	4 to 4 pin rear fan pwr ext w/ square header, 30cm (PWM). 24AWG
Cable 6	CBL-PWEX-1040	4	PWYCB,GPU,2x4M/CPU to two (2x3F+2x1F)/PCIe,P4.2, 5CM,16/20AW
FAN 1	FAN-0082L4	2	80x80x38 mm 4-pin PWM Fan Assembly for SC743, SC745
FAN 2	Fan-0114L4	2	92x38mm 4-PIN PWM FAN W/ HUS for SC747
FAN 3	FAN-0138L4	2	92x92x38 mm, 7.5K RPM, SC747 Middle Fan for Passive Cooling GPU
Front Bezel	MCP-210-74701-0B	1	SC747 plastic front bezel
Drive Tray(s)	MCP-220-00073-0B	3	Black 5.25 drive tray w/o rail (SC747)
Drive Tray(s)	MCP-220-00094-0B	8	Black gen 6.5 hot-swap 3.5 inch HDD Tray
Front Panel	MCP-280-74702-0N	1	SC747BTQ-R2K04B Front Control Panel PCB (2x USB3.0, Audio)
Parts	MCP-290-74701-0B	1	Black plastic top cover for SC747
Parts	MCP-290-74702-0N	1	GPU Card Holder (11 slots) for SC747TQ, SC842
Parts	MCP-290-74703-0B	1	fixed 3.5" dummy cover for SC747
Parts	MCP-290-74709-0B	1	Plastic feet (2 pcs/set) for 4U tower chassis, black color

Вот и пришла коробочка, посмотрим что внутри.

Упаковано как обычно, в две коробки.

Сбоку коробка с мелочами.

Первое, что вытащил — это крепление для M2 диска. Я не использую.

Два кабеля питания на евроразъём.

Какая-то планка-замок. Не использовал.

Ключи от передней панели, винты, наклейки. Это мне не требуется.

Кабель Supermicro CBL-PWEX-1040. Этот не использовал, остальные уже в корпусе.

Запасные салазки для дисков. Две штуки. Непонятно зачем, в корпусе уже стоят все 8 штук.

Винты с креплениями. Не использовал.

Ножки для напольной установки. Мне не понадобятся, т.к. сервер будет устанавливаться в стойку.

Заглушки для PCIe слотов снабжены вентиляционными отверстиями. У меня в сервере 2 GPU и SFP+ адаптер, поэтому 5 заглушек освободилось.

Для процессоров имеются радиаторы с вентиляторами охлаждения. Одна коробка у меня пустая, потому что один процессор уже установлен.

Внутри всё хорошо упаковано.

На радиатор уже нанесена термопаста. Вентилятор подключается через управляемый 4-pin разъём.

На рисунке указан порядок затяжки болтов при установке радиатора. Понадобится торкс или шестигранник. Сильно не затягивать!

Вот и сам сервер.

Дополнительные компоненты

Дополнительно будем устанавливать две видеокарты MSI Geforce RTX 3090 AERO 24G с активным охлаждением.

SFP+ адаптер Supermicro AOC-STGN-i2S.

Два диска Intel SSD D3-S4510 SERIES 960GB SATA.

Внешний вид

Посмотрим на сервер в сборе.

Вид спереди.

Вид сзади.

Положил на бок, в таком положении сервер устанавливается в стойку.

Для доступа к дискам нужно открыть переднюю крышку.

Что внутри?

Разнёс видеокарты дальше друг от друга, видно, что верхнюю карту можно даже поднять на слот выше, чем указано в документации. Ещё выше поднять уже не получится, память мешает. Так что если нужен слот для длинной карты, то один такой есть.

Выбор PCIe слотов с моей стороны очевиден. Первый процессор поддерживает второй, четвёртый и девятый PCIe слоты. У меня как раз три устройства, больше не влезет, иначе придётся покупать второй процессор. Слоты подписаны, перепутать сложно.

Платы фиксируются специальными держателями. Планка с держателями крепится одним винтом, её легко снять.

Дисковая корзина на 8 слотов.

Дополнительно есть три отсека 5.25' и один 3.5'. Можно установить CD-ROM или ещё что-нибудь.

Четыре вентилятора в корпусе.

Процессор с радиатором и вентилятором. У меня в корпусе только один процессор, второй не ставили.

Датчик открытия крышки корпуса.

Датчик температуры.

В процессе монтажа.

Пароль пользователя ADMIN от IPMI можно найти на наклейке материнской платы. Так что не спешите устанавливать GPU, а то потом пароль не видно.

Устанавливаем GPU.

Блоки питания.

За скобу можно крепить кабель питания.

Маркировка БП.

Разъёмы материнской платы на задней панели.

Тестирование видеокарты

Сервер собран, теперь было бы неплохо проверить, что видеокарты определяются и работают. Benchmark тест нужно какой-нибудь прогнать.

Для начала в BIOS переключаю приоритет вывода изображения с интегрированной видеокарты на установленную. PCIe/PCI/PnP Configuration > VGA Priority, Onboard меняю на Offboard. Подключаю монитор к тестируемой видеокарте.

Собираю из двух дисков RAID 1. Для входа в утилиту управления SATA контроллером нужно нажать Ctrl + i при загрузке.

Временно накатываю Ubuntu.

Получается следующий тестовый стенд:

сервер: Supermicro GPU SuperWorkstation 7049GP-TRT
GPU с активным охлаждением: MSI Geforce RTX 3090 AERO 24G — 2 шт
процессор: Intel(R) Xeon(R) Silver 4210 CPU @ 2.20GHz
память: 128 Гб 2400 МГц
ОС: Ubuntu Desktop 20.04

Проверим, что видеокарты определились:

lspci | grep VGA

Теперь установим драйвера NVIDIA. Посмотрим, что предлагает Ubuntu:

ubuntu-drivers devices

Если версия драйверов устраивает, а меня устраивает, то соглашаемся:

ubuntu-drivers autoinstall

Для контроля состояния видеокарт можно использовать утилиту nvidia-smi:

nvidia-smi

http://developer.download.nvidia.com/compute/DCGM/docs/nvidia-smi-367.38.pdf

Текущая версия драйверов 455, можно установить драйвера вручную, например, версию 460:

apt-get install install nvidia-driver-460

Итак, обе видеокарты обнаружены и нормально работают.

В GUI информацию о видеокартах можно посмотреть с помощью NVIDIA X Server Settings.

Теперь нужно выбрать какой-нибудь тест GPU. Мне не принципиально какой, нашёл Benchmark: Superposition на движке Unigine:

https://benchmark.unigine.com/

Скачиваем тест.

Выполняем скрипт, после в распакованной директории запускаем программу.

На средних настройках получилось 11281 (11313 во второй попытке) очков.

На максимальных — 6599.

На минимальных — 12822.

Тестирование завершено. В BIOS переключаю приоритет вывода изображения обратно на интегрированную видеокарту. PCIe/PCI/PnP Configuration > VGA Priority, Offboard меняю на Onboard.

Установка в стойку

Сервер планируется поставить в стойку.

Для установки в стойку потребуется дополнительный рельсовый комплект MCP-290-00059-0B.

Поближе наклейка.

В комплекте рельсы, уши сервера и крепёжные винты.

Верхняя крышка снимается, на её место можно установить рельсы для монтажа в стойку.

Переднюю крышку при установке в стойку лучше демонтировать. Её конструкция неудачна, крышка упирается в оборудование снизу и не открывается полностью.

Рельсы разбираются, внутренняя часть устанавливается на корпус, внешняя часть устанавливается в стойку (по центру, высота шасси 4 юнита), крепёж не требуется. Уши прикручиваются тремя винтами к корпусу.