Перейти к основному содержанию
 

Supermicro GPU SuperWorkstation 7049GP-TRT — обзор

Supermicro GPU SuperWorkstation 7049GP-TRT

Небольшой обзор сервера Supermicro GPU SuperWorkstation 7049GP-TRT. В сервер можно установить до 4 больших GPU 10.5' двойной ширины. Для GPU с пассивным охлаждением понадобится комплект вентиляторов MCP-320-74702-0N-KIT.

Сервер примечателен тем, что может устанавливаться и как обычная рабочая станция и как стоечный сервер.

Особенности:

  • Два процессора (LGA 3647), поддержка процессоров 2nd Gen Intel Xeon Scalable (Cascade Lake/Skylake)
  • 16 DIMMs; до 4TB 3DS ECC DDR4-2933MHz RDIMM/LRDIMM, поддержка Intel Optane DCPMM
  • PCIe
    • 4 PCI-E 3.0 x16 (double-width) slots
    • 2 PCI-E 3.0 x16 (single-width) slots\
    • 1 PCI-E 3.0 x4 (in x8) slot
  • 8 Hot-swap 3.5" drive bays
  • 2x 10GBase-T LAN ports
  • 1 VGA, 2 COM, 5 USB 3.0
  • Охлаждение
    • 4 внутренних вентилятора
    • 2 радиатора на процессоры с управляемыми вентиляторами
    • 2 вытяжных вентилятора
    • 2 опциональных вентилятора для пассивных GPU

Буду собирать сервер с дополнениями:

  • монтаж в стойку;
  • две видеокарты с активным охлаждением MSI Geforce RTX 3090 AERO 24G на базе архитектуры NVIDIA Ampere;
  • дополнительный PCIe адаптер SFP+ на два порта;
  • два SATA SSD диска в RAID 1 под систему;
  • 1 процессор, 128 ГБ оперативки.

supermicro

Расположение элементов

supermicro

Спереди доступно 8 слотов для дисков 3.5'. Опционально 4 NVMe.

supermicro

Входит 4 толстых GPU. Под ними можно установить M2 диск. Выше ещё останется два PCIe слота 3.0 x 16 и один 3.0 x 4. GPU поддерживаются специальной рейкой с прорезиненными держателями. Питание к GPU подведено.

Два радиатора CPU с вентиляторами. Напротив CPU установлены два вытяжных вентилятора. В верхней части два БП. Между дисками и GPU 4 внутренних вентилятора.

16 DIMM слотов. Рядом с дисками датчик температуры и датчик открытия корпуса.

supermicro

Спереди имеется панель управления и индикации.

supermicro

  1. Кнопка питания
  2. Кнопка перезагрузки
  3. HDD LED
  4. NIC LED
  5. Information LED
  6. Power Fail
  7. Два порта USB 3.0
  8. Line out
  9. Mic

Передняя крышка может запираться. При установке в стойку эту крышку лучше снять совсем, иначе может не открыться из-за оборудования снизу.

supermicro

Задняя панель.

supermicro

  1. Два Hot Plug блока питания 2200 Вт
  2. COM
  3. 2 USB 3.0 + 2 USB 2.0
  4. LAN
  5. IPMI
  6. Два вентилятора
  7. VGA
  8. Четыре слота PCIe 3.0 x16 (double-width)
  9. Два слота PCIe 3.0 x16 (single-width) и один слот PCIe 3.0 x4 (in x8)

Характеристики сервера

  • Основные
    • Модель: SYS-7049GP-TRT
    • Название: SuperServer 7049GP-TRT (Black)
    • Материнская плата: Super X11DPG-QT
    • BIOS Type: AMI 32Mb SPI Flash ROM
    • Форм-фактор
      • 4U Rackmountable / Tower
      • Optional Rackmount Kit
    • Модель шасси: CSE-747BTS-R2K20BP
  • Процессоры
    • CPU
      • Dual Socket P (LGA 3647) 2nd Gen Intel Xeon Scalable Processors and Intel Xeon Scalable Processors
      • 3 UPI up to 10.4GT/s
      • Support CPU TDP 70-205W
    • Cores: до 28 ядер
    • Примечание: BIOS 3.2 или выше требуется для поддержки 2nd Gen Intel Xeon Scalable processors (Cascade Lake-R)
    • Поддержка GPU:
  • Память
    • Memory Capacity
      • 16 DIMM slots
      • До 4TB 3DS ECC DDR4-2933MHz RDIMM/LRDIMM
      • Supports Intel Optane DCPMM
    • Memory Type: 2933/2666/2400/2133MHz ECC DDR4 RDIMM/LRDIMM
    • Примечание: 2933MHz in two DIMMs per channel can be achieved by using memory purchased from Supermicro Cascade Lake only.
  • Устройства на плате On-Board Devices
    • Chipset: Intel C621 chipset
    • SATA: SATA3 (6Gbps); RAID 0, 1, 5, 10
    • Network Controllers
      • Intel X550 Dual Port 10GBase-T
      • Virtual Machine Device Queues reduce I/O overhead
      • Supports 10GBASE-T, 100BASE-TX, and 1000BASE-T, RJ45 output
    • IPMI
      • Support for Intelligent Platform Management Interface v.2.0
      • IPMI 2.0 with virtual media over LAN and KVM-over-LAN support
    • Graphics: ASPEED AST2500 BMC
  • Порты ввода/вывода
    • SATA: 10 SATA3 (6Gbps) ports
    • LAN
      • 2 RJ45 10GBase-T ports
      • 1 RJ45 Dedicated IPMI LAN port
    • USB
      • 5 USB 3.0 ports (2 rear, 2 via header, 1 Type A)
      • 4 USB 2.0 ports (2 rear, 2 via headers)
    • Video: 1 VGA port
    • Audio: 7.1 HD Jacks
    • Serial Port/Header: 2 COM ports (1 rear, 1 Header)
  • Софт
    • Intel Node Manager
    • IPMI 2.0
    • SSM, SPM, SUM
    • SuperDoctor 5
  • PC Health Monitoring
    • CPU
      • Monitors for CPU Cores, Chipset Voltages, Memory.
      • 4+1 Phase-switching voltage regulator
    • FAN
      • Fans with tachometer monitoring
      • Status monitor for speed control
      • Pulse Width Modulated (PWM) fan connectors
    • Temperature
      • Monitoring for CPU and chassis environment
      • Thermal Control for fan connectors
  • Цвет, размеры и вес
    • Высота: 462 мм
    • Ширина: 178 мм
    • Глубина: 673 мм
    • Упаковка (В x Ш x Г): 27" x 13" x 38"
    • Вес нетто: 20.9 кг
    • Вес брутто: 28.1 кг
    • Цвет: тёмно-серый
  • Передняя панель
    • Кнопки
      • Power On/Off button
      • System Reset button
    • LEDs
      • Power status LED
      • Hard drive activity LED
      • Network activity LEDs
      • System Overheat & Power Fail LED
    • Порты: 2 Front USB 3.0 Ports
  • Слоты расширения
    • PCI-Express
      • 4 PCI-E 3.0 x16 (double-width) slots
      • 2 PCI-E 3.0 x16 (single-width) slots
      • 1 PCI-E 3.0 x4 (in x8 slot)
  • Дисковые слоты
    • Hot-swap
      • 8 Hot-swap 3.5" drive bays
      • Optional 4x 2.5" NVMe supported
    • M.2
      • 1 NVMe based M.2 SSD
      • Form Factors: 2280, 22110
  • Охлаждение
    • Fans
      • 4 Heavy duty fans
      • 2 Rear exhaust fans
      • 2 Optional Rear fans (required for Passive GPUs)
    • Heatsink: 2 Active heatsink with optimal fan speed control
  • Питание
    • 2200W Redundant Power Supplies with PMBus
    • Total Output Power and Input
      • 1200W with Input 100-127Vac
      • 1800W with Input 200-220Vac
      • 1980W with Input 220-230Vac
      • 2090W with Input 230-240Vac
      • 2200W with Input 220-240Vac (for UL/cUL use only)
      • 2090W with Input 230-240Vdc (for CCC only)
    • AC Input Frequency: 50-60Hz
    • Размеры БП (Ш x В x Г): 76 x 40 x 336 мм
    • +12V
      • Max: 100A / Min: 0A (100-127Vac)
      • Max: 150A / Min: 0A (200-220Vac)
      • Max: 165A / Min: 0A (220-230Vac)\
      • Max: 174.17A / Min: 0A (230-240Vac)
      • Max: 183.3A / Min: 0A (220-240Vac)
    • 5VSB: Max: 1A / Min: 0A
    • Output Type: Backplanes (gold finger)
    • Certification: Titanium 80 Plus

Характеристики материнской платы

https://www.supermicro.com/en/products/motherboard/X11DPG-QT

  • Основные
    • Модель: X11DPG-QT
    • Размеры: 38.4x 33.53 см
    • Тип: проприетарный
  • Процессоры
    • CPU
      • Dual Socket P (LGA 3647) 2nd Gen Intel Xeon Scalable Processors and Intel Xeon Scalable Processors
      • 3 UPI up to 10.4GT/s
      • Support CPU TDP 70-205W
    • Cores: до 28 ядер
    • Примечание: BIOS 3.2 или выше требуется для поддержки 2nd Gen Intel Xeon Scalable processors (Cascade Lake-R)
  • Память
    • Memory Capacity
      • До 4TB 3DS ECC RDIMM, DDR4-2933MHz; Up to 4TB 3DS ECC LRDIMM, DDR4-2933MHz, in 16 DIMM slots
      • До 2TB Intel Optane DC Persistent Memory in memory mode (Cascade Lake only)
    • Memory Type: 2933/2666/2400/2133MHz ECC DDR4 RDIMM/LRDIMM
    • DIMM Sizes
      • RDIMM: 64GB, 128GB
      • LRDIMM: 128GB, 256GB
      • 3DS LRDIMM: 128GB, 256GB
    • Memory Voltage: 1.2V
  • Устройства на плате On-Board Devices
    • Chipset: Intel C621
    • SATA: Intel C621 controller for 10 SATA3 (6 Gbps) ports; RAID 0,1,5,10
    • IPMI: ASPEED AST2500
    • Network Controllers: Dual LAN with Intel X550 10GBase-T Ethernet Controller
    • Audio: 7.1 HD Audio Header
    • Graphics: Aspeed AST2500 BMC
  • Порты ввода/вывода
    • SATA: 10 SATA3 (6Gbps) port
    • USB
      • 4 USB 2.0 ports (2 rear + 2 headers)
      • 5 USB 3.0 ports (2 rear + 2 headers + 1 Type A)
    • Video Output: 1 VGA D-Sub Connector port
    • Serial Port / Header: 2 COM Ports (1 rear, 1 header)
    • TPM: 1 TPM Header
  • Слоты расширения
    • PCI-E
      • 6 PCI-E 3.0 x16
      • 1 PCI-E 3.0 x4 (in x8 slot)
    • M.2
      • M.2 Interface: PCI-E 3.0 x4
      • Form Factor: 2280, 22110
      • Key: M-Key
  • System BIOS
    • BIOS Type: AMI 32Mb SPI Flash ROM
    • BIOS Features
      • Plug and Play (PnP)
      • ACPI 1.0 / 2.0 / 3.0 / 4.0
      • USB Keyboard support
      • SMBIOS 2.7.1
      • UEFI 2.3.1
  • Софт
    • Intel Node Manager
    • IPMI2.0
    • KVM with dedicated LAN
    • NMI
    • SPM
    • SSM
    • SUM
    • SuperDoctor 5
    • Watchdog
    • Power Configurations: ACPI Power Management
  • PC Health Monitoring
    • Voltage: +1.8V, +12V, +3.3V, +5V, +5V standby, 10 -fan status, 5+1 Phase-switching voltage regulator, Chassis intrusion header, HT, Supports system management utility, VBAT
    • FAN: 10x 4-pin fan headers (up to 10 fans), Pulse Width Modulated (PWM) fan connectors, Status monitoring for speed control
    • Temperature: N/A
    • LED: CPU / System Overheat LED, Suspend static indicator LED, UID/Remote UID
    • Other Features: Chassis intrusion detection, CPU thermal trip support for processor protection, Node Manager Support, RoHS
  • Окружающая среда
    • Рабочая температура: 10°C - 35°C
    • Температура хранения: -40°C - 70°C
    • Рабочая влажность: 8% - 90% без конденсата
    • Влажность при хранении: 5% - 95% без конденсата

supermicro

Упаковка и комплектация

По спецификации положено:

Motherboard / Chassis MBD-X11DPG-QT
CSE-747BTS-R2K20BP
1
1
Super X11DPG-QT Motherboard
4U Chassis
Backplane BPN-SAS3-747TQ-N4 1 8-port 4U/Tower SAS3 12Gbps Hybrid backplane, support up to 4x 3.5-inch SAS3/SATA3 HDD/SSD and 4x NVMe/SAS3/SATA3 storage devices
Cable 1 CBL-0188L-02 2 MINI SAS-4 SATA,INT,64/54/44/34CM,64CM SB,30AWG
Parts MCP-260-00042-2N 1 STD I/O shield for X9/X10/X11 server MB with EMI Gasket & Mylar
Manual MNL-2045-QRG 1 7049GP-TRT Quick Reference Guide
Heatsink / Retention SNK-P0070APS4 2 4U Active CPU Heat Sink Supporting Narrow Bolster Plate Mounting Mechanism for X11 Purley Platform
Power Supply PWS-2K20A-1R 2 1U 2200W Redundant, Titanium, 76(W) X 40(H) X 336(L) mm
Power Distributor PDB-PT747-6824 1 Power Distributor Board is for 4U GPU solution using regular
Cable 2 CBL-0071L 1 CBL,FRONT CNTL,16 TO 16 PIN,RA,RND TUBE,75CM,28AWG
Cable 3 CBL-0160L 2 NEMA5-15P to C13 US power cord 16AWG 6ft, PBF (default for high watt)
Cable 4 CBL-0216L 4 4 PIN TO 4 PIN MIDDLE FAN POWER EXTENSION, 20cm. 24AWG(PWM)
Cable 5 CBL-0286L 2 4 to 4 pin rear fan pwr ext w/ square header, 30cm (PWM). 24AWG
Cable 6 CBL-PWEX-1040 4 PWYCB,GPU,2x4M/CPU to two (2x3F+2x1F)/PCIe,P4.2, 5CM,16/20AW
FAN 1 FAN-0082L4 2 80x80x38 mm 4-pin PWM Fan Assembly for SC743, SC745
FAN 2 Fan-0114L4 2 92x38mm 4-PIN PWM FAN W/ HUS for SC747
FAN 3 FAN-0138L4 2 92x92x38 mm, 7.5K RPM, SC747 Middle Fan for Passive Cooling GPU
Front Bezel MCP-210-74701-0B 1 SC747 plastic front bezel
Drive Tray(s) MCP-220-00073-0B 3 Black 5.25 drive tray w/o rail (SC747)
Drive Tray(s) MCP-220-00094-0B 8 Black gen 6.5 hot-swap 3.5 inch HDD Tray
Front Panel MCP-280-74702-0N 1 SC747BTQ-R2K04B Front Control Panel PCB (2x USB3.0, Audio)
Parts MCP-290-74701-0B 1 Black plastic top cover for SC747
Parts MCP-290-74702-0N 1 GPU Card Holder (11 slots) for SC747TQ, SC842
Parts MCP-290-74703-0B 1 fixed 3.5" dummy cover for SC747
Parts MCP-290-74709-0B 1 Plastic feet (2 pcs/set) for 4U tower chassis, black color

Вот и пришла коробочка, посмотрим что внутри.

supermicro

Упаковано как обычно, в две коробки.

supermicro

Сбоку коробка с мелочами.

supermicro

Первое, что вытащил — это крепление для M2 диска. Я не использую.

supermicro

Два кабеля питания на евроразъём.

supermicro

Какая-то планка-замок. Не использовал.

supermicro

Ключи от передней панели, винты, наклейки. Это мне не требуется.

supermicro

Кабель Supermicro CBL-PWEX-1040. Этот не использовал, остальные уже в корпусе.

supermicro

Запасные салазки для дисков. Две штуки. Непонятно зачем, в корпусе уже стоят все 8 штук.

supermicro

Винты с креплениями. Не использовал.

supermicro

Ножки для напольной установки. Мне не понадобятся, т.к. сервер будет устанавливаться в стойку.

supermicro

Заглушки для PCIe слотов снабжены вентиляционными отверстиями. У меня в сервере 2 GPU и SFP+ адаптер, поэтому 5 заглушек освободилось.

supermicro

Для процессоров имеются радиаторы с вентиляторами охлаждения. Одна коробка у меня пустая, потому что один процессор уже установлен.

supermicro

Внутри всё хорошо упаковано.

supermicro

На радиатор уже нанесена термопаста. Вентилятор подключается через управляемый 4-pin разъём.

supermicro

На рисунке указан порядок затяжки болтов при установке радиатора. Понадобится торкс. Сильно не затягивать!

supermicro

Вот и сам сервер.

Дополнительные компоненты

Дополнительно будем устанавливать две видеокарты MSI Geforce RTX 3090 AERO 24G с активным охлаждением.

supermicro

SFP+ адаптер Supermicro AOC-STGN-i2S.

supermicro

Два диска Intel SSD D3-S4510 SERIES 960GB SATA.

supermicro

Внешний вид

Посмотрим на сервер в сборе.

supermicro

Вид спереди.

supermicro

Вид сзади.

supermicro

Положил на бок, в таком положении сервер устанавливается в стойку.

supermicro

Для доступа к дискам нужно открыть переднюю крышку.

Что внутри?

supermicro

Разнёс видеокарты дальше друг от друга, видно, что верхнюю карту можно даже поднять на слот выше, чем указано в документации. Ещё выше поднять уже не получится, память мешает. Так что если нужен слот для длинной карты, то один такой есть.

supermicro

Выбор PCIe слотов с моей стороны очевиден. Первый процессор поддерживает второй, четвёртый и девятый PCIe слоты. У меня как раз три устройства, больше не влезет, иначе придётся покупать второй процессор. Слоты подписаны, перепутать сложно.

supermicro

Платы фиксируются специальными держателями. Планка с держателями крепится одним винтом, её легко снять.

supermicro

Дисковая корзина на 8 слотов.

supermicro

Дополнительно есть три отсека 5.25' и один 3.5'. Можно установить CD-ROM или ещё что-нибудь.

supermicro

Четыре вентилятора в корпусе.

supermicro

Процессор с радиатором и вентилятором. У меня в корпусе только один процессор, второй не ставили.

supermicro

Датчик открытия крышки корпуса.

supermicro

Датчик температуры.

supermicro

В процессе монтажа.

supermicro

Пароль пользователя ADMIN от IPMI можно найти на наклейке материнской платы. Так что не спешите устанавливать GPU, а то потом пароль не видно.

supermicro

Устанавливаем GPU.

supermicro

Блоки питания.

supermicro

За скобу можно крепить кабель питания.

supermicro

Маркировка БП.

supermicro

Разъёмы материнской платы на задней панели.

Тестирование видеокарты

Сервер собран, теперь было бы неплохо проверить, что видеокарты определяются и работают. Benchmark тест нужно какой-нибудь прогнать.

Для начала в BIOS переключаю приоритет вывода изображения с интегрированной видеокарты на установленную. PCIe/PCI/PnP Configuration > VGA Priority, Onboard меняю на Offboard. Подключаю монитор к тестируемой видеокарте.

Собираю из двух дисков RAID 1. Для входа в утилиту управления SATA контроллером нужно нажать Ctrl + i при загрузке.

Временно накатываю Ubuntu.

supermicro

Получается следующий тестовый стенд:

  • сервер: Supermicro GPU SuperWorkstation 7049GP-TRT
  • GPU с активным охлаждением: MSI Geforce RTX 3090 AERO 24G — 2 шт
  • процессор: Intel(R) Xeon(R) Silver 4210 CPU @ 2.20GHz
  • память: 128 Гб 2400 МГц
  • ОС: Ubuntu Desktop 20.04

Проверим, что видеокарты определились:

lspci | grep VGA

Теперь установим драйвера NVIDIA. Посмотрим, что предлагает Ubuntu:

ubuntu-drivers devices

Если версия драйверов устраивает, а меня устраивает, то соглашаемся:

ubuntu-drivers autoinstall

Для контроля состояния видеокарт можно использовать утилиту nvidia-smi:

nvidia-smi

http://developer.download.nvidia.com/compute/DCGM/docs/nvidia-smi-367.38.pdf

supermicro

Текущая версия драйверов 455, можно установить драйвера вручную, например, версию 460:

apt-get install install nvidia-driver-460

Итак, обе видеокарты обнаружены и нормально работают.

В GUI информацию о видеокартах можно посмотреть с помощью NVIDIA X Server Settings.

supermicro

Теперь нужно выбрать какой-нибудь тест GPU. Мне не принципиально какой, нашёл Benchmark: Superposition на движке Unigine:

https://benchmark.unigine.com/

Скачиваем тест.

supermicro

Выполняем скрипт, после в распакованной директории запускаем программу.

На средних настройках получилось 11281 (11313 во второй попытке) очков.

supermicro

На максимальных — 6599.

supermicro

На минимальных — 12822.

supermicro

Тестирование завершено. В BIOS переключаю приоритет вывода изображения обратно на интегрированную видеокарту. PCIe/PCI/PnP Configuration > VGA Priority, Offboard меняю на Onboard.

Установка в стойку

Сервер планируется поставить в стойку.

supermicro

Для установки в стойку потребуется дополнительный рельсовый комплект MCP-290-00059-0B.

supermicro

Поближе наклейка.

supermicro

В комплекте рельсы, уши сервера и крепёжные винты.

supermicro

Верхняя крышка снимается, на её место можно установить рельсы для монтажа в стойку.

supermicro

Переднюю крышку при установке в стойку лучше демонтировать. Её конструкция неудачна, крышка упирается в оборудование снизу и не открывается полностью.

Рельсы разбираются, внутренняя часть устанавливается на корпус, внешняя часть устанавливается в стойку (по центру, высота шасси 4 юнита), крепёж не требуется. Уши прикручиваются тремя винтами к корпусу.

supermicro

Сервер вставляется в рельсы, через уши фиксируется к стойке винтами, чтобы не выдвигался. Одному монтировать тяжело.

supermicro

Сервер Supermicro GPU SuperWorkstation 7049GP-TRT установлен в стойку. Пока ещё вместе с передней крышкой, но я её обязательно сниму.

Ссылки

https://www.supermicro.com/en/products/system/4U/7049/SYS-7049GP-TRT.cfm

https://www.supermicro.com/en/products/motherboard/X11DPG-QT

https://www.supermicro.com/en/support/resources/gpu

Тестируем видеокарту MSI Geforce RTX 3090 AERO 24G