Покажу фотографии и расскажу о трудностях сборки прототипа сервера для двух видеокарт PALIT GeForce RTX 4090 GameRock 24GB в корпусе для майнинга ExeGate Pro 6-470.
Две карты GPU GeForce RTX 4090 в корпусе для майнинга
Задача была простая, подобрать сервер, в который можно установить минимум две карты PALIT GeForce RTX 4090 GameRock 24GB, а лучше четыре. Поставили нам один из прототипов, нужно было оценить пригодность его к эксплуатации.
- Корпус для майнинга ExeGate Pro 6-470
- Две карты PALIT GeForce RTX 4090 GameRock 24GB
- Гибкие шлейфы для подключения PCIe разной длины
- Материнская плата Advantech ASMB-825
- Один процессор
- Две планки памяти
- Блок питания 1650 Вт (не тянет)
Корпус для майнинга ExeGate Pro 6-470
https://www.exegate.ru/catalogue/mining/mcase/ex270770.html
Данный корпус предназначен для установки шести GPU шириной в два слота. Имеет два отсека для внутренних накопителей, на сайте производителя указано, что корпус с одним отсеком на 3.5, однако, у нас поставка именно с двумя отсеками на 2.5. Три вентилятора 3 x 12 см на передней панели с возможностью установки ещё трёх таких же на задней панели.
Характеристики
- Блок питания: 2 x ATX (поставляется без БП)
- Рекомендуемые блоки питания ExeGate: EX850, EX1000, EX1200, SHP1300, SHP1700, SHP2000
- Тип корпуса: Для майнинга
- Тип материнской платы: mini ITX, mini DTX, mATX, ATX
- Количество видеокарт: 6 (двухслотовых)
- Цвет: Черный
- Установка в стойку: 6U
- Максимальный размер материнской платы, мм: 305 x 244
- Отсеки для накопителей: 1 x 3.5 (или 2 x 2.5)
- Порты ввода/вывода: 2 x USB2.0
- Индикаторы, LED: 1 x Power Status (blue), 1 x HDD Status (red)
- Выключатели на передней панели: 1 x Power On/Off, 1 x Reset Switch
- Материал корпуса: Сталь 1 мм
- Размеры (ГxШxВ), мм: 470 x 430 x 267
- Вес, кг: 7,4
- Цвет передней панели: Черный
- Цвет шасси: Серебристый
- P/N: EX270770RUS
- EAN: 4895205105621
Чертёж EX270770RUS.pdf
Охлаждение
- Установленные вентиляторы на передней панели: 12 см x 3
- Места для установки на задней панели: 12 см x 3
- Рекомендуемые вентиляторы ExeGate: 12 см
- Скорость вращения вентилятора, об/мин: 4500
- Подшипник: Шариковый
PALIT GeForce RTX 4090 GameRock 24GB
Про эту карту уже был обзор, на модель OmniBlack без подсветки. В нашем корпусе будут стоять две такие же карты, только с подстветкой.
PALIT GeForce RTX 4090 GameRock 24GB
- Объем памяти: 24GB
- Полоса пропускания шины памяти: 384bit
- DRAM Type: GDDR6X
- Частота графического процессора (МГц): 2235 MHz
- Тактовая частота с ускорением (MHz): 2520 MHz
- Быстродействие памяти: 21 Gbps
- Число процессоров CUDA: 16384
- Пропускная способность памяти (ГБ/с): 1008
- Microsoft DirectX: Microsoft DirectX 12 Ultimate
- OpenGL: 4.6
- Интерфейс подключения: PCI-E 4.0
- HDMI: HDMI 2.1a
- DisplayPort: DP1.4a x 3
- Максимальное цифровое разрешение: 4K at 240Hz or 8K at 60Hz with DSC, HDR
- Ширина: 3.5 slot
- Размеры: 329.4 x 137.5 x 71.5 mm
- Электропотребление (Вт): 450W
- Рекомендованные системные требования по питанию (Вт): 1000W
- Дополнительные разъемы питания: 16-pin x1
- Комплект поставки: 16-pin to 3x 8-pin power cable, VGA Holder
- Вентиляторы Gale Hunter
- 2-Ball Bearing
- Dual BIOS: BIOS 1: Performance Mode, BIOS 2:Silent Mode
- Технология «0 децибел»
- Пластины Радиатора Y Formula
- Сверхширокое медное основание
- DrMOS
- Ядра для трассировки лучей: 3rd Generation
- Тензорные ядра: 4th Generation
- Архитектура NVIDIA: Ada Lovelace
- DLSS 3
- NVIDIA Reflex
- NVIDIA Broadcast
Resizable BAR - NVIDIA Highlights
- NVIDIA Multi-Projection
- Поддержка нескольких мониторов: 4
- NVIDIA Ansel
- NVIDIA FreeStyle
- NVIDIA Vulkan RT API
- NVIDIA G-SYNC
- NVIDIA Omniverse
- NVIDIA GPU Boost
- NVIDIA ShadowPlay
- Энкодер NVIDIA (NVENC): 2x 8th Generation
- Декодер NVIDIA (NVDEC): 5th Generation
- Кодирование AV1
- Декодирование AV1
- CUDA-возможности: 8.9
- Поддержка VR
Распакуем и осмотрим
Прототипы доставлены.
Откроем. Не сказать, что всё упаковано в толстый-толстый слой пенопласта, но упаковка нормальная.
Достанем корпус и посмотрим. Бандура тяжёлая.
Передняя панель окрашена в чёрный матовый. Качество покраски хорошее.
Внешняя поверхность корпуса оклеена защитной плёнкой. Сервер пришёл от поставщика уже в сборе, чтобы отклеить всю плёнку пришлось по очереди открутить все крепёжные винты.
На фронтальной панели у нас расположены кнопки, индикаторы и USB порты. Вверху вентиляторы охлаждения, внизу слоты для блоков питания. Сомнительное решение, БП выдувают в холодный зал, этот воздух сразу забирается вентиляторами, но ладно, пойдёт.
У нас установлен один блок питания Thermaltake Toughpower GF3 на 1650 Вт.
И это было неправильное решение, 1650 Вт не хватает для питания сервера с одним процессором и двумя GPU GeForce RTX 4090 в пиковом режиме работы. У нас ещё будут статьи по решению проблем электропитания такой конфигурации. Естественно, два таких БП и четыре GPU тоже нельзя будет поставить.
Выбрасывать этот блок питания мы не будем, он нам пригодится. Обзор на него будет позже, в одну статью всё не впихнёшь.
Перевернём сервер и посмотрим на заднюю панель. И здесь у нас печалька. Сверху есть три слота для установки дополнительных вентиляторов, но они нам не понадобятся, поскольку наши GPU оснащены активным охлаждением и трёх фронтальных вентиляторов достаточно для отвода тепла.
Ниже выведены порты материнской платы. Вся открытая поверхность закрыта кусками пластика, которые держатся на саморезах. Лучше бы эту порнографию вообще не ставили.
И самое нехорошее: корпус не оснащён панелью для крепления PCIe адаптеров! Это минус данного корпуса. Из-за этого планка SFP+ сетевой карты выпрямлена плоскогубцами и прикручена к корпусу тем же саморезом, причём криво.
Это уже недоработки сборщиков. Руки не из того места растут, честно. Я уже хотел было просверлить новое отверстие, поставить PCIe плату ровно и выкинуть весь пластик за ненадобностью. Потом забил, прототип же.
На самой сетевой карте не будем останавливаться, там какая-то плата Intel с двумя портами SFP+. Намучился подбирать трансиверы, в итоге подключил медными twinax.
Снимем крышку.
Вверху корпуса стоят GPU. Стоят надёжно. Задняя часть опирается на широкую металлическую планку. Передняя часть фиксируется винтами, правда, из-за большой ширины отверстия не совпадают, нужно подгонять приблизительно, но сверлить не пришлось. Сверху GPU фиксируются ещё одной планкой, которая может быть сдвинута по высоте. В итоге мы немного приподняли все GPU, чтобы внизу больше места было для шлейфов.
Если использовать нормальные 12-pin разъёмы от блоков питания, то проблем нет. А если использовать родное питание от GPU, то оно упирается в крышку, что не очень удобно.
Сбоку к корпусу прикручен кейс на два диска.
Посмотрим что внутри.
А внутри два SSD:
Kingston SEDC600M/1920G — 1920G DC600M (Mixed-Use) 2.5" Enterprise SATA SSD
Не самый лучший выбор для установки ОС, но будем работать с тем, что есть.
Кейс оборудован механизмом блокировки. Здесь он и не нужен, на самом деле. Да и отвёрток таких у меня нет, с треугольным отверстием. Извлечь диски можно не снимая GPU, а вот добраться до шлейфов уже без демонтажа не получится.
Сегодня разбирать корпус полностью не буду, посмотрю на материнскую плату.
Это у нас Advantech ASMB-825T2. Про материнскую плату мы тоже сегодня не говорим.
Немного о подключении GPU. Видеокарты подключаются к материнской плате гибкими шлейфами разной длины.
Шлейфы не очень удобные, но другого варианта подключения в таком корпусе нет.
Подключим и включим
Собираем всё как было и попробуем включить.
Всё заработало и определилось.
И как это выглядит можно посмотреть на видео.
Под нагрузкой не тестировали, а зря. Уже после установки в ЦОД выяснилось, что блок питания нужно менять на более мощный.
P.S.
Позже мы опубликуем статью о том, как решали проблему с электропитанием и устанавливали третью карту GPU. Не переключайтесь :)
