Третий прототип сервера в корпусе ExeGate для трёх GPU GeForce RTX 4090

Олег

16 июня 2024

Всем привет, продолжаем собирать сервер для GPU. Сегодня будет третий прототип сервера на базе корпуса для майнинга ExeGate Pro 6-470.

Изначально задача была простая, подобрать сервер, в который можно установить минимум две карты PALIT GeForce RTX 4090 GameRock 24GB, а лучше четыре. Поставили нам один из прототипов, нужно было оценить пригодность его к эксплуатации. Второй прототип был такой:

Корпус для майнинга ExeGate Pro 6-470
Две карты PALIT GeForce RTX 4090 GameRock 24GB
Гибкие шлейфы для подключения PCIe разной длины
Материнская плата Advantech ASMB-825
Один процессор
Две планки памяти
Блок питания 1650 Вт (не тянет)

Сегодня будем решать две задачи:

Второй прототип у нас нормально не заработал, блок питания Thermaltake Toughpower GF3 на 1650 Вт не потянул две видеокарты вместе с материнской платой и процессором. Попробуем другой блок питания, помощнее: Cooler Master M2000 Platinum 2000 Вт. Но в нагрузку подсунем ему второй процессор. У меня есть большое подозрение, что энергопотребление нового БП будет таким же, как у предыдущего, поскольку новый блок питания с КПД 80 PLUS Platinum. Хуже точно не будет.
Добавляем третью видеокарту PALIT GeForce RTX 4090 GameRock 24GB к уже установленным двум. Естественно, просто так её не добавишь, воткнём второй процессор с памятью. Питать видеокарту будет предыдущий блок питания на 1650 Вт.

Подготовка к поездке

Собираем с собой всё что нам понадобится.

Блок питания Cooler Master M2000 Platinum 2000 Вт.

Синхронизатор блоков питания TISHRIC ATX2ATX-N03.

Второй процессор Intel Xeon Gold 5218R 2.10 ГГц. И память к нему.

Второй радиатор ExeGate ESNK-P0068APS4.PWM.2U.3647.Cu — радиатор с активным охлаждением.

Третью видеокарту GPU PALIT GeForce RTX 4090 GameRock 24GB.

Гибкий шлейф для подключения видеокарты PCIe 4.0 X16 райзер 90° 40 см.

Отвёртки, паяльник, кувалду и двух сильных админов.

Сборка прототипа

Прежде чем собрать третий прототип сервера, нужно разобрать предыдущий. Выключаем сервер, снимаем и переносим в помещение с хорошим освещением. В серверном зале слишком мало места для работы.

Напоминаю, что в качестве корпуса для сервера используем корпус для майнинга ExeGate Pro 6-470.

https://www.exegate.ru/catalogue/mining/mcase/ex270770.html

Данный корпус предназначен для установки шести GPU шириной в два слота. Имеет два отсека для внутренних накопителей, на сайте производителя указано, что корпус с одним отсеком на 3.5, однако, у нас поставка именно с двумя отсеками на 2.5. Три вентилятора 3 x 12 см на передней панели с возможностью установки ещё трёх таких же на задней панели.

Нам нужно добраться до материнской платы, начинаем разбирать сервер с демонтажа верхней крепёжной планки, которая фиксирует GPU.

Теперь можно открутить винты креплений GPU. Корпус рассчитан на двухслотовые GPU, наши же потолще будут, так что закреплены пока с случайные отверстия.

Гибкие шлейфы тоже отключаем.

Мы добрались до материнской платы.

Снимаем заглушку с сокета. Хорошо что она есть, в ЦОДе, конечно, пыли почти нет, но случайно может что-то попасть.

Мы используем в прототипе материнскую плату Advantech ASMB-825. Материнская плата ASMB-825 оборудована BMC чипом ASPEED AST2500. Контроллер ASPEED AST2500/2510 имеет на борту 64 МБ VGA памяти для обеспечения основных 32-bit 2D VGA функций с разрешением 1920x1200. Материнская плата оборудована чипсетом Intel C621/C622 PCH и поддерживает SATAIII RAID 0, 1, 5, 10. В документации сказано, что RAID поддерживается только для Windows, но это не так, при наличие драйверов всё прекрасно работает и в Linux.

Если внимательно посмотреть на позицию слотов CPU, становится понятно, что размещены они не очень хорошо. Вентилятор одного из процессоров будет выдувать воздух прямо на радиатор второго процессора. Зато при выходе из строя одного из вентилятором, второй возьмёт на себя всю нагрузку по охлаждению обоих процессоров.

Устанавливаем процессор в слот. Установка не по инструкции. Дело в том, что в комплекте нашего радиатора не оказалось крепёжной планки., поэтому, установку будем производить по-старинке.

Радиатор идёт уже с заводской термопастой, поэтому просто устанавливаем его.

Затягиваем болты. Порядок крепления указан сверху.

Подключаем питание вентилятора к соответствующему разъёму на материнской плате.

Кабель питания процессоров проложен неудачно, освобождаем его таким образом, чтобы можно было установить оперативную память.

Устанавливаем оперативную память.

С установкой второго процессора мы закончили.

Теперь нужно разобраться с установкой второго блока питания.

Корпус позволяет разместить два блока питания ATX, текущее размещение нам, после коллективного обсуждения, не понравилось, решено всё уложить по-другому.

Снимаем все провода питания и установленный блок питания. Можно было сразу так сделать. Однако, хорошая мысля приходит опосля.

Вот такой корпус для двух SATA дисков установлен в шасси. Питание единое, портов данных два. Есть ещё переключатель ON/OFF, непонятно для чего.

Войдут только тонкие диски. Имеется фиксатор для блокирования от случайного извлечения диска, но это излишества нам внутри корпуса не пригодится. Корпус для дисков мы сняли временно, чтобы удобнее было укладывать провода.

Под систему у нас, кстати, 2,5-дюймовые SSD-накопители SATA DC600M корпоративного класса. Не самый лучший вариант, но неплохие.

Kingston DC600M — это SSD-накопитель для центров обработки данных 4-го поколения c интерфейсом SATA 3.0, 6 Гбит/с с 3D TLC NAND, предназначенный для "смешанных" рабочих нагрузок. DC600M подходит для использования в стоечных серверах большого объема и включает встроенную аппаратную защиту от потери питания (PLP). Благодаря конденсаторам защиты от потери питания DC600M защищает данные от неожиданного сбоя питания, чтобы снизить вероятность потери данных и обеспечить успешную повторную инициализацию при следующем включении системы. DC600M разработан для системных интеграторов, гипермасштабируемых центров обработки данных и поставщиков облачных услуг для стабилизации времени откликов и IOPS.

Kingston SEDC600M/1920G — 1920G DC600M (Mixed-Use) 2.5" Enterprise SATA SSD

Сначала устанавливаем в корпус оба блока питания, а уже после начинаем подключать модульные кабели.

Плоские кабели и стяжки помогают экономить пространство и способствуют лучшему охлаждению.

Не забываем блок питания на 1650 Вт подключить через синхронизатор блоков питания TISHRIC ATX2ATX-N03. Синхронизатор блоков питания TISHRIC ATX2ATX-N03 предназначен для синхронизации двух блоков питания формата ATX.

Реле синхронизатора выключает ведомый блок питания, когда выключается ведущий. И включает таким же образом. Ведущий блок питания подключается к разъёму Molex (есть аналогичные синхронизаторы и для SATA разъёма). Ведомый блок питания подключается к 24 pin разъёму синхронизатора.

Часть кабелей питания подключена и уложена. Материнская плата и процессоры питаются от блока питания на 2 кВт. Сначала подал 12 В на материнскую плату в зону PCI, потом понял что для данных GPU это не требуется, убрал лишний кабель. Устанавливаем на место дисковую корзину.

Устанавливаем две карты GPU сразу таким образом, чтобы было место ещё для двух. Запитываем их через родные шнурки питания (не нравятся они мне) от блока питания на 2 кВт.

С гибкими шлейфами PCIe придётся повозиться. Иногда удобнее сначала закрепить GPU, а уже после подключить заранее уложенный шлейф.

Аналогично устанавливаем третью карту GPU, запитываем от блока питания 1650 Вт, подключаем гибким шлейфом и фиксируем в корпусе верхней планкой. Кабели питания для GPU удобно проложить между вентиляторами, там достаточно места.

Собственно, на этом всё. Осталось закрыть крышкой и установить в стойку.

Заключение

Третий прототип сервера на базе корпуса для майнинга ExeGate Pro 6-470 с трема PALIT GeForce RTX 4090 GameRock 24GB и двумя блоками питания на 2000 Вт и 1650 Вт оказался рабочим. Блок питания Cooler Master M2000 Platinum 2000 Вт потянул две платы GPU, материнскую плату и два процессора в нагрузочном тестировании. Блок питания Thermaltake Toughpower GF3 на 1650 Вт прекрасно справился с одной картой GPU, но это и ожидалось. В четвёртом прототипе сервера мы будем как раз возиться с подключением дополнительной карты, но это не сегодня.