Пятый прототип сервера в корпусе ExeGate для четырёх GPU GeForce RTX 4090

Олег

25 октября 2024

GIGABYTE GeForce RTX 4090 WINDFORCE V2 24G

Всем привет, продолжаем собирать сервер для GPU. Сегодня будет пятый прототип сервера на базе корпуса для майнинга ExeGate Pro 6-470.

Изначально задача была простая, подобрать сервер, в который можно установить минимум две карты PALIT GeForce RTX 4090 GameRock 24GB, а лучше четыре. Поставили нам один из прототипов, нужно было оценить пригодность его к эксплуатации. Второй прототип был такой:

Корпус для майнинга ExeGate Pro 6-470
Две карты PALIT GeForce RTX 4090 GameRock 24GB
Гибкие шлейфы для подключения PCIe разной длины
Материнская плата Advantech ASMB-825
Один процессор
Две планки памяти
Блок питания 1650 Вт (не тянет)

Третий оказался интересней:

Корпус для майнинга ExeGate Pro 6-470
Три карты PALIT GeForce RTX 4090 GameRock 24GB
Гибкие шлейфы для подключения PCIe разной длины
Материнская плата Advantech ASMB-825
Два процессора
Четыре планки памяти
Блок питания 1650 Вт
Блок питания 2000 Вт

Третий прототип сервера на базе корпуса для майнинга ExeGate Pro 6-470 с трема PALIT GeForce RTX 4090 GameRock 24GB и двумя блоками питания на 2000 Вт и 1650 Вт оказался рабочим. Блок питания Cooler Master M2000 Platinum 2000 Вт потянул две платы GPU, материнскую плату и два процессора в нагрузочном тестировании. Блок питания Thermaltake Toughpower GF3 на 1650 Вт прекрасно справился с одной картой GPU, но это и ожидалось.

Четвёртый прототип уже решал поставленные задачи:

Корпус для майнинга ExeGate Pro 6-470
Четыре карты PALIT GeForce RTX 4090 GameRock 24GB
Гибкие шлейфы для подключения PCIe разной длины
Материнская плата Advantech ASMB-825
Два процессора
Четыре планки памяти
Блок питания 1650 Вт
Блок питания 2000 Вт

Сегодня будем улучшать прототип:

Боремся с неудачным расположением кабелей питания видеокарт. Для этого карты меняем на GIGABYTE GeForce RTX 4090 WINDFORCE V2 24G. Карта от GIGABYTE дороже, но имеет ряд преимуществ, одно из которых может быть критически важным. А именно — расположение разъёма питания. Он расположен таким образом, что кабель питания располагается параллельно видеокарте, а не поперёк, как у Palit. Это позволяет использовать более узкие корпуса компьютеров.
Используем другую материнскую плату Supermicro X12DPL-NT6. На этой материнской плате процессоры установлены таким образом, чтобы воздух от одного процессора не обдувал радиатор второго процессора, как это было у Advantech. У нас также появляется выделенный порт управления IPMI.
Ещё больше вентиляторов.
Унифицируем блоки питания, и вместо двух разных БП ставим два одинаковых Cooler Master M2000 Platinum 2000 Вт.
Избавляемся от отдельной сетевой карты и используем встроенные в материнскую плату порты. Просто потому что больше нет PCIe слотов, а текущих портов нам достаточно. Момент, конечно, спорный.
Более вместительная корзина для дисков, на 4 шт.

Осмотр прототипа

Прототип к нам пришёл в собранном виде. Но мы его обязательно пересоберём. Корпус у нас прежний, ExeGate Pro 6-470. Не будем на нём заострять внимание, если интересно, почитайте в отдельной статье на нашем сайте. Снимаем крышку и смотрим.

Первое изменение, которое бросается в глаза, это дополнительные вентиляторы на корпусе. Если раньше мы использовали только три вентилятора на передней панели, то теперь к ним присоединились ещё три — на задней панели.

Второе значительное отличие, карты GIGABYTE GeForce RTX 4090 WINDFORCE V2 24G. И у нас уже нигде сверху не торчит питание, крышка корпуса закрывается без проблем.

Питание подходит к видеокартам горизонтально и прекрасно подключается стандартными кабелями.

GPU всё ещё установлены под углом, но это для того, чтобы для гибких шлейфов PCIe снизу было больше места.

Перед разбором проверим что нам пришло рабочее железо. Запустим сервер.

Сервер грузится.

Подсветка дисков работает.

Быстренько ставим какой-нибудь Linux. Все четыре видеокарты работают.

Выключаем сервер. Задняя панель с перфорацией выглядит уже гораздо лучше. Почти энтерпрайз.

Пересборка прототипа

Будем разбирать и смотреть как всё устроено. Снимаем верхнюю планку.

Начинаем снимать карты по очереди. Сразу обращаю внимание на то, что в корпусе для дисков без проблем можно установить только два диска. Два дополнительных упираются в загнутую часть корпуса и не выдвигаются. Чтобы до них добраться, нужно открутить кейс от боковой стенки и наклонить под углом. Очень неудобно, но это особенность корпуса.

Первую карту сняли.

Она была подключена коротким шлейфом. Не пойму его длину, длина самого шлейфа 15 см, а общая длина с разъёмами 20 см. Наверное, всё-таки 20 см.

Все карты сняли.

Шлейфы тоже.

Открыт доступ к материнской плате.

Обращаем внимание на расположение процессоров. Как уже я писал ранее, расположение слотов теперь "правильное".

Вот у нас стоит синхронизатор блоков питания TISHRIC ATX2ATX-N03. Синхронизатор блоков питания TISHRIC ATX2ATX-N03 предназначен для синхронизации двух блоков питания формата ATX.

Внутри два одинаковых блока питания на 2 кВТ каждый.

Провода как-то неаккуратно уложены, разберём всё, снимем лишнее и заново уложим.

На боковой панели висят липучки, на которых стяжками крепилась часть проводов. Тоже от них избавимся.

Снимаем кейс для дисков. Как я и думал, шлейфами подключено только два слота. А два — не подключено. Нужно будет докупить и подключить при необходимости.

Немного отвлечёмся и посмотрим на диски. Диски теперь у нас получше. Это Samsung SSD SATA PM893 1.92 ТБ — MZ7L31T9HBLT-00A07. Данный диск не выделяется параметрами записи, но на чтение очень даже ничего: 98K IOPS и 550 МБ/с.

Начинаем обратную сборку. Ставим карту. Я пытался показать как она подключается коротким шлейфом, но всё равно плохо видно.

Включаем сервер и проверяем что всё работает после наших телодвижений.

Ubuntu нам поможет.

Видеокарта определилась.

Выключаем сервер, устанавливаем все оставшиеся шлейфы. Устанавливаем вторую карту GPU.

Я немного сдвигаю карты ближе к одному краю, чтобы последний шлейф не сильно изгибался.

Включаем сервер и проверяем что работают обе карты.

Устанавливаем третью карту.

И снова проверяем что работают все три карты. Кто-то может спросить, зачем мы проверяем карты каждый раз? Ответ простой, если что-то не заработает, то будет понятно что именно. И не придётся разбирать весь сервер.