Сегодня будет небольшая история в картинках про установку моста NVLink Nvidia Bridge Ampere (2-slot) на две видеокарты GeForce RTX.
NVLink — это отдельная шина, соединяющая две видеокарты друг с другом.
Если вы планируете ставить две видеокарты и соединять их мостом, то вам необходимо предварительно изучить документацию по всему имеющемуся железу. Если нам требуется только производительность за небольшие деньги, а внешний вид не важен, то выбирают сначала видеокарту. Видеокарта не всякая подойдёт (имеется в виду из тех, что поддерживают мост NVLink), производители любят налепить на карту кучу вентиляторов и светомузыки, толщина карты начинает превышать два стандартных слота PCIe. А чтобы соединить две видеокарты мостом, нужно подобрать мост исходя из расстояния между карт.
Если карта занимает два PCIe слота, то и мост нужно брать на два слота.
Если карта занимает три слота, то мост нужен трёхслотовый.
Допустим, мы выбрали видеокарту, теперь подбираем к ней компьютер. Нам нужно соблюсти все условия, чтобы расстояние между слотами соблюсти, чтобы слоты оказались рабочие, например, когда в двухпроцессорной материнской плате используется только один процессор. Видеокарта по длине должна войти, питание для видеокарты тоже должно быть. И когда у нас всё сложилось в голове и на бумаге — покупаем железо. Мы собрали следующий стенд:
- Сервер: Supermicro GPU SuperWorkstation 7049GP-TRT
- Процессор: Intel Xeon Silver 4210 CPU @ 2.20GHz — одна штука
- Память: 128 Гб 2400 МГц
- Две видеокарты GIGABYTE GeForce RTX 3090 TURBO 24G
- Мост NVLink Bridge Ampere (2-slot)
В сервер Supermicro GPU SuperWorkstation 7049GP-TRT можно установить до 4 больших GPU 10.5' двойной ширины, питание для этого есть. Естественно, если в сервере два процессора. А если процессор один, то можно установить всего три PCIe устройства. Первый процессор поддерживает второй, четвёртый и девятый PCIe слоты. Как раз войдёт две двухслотовые видеокарты и однослотовую сетевую карту. Нам надо два SFP+ порта по заявке заказчика.
Второй и четвёртый слоты идут подряд, можно установить две видеокарты и соединить двухслотовый мостом. Применение NVlink в серии видеокарт RTX 30 (архитектура Ampere) поддерживается только у моделей:8 GeForce RTX 3090 и GeForce RTX 3090 Ti.
Устанавливаем первый процессор, сетевуху, одну из видеокарт. Нужно проверить, войдёт ли GPU по длине. Прекрасно входит.
Для питания GIGABYTE GeForce RTX 3090 TURBO 24G понадобится переходник, который идёт с корпусом сервера, кабель Supermicro CBL-PWEX-1040. Две карты — два переходника.
Видеокарту фиксируем винтом.
Распаковываем вторую видеокарту.
Разъём для NV-Link. Закрыт заглушкой.
Карты абсолютно одинаковые. GeForce RTX 3090 TURBO 24G, с графическим процессором NVIDIA GeForce RTX 3090. Оснащена турбиной для активного охлаждения. Такое решение позволяет выводить горячий воздух за пределы системного блока, при этом сами размеры видеокарты вписываются в два PCIe слота. Что, в свою очередь, позволяет установить рядом несколько таких видеокарт, что нам и нужно. Турбина шумит, но нам это не важно. Производительность карты с таким охлаждением не уступает, а то и превосходит похожие варианты с тремя кулерами.
Устанавливаем вторую карту, подключаем питание, фиксируем финтом.
Убираем заглушки.
Распаковываем мост.
Мост устанавливается очень просто.
Нужно убедиться в том, что разъёмы плотно вошли. Я сначала умудрился криво поставить.
Мост глянцевый, пыль видна, отпечатки пальцев остаются. Протираем тряпочкой.
Фотографии установленного моста с разных ракурсов.
Проверка
Устанавливаем драйвера NVidia.
Установка драйверов NVIDIA в Ubuntu
nvidia-smi topo --matrix
Без моста:
С мостом:
Ссылки
Supermicro GPU SuperWorkstation 7049GP-TRT — обзор
