Сегодня у нас на столе малоиспользуемая (пока) в нашей стране вещь. Это системная плата OCP 3.0 для серверов серии ASUS RS700-E10, модель RG16L-OCP-R1P-A. Собственно, ничего про неё не найдя в сети Интернет, я и начал разбираться в том что это за штука в комплекте нового сервера. И узнал много чего интересного про Open Compute Project (OCP).
Сообщество Open Compute Project — организация, участники которой обмениваются идеями и разработками для современных дата-центров. Решения, предлагаемые в рамках Open Compute Project, распространяются по аналогии с Open Source, т.е. бесплатно.
Инновации OCP стандартизируются, развиваются и постепенно внедряются в ЦОДах. Вот эта плата и есть один из переходников от старой классической серверной инфраструктуры к более современной. OCP предполагает, что все компоненты сервера, требующие обслуживания, устанавливаются с фронтальной панели сервера. В нашем случае мы имеем смесь нового и старого, доступ к OCP разъёму предлагается с задней панели сервера.
Эта железка позволяет превратить обычный PCIe Gen4 x16 слот сервера в OCP 3.0. Магия заключается в дополнительных двух слотах SLMPCIE x8, которые подключаются шлейфами к материнской плате. Я насчитал 32 PCIe линии.
Что можно подключить к этому разъёму?
К примеру, можно подключить сетевую карту стандарта OCP NIC 3.0 SFF. Вот одна из новинок: LRES3040PF-OCP — двухпортовый сетевой адаптер OCP 3.0 25G SFP28 Ethernet (Mellanox ConnectX-4).
Такая форма разъёма, в отличие от PCIe, позволяет снимать и устанавливать адаптеры без необходимости вскрытия корпуса сервера: hot plug. Что-то вспомнились старые картриджи для приставок...
Есть несколько типоразмеров OCP NIC 3.0. В нашем случае плата OCP NIC 3.0. W1, она позволяет устанавливать устройства OCP NIC 3.0 4C+, как на фото выше, а также платы половинной длины OCP NIC 3.0 2C+.
Эта ширина является наиболее распространенной, поскольку он использует разъем 4C+. Это обычная ширина, которую мы наблюдаем сегодня для многих сетевых адаптеров. Бывает ещё OCP NIC 3.0. W2 (LFF), она встречается реже, но более интересна с точки зрения производительности, поскольку обеспечивает больше места на печатной плате, и обеспечивает больше линий PCIe. Он имеет тот же разъем 4C+ (+ для разъема OCP Bay), что и W1, но добавляет второй разъем 4C (без +). В результате получается 32 линии PCIe, поскольку каждый 4C — это 16 линий.
Помимо ширины адаптеры могут различаться способом крепления. К сетевому адаптеру подключаются патчкорды, которые очень сильные админы любят дёргать. Особо одарённые природой админы могут выдернуть вместе с патчкордом и саму плату. Но не волнуйтесь! Стандатром OCP NIC 3.0 предусмотрены аж три типа замка, фиксирующих системную плату:
- Pull Tab
- Ejector Latch
- Internal Lock
Pull Tab — фиксация адаптера происходит с помощью винта, на адаптере имеется ручка для установки и извлечения. Это наиболее распространённый вариант.
Ejector Latch — фиксация осуществляется скобой-рычагом.
Internal Lock — это внутренний механизм фиксации, который может быть самым разным. Внутренний замок не позволяет извлечь адаптер без вскрытия корпуса, это, с одной стороны, рубит на корню всю идею OCP о простом и быстром обслуживании сервера, с другой стороны, позволяет крупным компаниям продолжать зарабатывать на техподдержке своего железа, поскольку для обслуживания таких серверов потребуется более квалифицированный персонал. Немаловажный момент, адаптер с внутренним замком стырить сложнее...
Как видно по фото, адаптеры с внутренним замком занимают меньше полезной площади, в этом тоже есть плюс.
Так, а что это мы всё про сетевухи? У нас же системная плата OCP 3.0 не только для NIC устройств. Мы можем установить в слот что-нибудь ещё, например, RAID контроллер.
Я не знаю как производители решили проблему охлаждения RAID контроллеров. Фронтальная установка со стороны холодного зала, конечно, для таких устройств предпочтительна, на мой взгляд.
Установка RG16L-OCP-R1P-A
Производитель сервера рекомендует устанавливать системную плату OCP 3.0 во второй PCIe слот. Непонятно почему рекомендует, других вариантов всё равно нет.
Выкручиваем фиксирующий райзер винт.
Снимаем PCIe заглушки.
К системной плате OCP 3.0 крепим скобу. На самом деле она уже закреплена, этот шаг пропускаем.
Устанавливаем системную плату в PCIe слот.
Фиксируем плату замком.
Подключаем кабели. Разъёмы SLMPCIE7 и SLMPCIE8 на материнской плате подключаем к разъёмам SLMPCIE1 и SLMPCIE2 на системной плате (8).
Два кабеля из комплекта платы подключаем к соответствующим портам райзера и к плате в OCP_SIDE1 и OCP_NCSI1 (7).
Всё готово к установке адаптера.
Заключительные слова
Мы не задавались целью создать практическое руководство по подключению и использованию системных плат OCP 3.0. Мы просто хотели познакомить наших коллег с новыми форматами OCP, которые уже предлагаются на рынке и могут встретиться в серверах. Таких новинок становится всё больше и больше. 10 гигабит в порту сетевой карты уже может и не хватить...
Ждём новый открытий в формфакторе OCP.
Ссылки
Фотографии
