Supermicro — используем слоты Rear 2.5 x 2 как зеркало под ОС

Олег

13 августа 2018

Имеется сервер Supermicro 4U в составе CSE-846BE16-R920B / MBD-X10DRi / 2xIntel Xeon E5-2660 V.4 / 4x32 GB DDR4 ECC REG / 24x6TB 7200 RPM / SAS 9300-8i Host Bus Adapter / LSI CBL-SFF8643-8087-10M (LSI00402) / MCP-220-82609-0N / Rear 2.5 x 2 Hot swap HDD / Intel X520-DA2.

И серверная полка в составе CSE-846BE1C-R1K03JBOD / 2282600-RACK-E-HDmSAS-HDmSAS-2M / 24x6TB 7200 RPM.

Простым языком конфигурация следующая:

Сервер размером 4 юнита, в него воткнуты:

спереди 24 жёстких диска HDD 3.5' объёмом 6 Тб каждый,
внутри материнка X10DRi,
два процессора,
четыре плашки памяти по 32 Гб,
Host Bus Adapter SAS 9300-8i - кабелем LSI соединяется с полкой, её описание ниже,
сзади два слота под 2.5' жёсткие диски.

Полка размером 4 юнита, в ней:

спереди 24 жёстких диска HDD 3.5' объёмом 6 Тб каждый,
полка подключена LSI кабелем к серверу.

Вот как оно выглядит вместе:

Идея в следующем: 2 слота сзади сервера использовать под систему, объединив для отказоустойчивости в зеркало — RAID1. Слоты:

Задача:

объединить два Rear винта в зеркало,
сделать их загрузочными,
установить ОС, загрузиться.
Убедиться, что большие диски по 6 Тб видны в ОС.

Поехали.

Первые грабли - Legacy

Я уже имел дело с серверами Supermicro, поэтому сразу предупреждаю, встроенный софтварный RAID контроллер на материнке управляется только в режиме Legacy. Это свойственно не только серверам Supermicro. Как минимум, у нового микросервера HPE Proliant Microserver Gen10 тот же недостаток. Итак, нужно в BIOS переключить Boot Mode в режим Legacy.

Вытаскиваю все винты, чтобы не мешали.

Сервер загружается, видим заставку, ждём надписи "Press <DEL> to run Setup":

Жмём DEL, должна появиться надпись "Entering Setup...":

Отдыхаем и ждём окна BIOS.

Переходим во вкладку Boot, переключаем режим Boot Mode Select на LEGACY. Сохраняем изменения, перезагружаем сервер.

Разбираемся с жёсткими дисками

Модель материнской платы, как показывает IPMI, оказалась X10DRi-T. На страничке производителя: https://www.supermicro.com/products/motherboard/Xeon/C600/X10DRi-T.cfm

Из описания следует, что мать имеет на борту два SATA-контроллера. Визуально было обнаружено, что Rear слоты подключены к первому, но это можно и в BIOS посмотреть. Переключить на второй SATA-контроллер вполне реально, но мне не нужно.

SAS винты контроллерами SATA не поддерживаются. Пробуем SATA винты. В качестве теста использовались две модели жёстких дисков:

Intel SSD DC S3510 Series 480 Gb (HPE)
Western Digital HDD WD10JFCX

Фото SSD:

Фото HDD:

Сразу скажу - оба вида жёстких дисков заработали. Далее в статье работа ведётся только с HDD WD10JFCX от Western Digital, которые мы и будем объёдинять в зеркало.

Rear слоты уже имеют салазки, прикручиваем их к винтам:

Втыкаем для начала один винт:

Мне пока просто интересно, увидит ли сервер винт?

Также подключаем все 48 винтов по 6 Тб.

Вторые грабли - слишком много винтов в BIOS

После включения сервера с одним Rear винтом нам снова нужно попасть в BIOS.

В процессе загрузки мы видим много винтов TOSHIBA:

Это нормально, это всё большие 6 Тб винты.

В процессе загрузки жмём DEL и входим в BIOS, переходим во вкладку Boot:

Видим два изменения:

Boot Option #6 теперь видит винт "Hard Disk :#0100 ID0..."
Появилась опция Hard Disk Drive BBS Priorities

Смотрим на наш "Hard Disk...":

Toshiba - это не Rear, нам нужно грузиться с других винтов.

Кликаем на "Hard Disk Drive BBS Priorities":

И вот они - грабли. BIOS видит первые 16 жёстких дисков, остальные просто отсутствуют. Rear даже близко нет.

Исправить ситуацию можно, для этого сделать так, чтобы BIOS не видел все винты контроллера SAS 9300-8i. У этого SAS-контроллера есть свой BIOS, с блэкджеком и куртизанками.

Перезагружаем сервер.

Настройка контроллера SAS 9300-8i

Для доступа к настройкам SAS-контроллера ждём появления экрана:

Утилита управления SAS-контроллером называется Avago Config Utility. Для входа нажимаем Ctrl+C:

Please wait, invoking SAS Configuration Utility...

Открывается синий экран, курсор на контроллере SAS9300-81. Кликаем Enter:

Ждём, открывается окно конфигурации контроллера:

На фото плохо видно, но нас интересует пункт Boot Support, приближу:

По умолчанию стоит значение "Enabled BIOS & OS", кнопками плюс и минус меняем его на "Enabled OS only":

Нажимаем ESC, выбираем "Save changes then exit this menu":

Потом "Exit the Configuration Utility and Reboot":

Перезагружаем сервер. На самом дела в этой утилите можно ещё много чего сделать, назначить, например, диск загрузочным, но мне это не требуется.

Снова жмём DEL и входим в BIOS во вкладку Boot:

Видим, что винты Toshiba пропали, вместо них в Boot option #6 - "Hard Disk : WDC WD10J...", похоже на правду, кликаем на него:

Да, судя по серийнику, это именно тот 2.5' Rear диск, который мы воткнули в сервер. Теперь мы убедились. что винт подходит и читается сервером. Следующая наша задача, сделать из двух Rear дисков RAID.

RAID1

Переходим во вкладку Advanced:

Нас интересует пункт SATA Configuration. Это раздел конфигурирования встроенного в материнку SATA контроллера.

Чуть ниже есть ещё один пункт sSATA Configuration. sSATA расшифровывается просто - Second SATA Controller. Меня он не интересует, поскольку Rear диски подключены к первому SATA контроллеру.

Переходим в SATA Configuration. Конфигурируем.

SATA Controller - Enabled
Configure SATA as - RAID
SATA/sSata RAID Boot Select - SATA Controller

В SATA Port 0 видим наш диск Western Digital. Выше я рассказывал, что пробовал SSD диски. Для них можно сменить SATA Device Type с "Hard Disk Drive" на "Solid State Drive" (Для HDD не меняйте!):

Не знаю, что это даст, но хуже не будет точно. Поскольку я остановил выбор на WD HDD дисках, то оставляю "Hard Disk Drive" как было по умолчанию.

Сохраняем все изменения в BIOS и выключаем сервер. Вставляем в него второй Rear винт:

Включаем сервер. В процессе загрузки мелькает новое окно, ловим его:

Для входа в раздел конфигурирования RAID нажимаем Ctrl+I (ай, i). Открывается окно Intel(R) Rapid Storage Technology enterprise - SATA Option ROM:

Далее настраиваем зеркало из двух винтов. Нажимаем единицу - Create RAID Volume:

Указываем Name, я указал RAID1:

Выбираем RAID Level - RAID1(Mirror):

Capacity оставляю максимум, в зеркале размер RAID массива чуть меньше размера одного винта:

Create Volume:

Массив создался:

Статус массива Normal, инициализация зеркала проходит быстро. Bootable Yes. Выходим - 4:

Подтверждаем - Y:

Перезагружаем сервер, теперь нужно сделать RAID1 загрузочным.

RAID1 bootable

Загружаемся в BIOS - DEL. Переходим во вкладку Boot. В Boot Option #6 выбираем Intel RAID1:

Отдельные винты в опциях загрузки пропали, но их можно увидеть в Advanced > SATA Configuration:

Если второй SATA контроллер не нужен, можно ему сделать Disabled:

Для дальнейшей работы нам понадобится настроить IPMI (Redfish, BMC).

Настройка IPMI (Redfish, BMC) в BIOS

Для настройки IPMI на сервере достаточно вписать IP адрес и конфигурацию сети в BIOS. Переходим во вкладку IPMI:

Переходим в BMC Network Configuration:

Выбираем Update IPMI LAN Configuration:

Yes:

Дальше настраиваем конфигурацию сети:

Сохраняем и перезагружаемся:

Вот тут примечание - после первой перезагрузки IP адрес не меняется. Пришлось чуть позже перезагрузиться второй раз:

Вот теперь IP адрес нужный. Теперь можно через IPMI подключиться к консоли сервера, примонтировать ISO образ и установить ОС.

А вот для настройки IPMI на полке понадобятся дополнительные действия. По умолчанию там настроен DHCP - нужно подключить IPMI в сеть с DHCP сервером, поймать выданный IP адрес, зайти по нему на web-интерфейс IPMI и сменить IP адрес и сетевые настройки там. На полке расширения есть кнопка reset, если вы что-то напортачите, мне не пригодилась.

Итак, IP адрес у IPMI есть. Подключаем патчкордом сервер к сетевой карте своего компьютера. Настраиваем на своём компьютере IP адрес из той же подсети, что и IPMI: