Перейти к основному содержанию
 

Supermicro - используем слоты Rear 2.5 x 2 как зеркало под ОС

Supermicro

Имеется сервер Supermicro 4U в составе CSE-846BE16-R920B / MBD-X10DRi / 2xIntel Xeon E5-2660 V.4 / 4x32 GB DDR4 ECC REG / 24x6TB 7200 RPM / SAS 9300-8i Host Bus Adapter / LSI CBL-SFF8643-8087-10M (LSI00402) / MCP-220-82609-0N / Rear 2.5 x 2 Hot swap HDD / Intel X520-DA2.

И серверная полка в составе CSE-846BE1C-R1K03JBOD / 2282600-RACK-E-HDmSAS-HDmSAS-2M / 24x6TB 7200 RPM.

Простым языком конфигурация следующая:

Сервер размером 4 юнита, в него воткнуты:

  • спереди 24 жёстких диска HDD 3.5' объёмом 6 Тб каждый,
  • внутри материнка X10DRi,
  • два процессора,
  • четыре плашки памяти по 32 Гб,
  • Host Bus Adapter SAS 9300-8i - кабелем LSI соединяется с полкой, её описание ниже,
  • сзади два слота под 2.5' жёсткие диски.

Полка размером 4 юнита, в ней:

  • спереди 24 жёстких диска HDD 3.5' объёмом 6 Тб каждый,
  • полка подключена LSI кабелем к серверу.

Вот как оно выглядит вместе:

supermicro

Идея в следующем: 2 слота сзади сервера использовать под систему, объединив для отказоустойчивости в зеркало - RAID1. Слоты:

supermicro

 

Задача:

  1. объединить два Rear винта в зеркало,
  2. сделать их загрузочными,
  3. установить ОС, загрузиться.
  4. Убедиться, что большие диски по 6 Тб видны в ОС. 

Поехали.

Первые грабли - Legacy

Я уже имел дело с серверами Supermicro, поэтому сразу предупреждаю, встроенный софтварный RAID контроллер на материнке управляется только в режиме Legacy. Это свойственно не только серверам Supermicro. Как минимум, у нового микросервера HPE Proliant Microserver Gen10 тот же недостаток. Итак, нужно в BIOS переключить Boot Mode в режим Legacy.

Вытаскиваю все винты, чтобы не мешали.

Сервер загружается, видим заставку, ждём надписи "Press <DEL> to run Setup":

supermicro

Жмём DEL, должна появиться надпись "Entering Setup...":

supermicro

Отдыхаем и ждём окна BIOS.

supermicro

Переходим во вкладку Boot, переключаем режим Boot Mode Select на LEGACY. Сохраняем изменения, перезагружаем сервер.

Разбираемся с жёсткими дисками

Модель материнской платы, как показывает IPMI, оказалась X10DRi-T. На страничке производителя: https://www.supermicro.com/products/motherboard/Xeon/C600/X10DRi-T.cfm

Из описания следует, что мать имеет на борту два SATA-контроллера. Визуально было обнаружено, что Rear слоты подключены к первому, но это можно и в BIOS посмотреть. Переключить на второй SATA-контроллер вполне реально, но мне не нужно.

SAS винты контроллерами SATA не поддерживаются. Пробуем SATA винты. В качестве теста использовались две модели жёстких дисков:

  • Intel SSD DC S3510 Series 480 Gb (HPE)
  • Western Digital HDD WD10JFCX

Фото SSD:

supermicro

Фото HDD:

supermicro

supermicro

Сразу скажу - оба вида жёстких дисков заработали. Далее в статье работа ведётся только с HDD WD10JFCX от Western Digital, которые мы и будем объёдинять в зеркало.

Rear слоты уже имеют салазки, прикручиваем их к винтам:

supermicro

Втыкаем для начала один винт:

supermicro

Мне пока просто интересно, увидит ли сервер винт?

Также подключаем все 48 винтов по 6 Тб.

Вторые грабли - слишком много винтов в BIOS

После включения сервера с одним Rear винтом нам снова нужно попасть в BIOS.

В процессе загрузки мы видим много винтов TOSHIBA:

supermicro

Это нормально, это всё большие 6 Тб винты.

В процессе загрузки жмём DEL и входим в BIOS, переходим во вкладку Boot:

supermicro

Видим два изменения:

  • Boot Option #6 теперь видит винт "Hard Disk :#0100 ID0..."
  • Появилась опция Hard Disk Drive BBS Priorities

Смотрим на наш "Hard Disk...":

supermicro

Toshiba - это не Rear, нам нужно грузиться с других винтов.

Кликаем на "Hard Disk Drive BBS Priorities":

supermicro

И вот они - грабли. BIOS видит первые 16 жёстких дисков, остальные просто отсутствуют. Rear даже близко нет.

Исправить ситуацию можно, для этого сделать так, чтобы BIOS не видел все винты контроллера SAS 9300-8i. У этого SAS-контроллера есть свой BIOS, с блэкджеком и куртизанками.

Перезагружаем сервер.

Настройка контроллера SAS 9300-8i

Для доступа к настройкам SAS-контроллера ждём появления экрана:

supermicro

Утилита управления SAS-контроллером называется Avago Config Utility. Для входа нажимаем Ctrl+C:

supermicro

Please wait, invoking SAS Configuration Utility...

supermicro

Открывается синий экран, курсор на контроллере SAS9300-81. Кликаем Enter:

supermicro

Ждём, открывается окно конфигурации контроллера:

supermicro

На фото плохо видно, но нас интересует пункт Boot Support, приближу:

supermicro

По умолчанию стоит значение "Enabled BIOS & OS", кнопками плюс и минус меняем его на "Enabled OS only":

supermicro

Нажимаем ESC, выбираем "Save changes then exit this menu":

supermicro

Потом "Exit the Configuration Utility and Reboot":

supermicro

Перезагружаем сервер. На самом дела в этой утилите можно ещё много чего сделать, назначить, например, диск загрузочным, но мне это не требуется.

Снова жмём DEL и входим в BIOS во вкладку Boot:

supermicro

Видим, что винты Toshiba пропали, вместо них в Boot option #6 - "Hard Disk : WDC WD10J...", похоже на правду, кликаем на него:

supermicro

Да, судя по серийнику, это именно тот 2.5' Rear диск, который мы воткнули в сервер. Теперь мы убедились. что винт подходит и читается сервером. Следующая наша задача, сделать из двух Rear дисков RAID.

RAID1

Переходим во вкладку Advanced:

supermicro

Нас интересует пункт SATA Configuration. Это раздел конфигурирования встроенного в материнку SATA контроллера. 

Чуть ниже есть ещё один пункт sSATA Configuration. sSATA расшифровывается просто - Second SATA Controller. Меня он не интересует, поскольку Rear диски подключены к первому SATA контроллеру.

Переходим в SATA Configuration. Конфигурируем.

  • SATA Controller - Enabled
  • Configure SATA as - RAID
  • SATA/sSata RAID Boot Select - SATA Controller

supermicro

В SATA Port 0  видим наш диск Western Digital. Выше я рассказывал, что пробовал SSD диски. Для них можно сменить SATA Device Type с "Hard Disk Drive" на "Solid State Drive" (Для HDD не меняйте!):

supermicro

Не знаю, что это даст, но хуже не будет точно. Поскольку я остановил выбор на WD HDD дисках, то оставляю "Hard Disk Drive" как было по умолчанию.

Сохраняем все изменения в BIOS и выключаем сервер. Вставляем в него второй Rear винт:

supermicro

supermicro

Включаем сервер. В процессе загрузки мелькает новое окно, ловим его:

supermicro

Для входа в раздел конфигурирования RAID нажимаем Ctrl+I (ай, i). Открывается окно Intel(R) Rapid Storage Technology enterprise - SATA Option ROM:

supermicro

Далее настраиваем зеркало из двух винтов. Нажимаем единицу - Create RAID Volume:

supermicro

Указываем Name, я указал RAID1:

supermicro

Выбираем RAID Level - RAID1(Mirror):

supermicro

Capacity оставляю максимум, в зеркале размер RAID массива чуть меньше размера одного винта:

supermicro

Create Volume:

supermicro

Массив создался:

supermicro

Статус массива Normal, инициализация зеркала проходит быстро. Bootable Yes. Выходим - 4:

supermicro

Подтверждаем - Y:

supermicro

Перезагружаем сервер, теперь нужно сделать RAID1 загрузочным.

RAID1 bootable

Загружаемся в BIOS - DEL. Переходим во вкладку Boot. В Boot Option #6 выбираем Intel RAID1:

supermicro

supermicro

Отдельные винты в опциях загрузки пропали, но их можно увидеть в Advanced > SATA Configuration:

supermicro

Если второй SATA контроллер не нужен, можно ему сделать Disabled:

supermicro

Для дальнейшей работы нам понадобится настроить IPMI (Redfish, BMC).

Настройка IPMI (Redfish, BMC) в BIOS

Для настройки IPMI на сервере достаточно вписать IP адрес и конфигурацию сети в BIOS. Переходим во вкладку IPMI:

supermicro

Переходим в BMC Network Configuration:

supermicro

Выбираем Update IPMI LAN Configuration:

supermicro

Yes:

supermicro

Дальше настраиваем конфигурацию сети:

supermicro

supermicro

supermicro

Сохраняем и перезагружаемся:

supermicro

supermicro

Вот тут примечание - после первой перезагрузки IP адрес не меняется. Пришлось чуть позже перезагрузиться второй раз:

supermicro

Вот теперь IP адрес нужный. Теперь можно через IPMI подключиться к консоли сервера, примонтировать ISO образ и установить ОС.

А вот для настройки IPMI на полке понадобятся дополнительные действия. По умолчанию там настроен DHCP - нужно подключить IPMI в сеть с DHCP сервером, поймать выданный IP адрес, зайти по нему на web-интерфейс IPMI и сменить IP адрес и сетевые настройки там. На полке расширения есть кнопка reset, если вы что-то напортачите, мне не пригодилась.

Итак, IP адрес у IPMI есть. Подключаем патчкордом сервер к сетевой карте своего компьютера. Настраиваем на своём компьютере IP адрес из той же подсети, что и IPMI:

supermicro

Заходим на сервер в IPMI через web-интерфейс:

supermicro

Логинимся.

  • Логин Supermicri IPMI по умолчанию ADMIN.
  • Пароль для Supermicri IPMI по умолчанию ADMIN.

Регистр имеет значение.

Установка ОС

Запускаем консоль. Remote Control > Console Redirection > Launch Console:

supermicro

Видим экран сервера:

supermicro

Монтируем ISO образ.

Virtual Media > Virtual Storage:

supermicro

supermicro

Выбираем тип - ISO File:

supermicro

Затем Open Image:

supermicro

Выбираем образ:

supermicro

Open:

supermicro

Кликаем Plug In:

supermicro

Ok. Ключи можно посмотреть в Hotkey Settings:

supermicro

Перезагружаем сервер F6 (передаёт Ctrl+Alt+Del):

supermicro

Загружаемся в ISO образа:

supermicro

Устанавливаем ОС, это уже вы сами. Как пример: Установка Oracle Linux 7.5

После установки ОС можно загрузиться и увидеть наше зеркало уже в Linux:

supermicro

ОС успешно установилась на зеркало. Система готова к эксплуатации.

P.S.

Данная статья писалась два дня. Некоторые её части были выделены в отдельные статьи, могут пригодиться:

Теги

Комментарии