Перейти к основному содержанию

mdadm — добавляем диск большего объёма в RAID5

Linux 2

Сегодня будем добавлять диск в RAID5, собранный с помощью mdadm. Операция отработана, мы уже это делали раньше.

mdadm — добавляем диски в RAID5 массив

Есть одно маленькое отличие: мы не смогли найти такой же диск. Точно таких же дисков нет, в сервере стоят Intel. DWPD 3.

SSD 7.68 TB Intel P4610 Series SSDPE2KE076T801

intel

Диски такого объёма в продаже есть, однако, с надёжностью у них не очень, везде DWPD 1. Меня это не устраивает, сервер критичный. Решили брать всё-таки DWPD 3, но большего объёма. Это допустимо для RAID массивов.

Взяли Micron объёмом 12.5 ТБ.

SSD Micron U.3 7450 Max 12.5TB — MTFDKCC12T8TFS-1BC1ZAB

micron

Наш рабочий стенд:

Установка диска

Еду в ЦОД. Извлекаю из сервера пустые салазки.

raid

Вот, кстати, минус этих салазок. Заглушка закреплена саморезами, которые не подходят для крепления диска. Постоянно забываю про это. Хорошо, есть всегда с собой пакетик с разными винтами.

raid

Устанавливаю диск в салазки.

raid

Закрепляю винтами.

micron

Не выключая сервер устанавливаю диск на горячую.

micron

Диск определяется.

supermicro

Салазки позволяют заблокировать механизм от случайного извлечения. Понадобится маленькая плоская отвёртка.

supermicro

Поворот по часовой стрелке на 90 градусов.

На этом аппаратная часть закончена.

Сбор сведений

Проверим, что диск корректно определился с помощью NVMe Command Line Interface (NVMe-CLI).

nvme list

raid

В сервере 16 дисков, новый будет 17-м.

Посмотрим текущее состояние массивов.

cat /proc/mdstat

nvme

Массив md0 состоит из 16 дисков, вернее разделов:

  1. nvme11n1p1
  2. nvme0n1p1
  3. nvme5n1p1
  4. nvme7n1p1
  5. nvme9n1p1
  6. nvme13n1p1
  7. nvme14n1p1
  8. nvme6n1p1
  9. nvme2n1p1
  10. nvme4n1p1
  11. nvme15n1p1
  12. nvme10n1p1
  13. nvme8n1p1
  14. nvme3n1p1
  15. nvme12n1p1
  16. nvme1n1p1

Все диски в состоянии U (Up). Есть один spare диск [S].

Массив в состоянии active, всё в порядке. Детальную информацию можно посмотреть командой:

mdadm --detail /dev/md0

raid

Подготовка диска

Выводим все NVMe диски со структурой в виде дерева:

lsblk | grep nvme

nvme

Видим, что на новом диске нет разделов, он называется:

  • nvme16n1

Создадим раздел на новом диске с помощью fdisk:

fdisk /dev/nvme16n1
g
n
w

fdisk

Расширение массива

Добавляем новый раздел в массив:

mdadm /dev/md0 -a /dev/nvme16n1p1

nvme

Операция быстрая.

mdadm --detail /dev/md0

nvme

Разделы добавился как второй spare.

Теперь расширяем массив:

mdadm -G /dev/md0 --raid-devices=16 --backup-file=/var/backup

raid

Где raid-devices — новое количество активных дисков (не считая spare), а backup-file — файл с сохранённой структурой массива.

mdadm --detail /dev/md0

raid

Статус массива active, resharping. 0% complete. Массив перестраивается, при этом активно используется базой, простоя нет.

Можно узнать скорость перестроения и время до окончания процесса:

cat /proc/mdstat

raid

Осталось 6183 минуты, показан процент завершения, скорость 20 мегабайт в секунду. Это очень медленно. Ускорим.

mdadm — увеличиваем скорость синхронизации массива

echo 1200000 > /proc/sys/dev/raid/speed_limit_max

raid

После окончания процедуры можно будет расширить файловую систему. Основная работа сделана, можно приступить к чаю.

Теги

 

Похожие материалы

mdadm — добавляем диски в RAID5 массив

Здравствуй, юный Linux админ. Если ты здесь, то тебе пришла задачка расширить RAID5 массив, собранный с помощью mdadm, добавив новые диски. Я тоже столкнулся с этим, погуглил, почитал, и засучил рукава. Основная проблема — сервер останавливать надолго нельзя, поэтому расширять массив будем на бою. Вторая сложность состоит в том, что первоначально RAID5 собирал не я, поэтому в текущей структуре массива нужно разобраться.

Теги