Управление RAID контроллером LSI (Broadcom, Avago) с помощью StorCLI в Oracle Linux

Олег

23 марта 2020

Поступил вопрос от DBA, написать о том, как разбиты диски на массивы в сервере Oracle Linux. Я, честно говоря, уже и не помню что мы там конфигурировали, воспользуемся средствами операционной системы и утилитой StorCLI.

Утилита работает и в других операционных системах на базе Linux, есть версия и для Windows, но у меня именно Oracle Linux 7.6, работаю с тем что есть.

Окружение

Имеем сервер Supermicro 4U и серверную полку 4U, всего 48 жёстких дисков HDD 3.5' объёмом 6 Тб каждый.

В сервере также имеется Rear 2.5 x 2 Hot swap HDD — 2 SATA диска HDD 2.5' объёмом 1 Тб каждый.

Раньше уже писал про то, как разбить эти диски в зеркало для ОС:

Supermicro — используем слоты Rear 2.5 x 2 как зеркало под ОС

Дополнительно известно, что в сервере установлены два RAID контроллера, один обслуживает диски сервера, второй — диски полки.

Массивы в операционной системе

Посмотрим что у нас примонтировано:

df -h

[root@db00 ~]# df -h
Файловая система Размер Использовано  Дост Использовано% Cмонтировано в
devtmpfs            63G            0   63G            0% /dev
tmpfs               63G          12K   63G            1% /dev/shm
tmpfs               63G         1,2G   62G            2% /run
tmpfs               63G            0   63G            0% /sys/fs/cgroup
/dev/md126p3       859G         128G  688G           16% /
/dev/md126p1       962M         245M  663M           27% /boot
/dev/md10           66T          43T   23T           66% /u01
/dev/md20           66T          26T   40T           39% /u02

У нас есть два массива md10 и md20 по 66 Тб каждый. ОС крутится на md126.

lsblk

[root@db00 ~]# lsblk
NAME        MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINT
sda           8:0    0  32,8T  0 disk
└─sda1        8:1    0  32,8T  0 part
  └─md10      9:10   0  65,5T  0 raid0 /u01
sdb           8:16   0  32,8T  0 disk
└─sdb1        8:17   0  32,8T  0 part
  └─md10      9:10   0  65,5T  0 raid0 /u01
sdc           8:32   0  32,8T  0 disk
└─sdc1        8:33   0  32,8T  0 part
  └─md20      9:20   0  65,5T  0 raid0 /u02
sdd           8:48   0  32,8T  0 disk
└─sdd1        8:49   0  32,8T  0 part
  └─md20      9:20   0  65,5T  0 raid0 /u02
sde           8:64   0 931,5G  0 disk
└─md126       9:126  0 884,9G  0 raid1
  ├─md126p1 259:0    0  1001M  0 md    /boot
  ├─md126p2 259:1    0    12G  0 md
  └─md126p3 259:2    0 871,9G  0 md    /
sdf           8:80   0 931,5G  0 disk
└─md126       9:126  0 884,9G  0 raid1
  ├─md126p1 259:0    0  1001M  0 md    /boot
  ├─md126p2 259:1    0    12G  0 md
  └─md126p3 259:2    0 871,9G  0 md    /

lsblk показывает, что md10 — это RAID0, состоящий из двух дисков sda и sdb. md20 — это RAID0, состоящий из двух дисков sdc и sdc. md126 — это RAID1, состоящий из двух дисков sde и sdf.

cat /proc/mdstat

[root@dbk00 ~]# cat /proc/mdstat
Personalities : [raid1] [raid0]
md10 : active raid0 sdb1[1] sda1[0]
      70319335424 blocks super 1.2 512k chunks

md20 : active raid0 sdc1[0] sdd1[1]
      70319335424 blocks super 1.2 512k chunks

md126 : active raid1 sde[1] sdf[0]
      927881216 blocks super external:/md127/0 [2/2] [UU]

md127 : inactive sdf[1](S) sde[0](S)
      10402 blocks super external:imsm

unused devices: <none>

mdadm — утилита для создания массивов в linux, /proc/mdstat — статистика и состояние массивов.

Мы видим, что md126 — raid1 из двух дисков, md127 — это IMSM контейнер для md126. md10 и md20 — RAID0 массивы из двух дисков.

Ясно, что md126 — это зеркало RAID1 из двух физических задних дисков сервера. А вот sda, sdb, sdc и sdd — это некие массивы RAID контроллеров сервера, нужно разобраться, из чего они состоят.

StorCLI

Утилиту для управления RAID контроллерами LSI, Avago, Broadcom можно скачать с сайта https://www.broadcom.com/support. Находим по модели свой контроллер.

Утилиту ищем в секции DOWNLOAD.

Скачиваю утилиту storcli.

Это очень мощная утилита по управлению RAID контроллером. Сегодня нам понадобится минимум функционала для определения состава массивов.

./storcli show

Данная команда выведет детальную информацию. Среди всего списка нам понадобится:

System Overview :
===============

---------------------------------------------------------------------------------------
Ctl Model                     Ports PDs DGs DNOpt VDs VNOpt BBU  sPR DS  EHS ASOs Hlth
---------------------------------------------------------------------------------------
  0 AVAGOMegaRAIDSAS9380-8i8e    16  24   2     0   2     0 Opt  On  1&2 Y      3 Opt
  1 AVAGOMegaRAIDSAS9361-16i     16  24   2     0   2     0 Msng On  1&2 Y      1 Opt
---------------------------------------------------------------------------------------

Ctl=Controller Index|DGs=Drive groups|VDs=Virtual drives|Fld=Failed
PDs=Physical drives|DNOpt=DG NotOptimal|VNOpt=VD NotOptimal|Opt=Optimal
Msng=Missing|Dgd=Degraded|NdAtn=Need Attention|Unkwn=Unknown
sPR=Scheduled Patrol Read|DS=DimmerSwitch|EHS=Emergency Hot Spare
Y=Yes|N=No|ASOs=Advanced Software Options|BBU=Battery backup unit
Hlth=Health|Safe=Safe-mode boot

Здесь мы увидим количество и модели контроллеров, их состояние.

Получим список виртуальных дисков для каждого контроллера:

./storcli /c0 /vall show
./storcli /c1 /vall show

[root@db00 Utils]# ./storcli /c0 /vall show
CLI Version = 007.0606.0000.0000 Mar 20, 2018
Operating system = Linux 4.1.12-124.28.6.el7uek.x86_64
Controller = 0
Status = Success
Description = None


Virtual Drives :
==============

---------------------------------------------------------------
DG/VD TYPE   State Access Consist Cache Cac sCC      Size Name
---------------------------------------------------------------
0/2   RAID10 Optl  RW     Yes     RWBD  -   ON  32.745 TB RI0
1/3   RAID10 Optl  RW     Yes     RWBD  -   ON  32.745 TB RI1
---------------------------------------------------------------

Cac=CacheCade|Rec=Recovery|OfLn=OffLine|Pdgd=Partially Degraded|Dgrd=Degraded
Optl=Optimal|RO=Read Only|RW=Read Write|HD=Hidden|TRANS=TransportReady|B=Blocked|
Consist=Consistent|R=Read Ahead Always|NR=No Read Ahead|WB=WriteBack|
AWB=Always WriteBack|WT=WriteThrough|C=Cached IO|D=Direct IO|sCC=Scheduled
Check Consistency

[root@db00 Utils]# ./storcli /c1 /vall show
CLI Version = 007.0606.0000.0000 Mar 20, 2018
Operating system = Linux 4.1.12-124.28.6.el7uek.x86_64
Controller = 1
Status = Success
Description = None


Virtual Drives :
==============

---------------------------------------------------------------
DG/VD TYPE   State Access Consist Cache Cac sCC      Size Name
---------------------------------------------------------------
0/0   RAID10 Optl  RW     Yes     RWTD  -   ON  32.745 TB RE0
1/1   RAID10 Optl  RW     Yes     RWTD  -   ON  32.745 TB RE1
---------------------------------------------------------------

Cac=CacheCade|Rec=Recovery|OfLn=OffLine|Pdgd=Partially Degraded|Dgrd=Degraded
Optl=Optimal|RO=Read Only|RW=Read Write|HD=Hidden|TRANS=TransportReady|B=Blocked|
Consist=Consistent|R=Read Ahead Always|NR=No Read Ahead|WB=WriteBack|
AWB=Always WriteBack|WT=WriteThrough|C=Cached IO|D=Direct IO|sCC=Scheduled
Check Consistency

Всего найдено 4 массива RAID10 по 32 Тб каждый. Это они у нас отображаются в операционной системе как sda, sdb, sdc, sdd.

Посмотрим на физические диски:

./storcli /c0 /eall /sall show
./storcli /c1 /eall /sall show

[root@db00 Utils]# ./storcli /c0 /eall /sall show
CLI Version = 007.0606.0000.0000 Mar 20, 2018
Operating system = Linux 4.1.12-124.28.6.el7uek.x86_64
Controller = 0
Status = Success
Description = Show Drive Information Succeeded.


Drive Information :
=================

-------------------------------------------------------------------------------
EID:Slt DID State DG     Size Intf Med SED PI SeSz Model               Sp Type
-------------------------------------------------------------------------------
0:0       4 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:1      21 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:2       3 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:3      17 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:4       1 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:5      23 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:6       2 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:7       5 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:8      14 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:9      12 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:10     10 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:11     20 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:12      8 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:13     18 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:14     15 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:15      9 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:16     19 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:17      6 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:18      7 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:19     11 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:20     24 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:21     16 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:22     13 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
0:23     22 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
-------------------------------------------------------------------------------

EID-Enclosure Device ID|Slt-Slot No.|DID-Device ID|DG-DriveGroup
DHS-Dedicated Hot Spare|UGood-Unconfigured Good|GHS-Global Hotspare
UBad-Unconfigured Bad|Onln-Online|Offln-Offline|Intf-Interface
Med-Media Type|SED-Self Encryptive Drive|PI-Protection Info
SeSz-Sector Size|Sp-Spun|U-Up|D-Down/PowerSave|T-Transition|F-Foreign
UGUnsp-Unsupported|UGShld-UnConfigured shielded|HSPShld-Hotspare shielded
CFShld-Configured shielded|Cpybck-CopyBack|CBShld-Copyback Shielded



[root@db00 Utils]# ./storcli /c1 /eall /sall show
CLI Version = 007.0606.0000.0000 Mar 20, 2018
Operating system = Linux 4.1.12-124.28.6.el7uek.x86_64
Controller = 1
Status = Success
Description = Show Drive Information Succeeded.


Drive Information :
=================

-------------------------------------------------------------------------------
EID:Slt DID State DG     Size Intf Med SED PI SeSz Model               Sp Type
-------------------------------------------------------------------------------
57:0     69 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:1     81 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:2     73 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:3     96 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:4     65 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:5     85 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:6     75 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:7     80 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:8     76 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:9    101 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:10    84 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:11    99 Onln   0 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:12    90 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:13   100 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:14    94 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:15    97 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:16    98 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:17   104 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:18   106 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:19   105 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:20   103 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:21   102 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:22    89 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
57:23    93 Onln   1 5.457 TB SATA HDD N   N  512B TOSHIBA MG04ACA600E U  -
-------------------------------------------------------------------------------

EID-Enclosure Device ID|Slt-Slot No.|DID-Device ID|DG-DriveGroup
DHS-Dedicated Hot Spare|UGood-Unconfigured Good|GHS-Global Hotspare
UBad-Unconfigured Bad|Onln-Online|Offln-Offline|Intf-Interface
Med-Media Type|SED-Self Encryptive Drive|PI-Protection Info
SeSz-Sector Size|Sp-Spun|U-Up|D-Down/PowerSave|T-Transition|F-Foreign
UGUnsp-Unsupported|UGShld-UnConfigured shielded|HSPShld-Hotspare shielded
CFShld-Configured shielded|Cpybck-CopyBack|CBShld-Copyback Shielded

Этой информации нам достаточно, чтобы определить, что каждый RAID10 массив состоит из 12 дисков. Spare диски отсутствуют.