Перейти к основному содержанию
 

Управление RAID контроллером LSI (Broadcom, Avago) с помощью StorCLI в Windows Server

Windows Server

Появился у нас новый сервер Supermicro. На сервере установлен RAID контроллер AVAGO MegaRAID SAS 9460-8i, в котором два NVMe диска собраны в RAID 1. В качестве операционной системы у нас выступает Windows Server 2016.

storcli

Естественно, Supermicro и Windows не видят диски, а следить за железом как-то нужно. Windows видит только массив.

storcli

Для управления контроллером и дисками воспользуемся утилитой StorCLI.

StorCLI

Утилиту для управления RAID контроллерами LSI, Avago, Broadcom можно скачать с сайта https://www.broadcom.com/support. Находим по модели свой контроллер. Утилиту ищем в секции DOWNLOADS.

storcli

Скачиваю утилиту storcli. Доступна версия MR 7.19.

Это очень мощная утилита по управлению RAID контроллером. Сегодня нам понадобится минимум функционала для просмотра информации о дисках. Данную утилиту я планирую использовать для автоматизированного мониторинга за дисками сервера.

storcli

В архиве имеются версии storcli для разных операционных систем. Нас интересует папка Windows. Копирую оттуда утилиту storcli64.exe в удобную для себя директорию C:\zabbix\scripts.

storcli

Работать с утилитой следует с помощью командной строки.

storcli

storcli64.exe help

Вызов справки.

storcli

storcli64.exe show

Данная команда выведет детальную информацию.

C:\zabbix\scripts>storcli64.exe show
CLI Version = 007.1907.0000.0000 Sep 13, 2021
Operating system = Windows Server 2016
Status Code = 0
Status = Success
Description = None

Number of Controllers = 1
Host Name = DL-1C00
Operating System  = Windows Server 2016
StoreLib IT Version = 07.2000.0200.0100
StoreLib IR3 Version = 16.14-0

System Overview :
===============

------------------------------------------------------------------------------------
Ctl Model                   Ports PDs DGs DNOpt VDs VNOpt BBU sPR DS  EHS ASOs Hlth
------------------------------------------------------------------------------------
  0 AVAGOMegaRAIDSAS9460-8i     8   2   1     0   1     0 Opt On  1&2 Y      3 Opt
------------------------------------------------------------------------------------

Ctl=Controller Index|DGs=Drive groups|VDs=Virtual drives|Fld=Failed
PDs=Physical drives|DNOpt=Array NotOptimal|VNOpt=VD NotOptimal|Opt=Optimal
Msng=Missing|Dgd=Degraded|NdAtn=Need Attention|Unkwn=Unknown
sPR=Scheduled Patrol Read|DS=DimmerSwitch|EHS=Emergency Spare Drive
Y=Yes|N=No|ASOs=Advanced Software Options|BBU=Battery backup unit/CV
Hlth=Health|Safe=Safe-mode boot|CertProv-Certificate Provision mode
Chrg=Charging | MsngCbl=Cable Failure

win

Здесь мы увидим модель и состояние нашего контроллера AVAGO MegaRAID SAS 9460-8i. Видим что есть батарейка в состоянии Opt. Видим, что к контроллеру подключены два физических диска.

Получим список виртуальных дисков для контроллера:

storcli64.exe /c0 /vall show

Небольшое отступление. Синтаксис команды гибкий, вы можете писать параметры со слешами двумя способами: с отступами и без отступов. При работе в командной строке я предпочитаю ставить отступы, а при написании скриптов пишу без отступов, мне так удобнее.

storcli64.exe /c0 /vall show
storcli64.exe /c0/vall show
CLI Version = 007.1907.0000.0000 Sep 13, 2021
Operating system = Windows Server 2016
Controller = 0
Status = Success
Description = None


Virtual Drives :
==============

-----------------------------------------------------------------
DG/VD TYPE  State Access Consist Cache Cac sCC     Size Name
-----------------------------------------------------------------
0/0   RAID1 Optl  RW     Yes     RWBD  -   ON  6.985 TB 7Tb_NVMe
-----------------------------------------------------------------

VD=Virtual Drive| DG=Drive Group|Rec=Recovery
Cac=CacheCade|OfLn=OffLine|Pdgd=Partially Degraded|Dgrd=Degraded
Optl=Optimal|dflt=Default|RO=Read Only|RW=Read Write|HD=Hidden|TRANS=TransportReady
B=Blocked|Consist=Consistent|R=Read Ahead Always|NR=No Read Ahead|WB=WriteBack
AWB=Always WriteBack|WT=WriteThrough|C=Cached IO|D=Direct IO|sCC=Scheduled
Check Consistency

storcli

Найден один массив RAID1 объёмом 6.985 TB в состоянии Optimal. В операционной системе это Disk 0.

Посмотрим на физические диски:

storcli64.exe /c0 /eall /sall show
C:\zabbix\scripts>storcli64.exe /c0 /eall /sall show
CLI Version = 007.1907.0000.0000 Sep 13, 2021
Operating system = Windows Server 2016
Controller = 0
Status = Success
Description = Show Drive Information Succeeded.


Drive Information :
=================

----------------------------------------------------------------------------------------------------
EID:Slt DID State DG     Size Intf Med SED PI SeSz Model                                    Sp Type
----------------------------------------------------------------------------------------------------
74:6      0 Onln   0 6.985 TB NVMe SSD N   N  512B Micron_7300_MTFDHBE7T6TDF                U  -
----------------------------------------------------------------------------------------------------

EID=Enclosure Device ID|Slt=Slot No|DID=Device ID|DG=DriveGroup
DHS=Dedicated Hot Spare|UGood=Unconfigured Good|GHS=Global Hotspare
UBad=Unconfigured Bad|Sntze=Sanitize|Onln=Online|Offln=Offline|Intf=Interface
Med=Media Type|SED=Self Encryptive Drive|PI=Protection Info
SeSz=Sector Size|Sp=Spun|U=Up|D=Down|T=Transition|F=Foreign
UGUnsp=UGood Unsupported|UGShld=UGood shielded|HSPShld=Hotspare shielded
CFShld=Configured shielded|Cpybck=CopyBack|CBShld=Copyback Shielded
UBUnsp=UBad Unsupported|Rbld=Rebuild

storcli

Вижу один NVMe диск в слоте 6 и корпусе 74. Так, а где второй диск? Не знаю как устроена структура этого контроллера, но второй диск я-таки нашёл:

storcli64.exe /c0 /sall show
C:\zabbix\scripts>storcli64.exe /c0 /sall show
CLI Version = 007.1907.0000.0000 Sep 13, 2021
Operating system = Windows Server 2016
Controller = 0
Status = Success
Description = Show Drive Information Succeeded.


Drive Information :
=================

----------------------------------------------------------------------------------------------------
EID:Slt DID State DG     Size Intf Med SED PI SeSz Model                                    Sp Type
----------------------------------------------------------------------------------------------------
 :6       1 Onln   0 6.985 TB NVMe SSD N   N  512B Micron_7300_MTFDHBE7T6TDF                U  -
----------------------------------------------------------------------------------------------------

EID=Enclosure Device ID|Slt=Slot No|DID=Device ID|DG=DriveGroup
DHS=Dedicated Hot Spare|UGood=Unconfigured Good|GHS=Global Hotspare
UBad=Unconfigured Bad|Sntze=Sanitize|Onln=Online|Offln=Offline|Intf=Interface
Med=Media Type|SED=Self Encryptive Drive|PI=Protection Info
SeSz=Sector Size|Sp=Spun|U=Up|D=Down|T=Transition|F=Foreign
UGUnsp=UGood Unsupported|UGShld=UGood shielded|HSPShld=Hotspare shielded
CFShld=Configured shielded|Cpybck=CopyBack|CBShld=Copyback Shielded
UBUnsp=UBad Unsupported|Rbld=Rebuild

storcli

Вижу второй NVMe диск тоже в слоте 6 и без корпуса. Оказывается, параметр /eall отображает все диски во каждом Enclosure, а бывают диски, которые не привязаны к корпусам, это было для меня новостью...

Есть способ отобразить все диски, нужно обратиться к дисковым группам:

storcli64.exe /c0 /dall show
CLI Version = 007.1907.0000.0000 Sep 13, 2021
Operating system = Windows Server 2016
Controller = 0
Status = Success
Description = Show Drive Group Succeeded


TOPOLOGY :
========

---------------------------------------------------------------------------
DG Arr Row EID:Slot DID Type  State BT     Size PDC  PI SED DS3  FSpace TR
---------------------------------------------------------------------------
 0 -   -   -        -   RAID1 Optl  N  6.985 TB dflt N  N   none N      N
 0 0   -   -        -   RAID1 Optl  N  6.985 TB dflt N  N   none N      N
 0 0   0    :6      1   DRIVE Onln  N  6.985 TB dflt N  N   none -      N
 0 0   1   74:6     0   DRIVE Onln  N  6.985 TB dflt N  N   none -      N
---------------------------------------------------------------------------

DG=Disk Group Index|Arr=Array Index|Row=Row Index|EID=Enclosure Device ID
DID=Device ID|Type=Drive Type|Onln=Online|Rbld=Rebuild|Optl=Optimal|Dgrd=Degraded
Pdgd=Partially degraded|Offln=Offline|BT=Background Task Active
PDC=PD Cache|PI=Protection Info|SED=Self Encrypting Drive|Frgn=Foreign
DS3=Dimmer Switch 3|dflt=Default|Msng=Missing|FSpace=Free Space Present
TR=Transport Ready

storcli

Результат

Мы выяснили, что на сервере есть RAID1 массив из двух NVMe дисков.

Реализация нумерации корпусов и слотом странная. Кстати, в BIOS отображается с такими же EID:Slot. Утилита LSA для Windows тоже видит диски именно так. Установка последней прошивки контроллера ситуацию не изменила. Этот массив я не собирал, а получил готовую сборку вместе с сервером, так что прокомментировать этот момент не могу. Вероятно, это такая фича для NVMe дисков.

Ещё для меня стало новостью, что диски в контроллере могут быть не привязаны к Enclosure. Это привело к тому, что пришлось переписать шаблон для мониторинга LSI контроллеров в Zabbix, добавив автообнаружение именно таких дисков.

Ссылки

Управление RAID контроллером LSI (Broadcom, Avago) с помощью StorCLI в Oracle Linux