NVMe Command Line Interface (NVMe-CLI)

NVMe Command Line Interface (NVMe-CLI) — инструмент для управления твердотельными накопителями NVMe в Linux.

Центрам обработки данных требуется множество функций управления для контроля состояния твердотельных накопителей, отслеживания срока службы, обновления прошивки, безопасного стирания памяти и чтения различных журналов. NVMe-CLI — это мощный набор функций с открытым исходным кодом, соответствующий спецификации NVMe и поддерживаемый всеми основными дистрибутивами. Он поддерживает твердотельные накопители NVMe, а также архитектуру NVMe over Fabrics (NVMe-oF) и предлагает дополнительные подключаемые модули поставщиков для получения дополнительной информации помимо спецификации.

Страницы man или -help может быть недостаточно для понимания всех возможностей NVMe-CLI, но есть хорошая новость: все команды написаны непосредственно в соответствии со спецификацией! Все, что вам нужно сделать, это загрузить последнюю версию спецификации NVMe 1.4, тогда вы сможете интерпретировать сокращения для различных команд. Дополнительно есть справочная страница для получения информации о структуре команд NVMe-CLI.

Пакет NVMe-CLI существует для различных дистрибутивов Linux.

Установка nvme-cli в Ubuntu:

sudo apt-get install -y nvme-cli

Установка nvme-cli в CentOS/RHEL 7.x или 8.x:

sudo yum install nvme-cli

Вызов справки:

nvme help

Список команд довольно большой, возможностей много.

Шпаргалка по часто используемым командам:

Список накопителей NVMe

Список подключенных NVMe SSD:

nvme list

Информация о контроллерах NVMe/SSD

Команда идентификации контроллера используется, чтобы узнать о возможностях контроллеров NVMe (в большинстве случаев это возможности NVMe SSD). Вместо того, чтобы гадать, какие функции поддерживает поставщик, все они аккуратно расположены в списке. Вы можете определить модель накопителя, поставщика, версию прошивки и т. д. Все они имеют сокращения, указанные в спецификации NVMe.

Вот первые несколько байт структуры данных идентифицируемого контроллера, которую считывает команда.

nvme id-ctrl /dev/nvme0

Видно, что первые несколько строк в выходных данных совпадают со структурой идентификационных данных в спецификации: vid = идентификатор поставщика PCIe, sn = серийный номер, fr = версия микропрограммы и т. д.

Пространства имён

Пространства имен — это конструкция в технологии NVMe, в которой хранятся пользовательские данные. К контроллеру NVMe может быть подключено несколько пространств имен. Большинство NVMe SSD сегодня используют только одно пространство имен, но мультитенантные приложения, виртуализация и безопасность имеют варианты использования для нескольких пространств имен.

Вы можете узнать размер пространства имен и его утилизацию (NUSE), это полезно для создания отчетов о проценте использования LBA. В команде идентификации пространства имен содержится много полезных данных, которые могут использоваться программным обеспечением хоста для оптимизации производительности, целостности данных, TRIM (deallocate), размера LBA (например, 512 байт, 4 КБ) и многого другого. См. спецификацию NVMe 1.4 для пространств имен и определения пространств имен, чтобы подробно узнать обо всех возможностях.

nvme id-ns /dev/nvme0

SMART Log

Наиболее часто используемой командой в NVMe-CLI, вероятно, является команда smart-log, которая применяется для мониторинга работоспособности, температуры, состояния и т. д. накопителей через NVMe SMART.

nvme smart-log /dev/nvme0

Пример SMART Log поюзанного Intel DC P4510 SSD.

Страница Error Log

nvme error-log /dev/nvme0

Если какой-либо из счётчиков больше нуля, то есть ошибки.

Обновление прошивки NVMe

Производитель SSD часто выпускают новые версии прошивок для своих устройств, пока устройства производятся и находятся на поддержке. За пять лет гарантийного обслуживания может выйти четыре-пять обновлений. Обновления встроенного ПО обеспечивают самые последние исправления безопасности, исправления ошибок и улучшения надежности. OEM-производители обычно выпускают свои версии прошивок. Но SSD, полученные с общим встроенным программным обеспечением от торгового партнера или дистрибьютора, могут быть обновлены прошивкой производителя. Обратитесь к поставщику SSD за последней версией прошивки.

Процесс прошивки здесь описан не будет, почитайте раздел 8.1 Firmware Update Process спецификации NVMe 1.4. Там пишут в каких случаях требуется reset, описывают концепцию слотов прошивки — некоторые NVMe SSD могут иметь одновременно несколько версий прошивок, вы можете выбрать активную версию. Более того, большинство твердотельных накопителей имеют избыточные копии одного и того же образа прошивки для повышение надёжности и безопасности.

Текущая версия прошивки:

nvme id-ctrl /dev/nvme0 |grep "fr "

Загрузить прошивку на устройство:

nvme fw-download /dev/nvme0 -
nvme fw-commit /dev/nvme0 -a 0

В этом примере показан способ выбора разных операций коммита с помощью атрибута -a, согласно спецификации.

0. Загружаемый образ замещает образ в лоте, без активации.
1. Загружаемый образ замещает образ в лоте, активируется при следующем reset.
2. Образ в указанном слоте активируется при следующем reset.
3. Образ в указанном слоте активируется незамедлительно без reset.

Атрибут -s указывает слот.

После загрузки прошивки может понадобиться выполнить reset.

nvme reset /dev/nvme0

Secure Erase: Format и Sanitize

Эти команды используются для безопасного удаления данных с устройства. Это можно использовать при развертывании нового устройства, его выводе из эксплуатации или по окончании срока службы устройства, использовании SSD для нового приложения и т. д. Есть несколько вариантов, которые мы рассмотрим. Sanitize был представлен в спецификации NVMe 1.3, поэтому для выполнения безопасного стирания до этого использовался исключительно NVMe Format. Хотя оба варианта работают, Sanitize более надежен для обеспечения надлежащей очистки данных, а формат хорош для повседневного использования и тестирования.

Format

0. Операция Secure Erase не выполняется, это просто Trim / освобождение всех LBA.
1. User Data Erase — физически стирает данные на диске. В обычном NAND NVMe SSD это вызовет стирание всех блоков, а также изменение криптографического ключа. Из-за физических свойств стирания NAND это может занять некоторое время (для больших дисков — минуты).
2. Crypto Erase выполняется намного быстрее, меньше секунды. Операция заменяет криптографический ключ, данные без старого ключа невозможно расшифровать. Во всех трёх случаях это приводит к освобождению LBA, некоторые диски после операции Trim поддерживают детерминированное чтение нуля для последовательного чтения.

Помните, мы узнавали об идентификации контроллера (id-ctrl)? Это пригодится, чтобы узнать, какой тип безопасного стирания поддерживает твердотельный накопитель NVMe. Проверьте Optional Admin Command Support (OACS) Bit 1 и узнаете поддерживаемый тип безопасного стирания.

nvme id-ctrl /dev/nvme0 -H | grep oacs -A 10

oacs      : 0x3f
[9:9] : 0     Get LBA Status Capability Not Supported
[8:8] : 0     Doorbell Buffer Config Not Supported
[7:7] : 0     Virtualization Management Not Supported
[6:6] : 0     NVMe-MI Send and Receive Not Supported
[5:5] : 0x1   Directives Supported
[4:4] : 0x1   Device Self-test Supported
[3:3] : 0x1   NS Management and Attachment Supported
[2:2] : 0x1   FW Commit and Download Supported
[1:1] : 0x1   Format NVM Supported
[0:0] : 0x1   Security Send and Receive Supported

Форматируем NVMe SSD с Crypto Erase в namespace 1:

nvme format /dev/nvme0 -n 1 -ses 2

Изменение LBA Format выполняется с помощью команды NVMe-format. Форматы и размеры LBA, поддерживаемые и рекомендованные диском, можно узнать с помощью идентификации пространства имён.

Проверка Formatted LBA Size (FLBAS):

nvme id-ns /dev/nvme0 -n 1 -H | grep "LBA Format"

LBA Format  0 : Metadata Size: 0   bytes - Data Size: 512 bytes - Relative Performance: 0x2 Good
LBA Format  1 : Metadata Size: 8   bytes - Data Size: 512 bytes - Relative Performance: 0x2 Good (in use)
LBA Format  2 : Metadata Size: 0   bytes - Data Size: 4096 bytes - Relative Performance: 0 Best
LBA Format  3 : Metadata Size: 8   bytes - Data Size: 4096 bytes - Relative Performance: 0 Best
LBA Format  4 : Metadata Size: 64  bytes - Data Size: 4096 bytes - Relative Performance: 0 Best

Sanitize

Обратитесь к разделу 8.15 Sanitize Operations (Optional) спецификации NVMe 1.4.

Согласно спецификации NVMe 1.4, "операция очистки изменяет все пользовательские данные в подсистеме NVM таким образом, что восстановление любых предыдущих пользовательских данных из любого кэша, энергонезависимого носителя или любого буфера памяти контроллера невозможно".

Большая разница между Sanitize и Format заключается в том, что sanitize обеспечивает удаление кешей, причём процесс начинается снова после неожиданного отключения питания. Sanitize также поддерживает перезапись шаблона для операции безопасного стирания, что ужасно для долговечности NAND, но может использоваться с другими типами хранения и классами памяти. Или для большей уверенности в том, что пользовательские данные не могут быть восстановлены.

Все функции команды Sanitize можно найти в спецификации NVMe 1.4.

Проверьте Sanitize Capabilities (SANICAP) при идентификации контроллера. Поскольку это функция спецификации NVMe 1.3, старые диски могут её еще не поддерживать.

nvme id-ctrl /dev/nvme0 -H | grep sanicap -A 5

sanicap : 0x3
[31:30] : 0 Additional media modification after sanitize operation completes successfully is not defined
[29:29] : 0 No-Deallocate After Sanitize bit in Sanitize command Supported
[2:2] : 0 Overwrite Sanitize Operation Not Supported
[1:1] : 0x1 Block Erase Sanitize Operation Supported
[0:0] : 0x1 Crypto Erase Sanitize Operation Supported

Отлично! Этот диск поддерживает Block Erase Sanitize. Запустим очистку.

nvme sanitize /dev/nvme0 -a 2

После каждой операции прочитайте информацию Sanitize Command Dword 10 (SCDW10).

nvme sanitize-log /dev/nvme0 | grep 'SCDW10'

NVMe Reset

Сброс (паразагрузка) NVMe контроллера. Это мягкий сбор (soft reset), жёсткий сброс (hard reset) требует сброс питания, горячее подключение или перезагрузку системы. Мы видели как команда применялась при обновлении прошивки, но её можно выполнять и отдельно.

nvme reset /dev/nvme0

NVMe-CLI — очень мощный инструмент для управления NVMe SSD в Linux. Вся информация, необходимая для понимания особенностей и функциональности, содержится в спецификациях NVMe — не бойтесь скачать и открыть! Мы описали самые распространённые команды для управления NVMe SSD, но функционал гораздо богаче. К примеру, утилиту можно использовать для архитектуры NVMe-oF. Технология NVMe имеет надежный набор возможностей управления, ведения журналов и отчетов об ошибках, а NVMe-CLI — это способ использования этих возможностей в Linux. NVMe-CLI также является отличным способом начать изучение возможностей NVMe на практике — так что загрузите его и попробуйте сами! Далее ещё больше команд.

Команды версии 2.2.1:

Ссылки

https://nvmexpress.org/open-source-nvme-management-utility-nvme-command-line-interface-nvme-cli

А я достаю NVMe диск и готовлюсь к освоению NVMe-CLI...