Столкнулся с неизлечимой проблемой на серверах HPE Proliant. Через случайный промежуток времени (от нескольких минут до нескольких дней) служба SNMP в ILO сервера зависает. Это происходит на серверах, которые активно мониторятся через SNMP.
Проблема проявляется на серверах:
- HPE Proliant DL 20 Gen 9
- HPE Proliant DL 120 Gen 9
- HPE Proliant DL 360 Gen 9
- HPE Proliant DL 380 Gen 9
- HPE Proliant DL 580 Gen 9
После перезапуска ILO - SNMP начинает работать, но через случайный промежуток времени снова зависает.
Ошибок нигде не светится. Обновление ILO до последней прошивки не исправляет проблему.
Поддержка HP решить проблему не смогла, её смешные непрофессиональные ответы писать даже стыдно. Поддержка дотянула до 31 декабря 2017 года и попросила закрыть тикет и в новом году снова открыть. Видимо, для получения премии им не хватало одного закрытого тикета. Печалька.
Если на сервере используется hp-ams (Agentless Management Service for HP ProLiant servers with iLO4), то проблему можно решить созданием задачи в кроне, которая будет перезапускать зависший демон при его падении. Этот костыль применим, если на сервере стоит ubuntu или нечто подобное. Для ESXi, возможно, тоже можно придумать свой костыль, но слишком неудобно при большом количестве серверов.
service amsHelper status
В кроне:
*/10 * * * * /usr/bin/pgrep amsHelper || /usr/sbin/service hp-ams restart
Для гипервизоров ESXi я пока поступил следующим образом: перевёл мониторинг с SNMP на IPMI. При этом теряется autodiscovery и мониторинг жёстких дисков на некоторых конфигурациях серверов. Диски теперь мониторятся только через email-уведомления в ILO.
