Есть у нас большой стоечный сервер Supermicro 4U с шасси CSE-846BE16-R920B. В сервер установлены два RAID контроллера Avago MegaRAID SAS 9380-8i8e:
Вид на сервер без крышки. В передней части сервера имеется три вентилятора 7000 RPM. И сзади два вентилятора 6700 RPM. Весь воздушный поток от задних и двух передних вентиляторов идёт по воздушному кожуху, охлаждая процессоры. А PCI зона, в которой как раз установлены RAID контроллеры, охлаждается одним передним вентилятором. Как показала практика, этого мало.
Один контроллер нагрелся до 92°C, а второй — до 107°C. При этом сенсоры кэша показывают нормальную температуру в 30°C. Согласно спецификации рабочий диапазон температур для данной модели RAID контроллера: от 10 до 55°C. Для контроллеров с кэшом температура не указана, но говорится: "чем меньше, тем лучше". Диапазон температур хранения: от -40 до 70°C.
В настоящий момент RAID контроллеры работают в экстремальном режиме. На форумах вычитал, что чипы контроллеров способны выдержать температуру 115°C, но подтверждения этому я не нашёл, кроме того что на практике 107°C держат. Нужно что-то делать.
У некоторых моделей шасси Supermicro есть возможность установки дополнительных вентиляторов на зону PCI, есть даже варианты с внешним креплением. Для моей модели шасси такой опции нет.
На форумах советуют установить рядом с контроллером специальную плату активного охлаждения с вентилятором:
Выход неплохой, но есть две проблемы. Я не знаю, есть ли на материнской плате разъёмы для питания дополнительных вентиляторов. И ставить охладители некуда, PCI разъёмы забиты плотно:
Остаётся один вариант, усилить охлаждение имеющимися штатными средствами BMC сервера.
Supermicro — управление вентиляторами
В BMC имеется 4 режима работы вентиляторов:
- Standard
- Зона 0 — в зависимости от температуры CPU вентиляторы вращаются на 50%.
- Зона 1 — в зависимости от температуры PCH вентиляторы вращаются на 50%.
- Optimal
- Зона 0 — в зависимости от температуры CPU вентиляторы вращаются на 30%.
- Зона 1 — вентиляторы вращаются на 30%.
- Full
- Зона 0 — вентиляторы вращаются на 100%.
- Зона 1 — вентиляторы вращаются на 100%.
- Heavy IO
- Зона 0 — в зависимости от температуры CPU вентиляторы вращаются на 30%.
- Зона 1 — вентиляторы вращаются на 75%.
Мне повезло, в web интерфейсе IPMI есть возможность управлять вентиляторами. Перехожу в раздел Configuration > Fan mode.
По умолчанию у меня вентиляторы работают в режиме Optimal. Переключаю на Full.
Save.
Через некоторое время проверяю температуру RAID контроллеров.
Один контроллер остыл до 65°C, а второй — до 77°C. Не идеально, но уже значительно лучше.
На графиках наглядно видно падение температуры.
Вместо заключения
В этом большой минус установки LSI RAID контроллеров в сервера Supermicro. Несмотря на управление вентиляторами через BMC, Supermicro не реагирует на сенсоры контроллеров. Температура процессоров нормальная, вентиляторы вращаются медленно. Одного имеющегося вентилятора для охлаждения зоны PCI в таком режиме недостаточно. Более того, даже в максимальном режиме работы вентиляторов сервер не обеспечивает охлаждение RAID контроллеров до оптимальной температуры.
