Чем новее сервер, тем дольше он грузится. Особенно это раздражает при диагностике или в ходе обновления прошивок, поэтому однажды я покопался в закромах Dell и нашел несколько полезных утилит для экономии нервов.
У Dell есть бесплатный набор инструментов OpenManage Essentials для мониторинга оборудования и обновления прошивок. Для инфраструктуры с физическими серверами это неплохой вариант решения некоторых административных задач:
Мониторинг любого оборудования через SNMP, IPMI и WMI. Для OpenManage Essentials 2.2 и новее доступен импорт файлов описаний MIB прямо из консоли. Для более старых версий потребуется Dell OpenManage Essentials MIB Import Utility;
Загрузка и установка новых версий драйверов и прошивок.
Если же у вас виртуальная среда, то пригодится Dell Management Plug-in for VMware vCenter.
Плагин позволяет vCenter своевременно узнавать об аппаратных сбоях, а заодно обновлять прошивки, драйверы и BIOS на хостах с ESXi. Но что оказалось наиболее полезным, с ним vCenter может мигрировать виртуальные машины перед запуском прошивки.
Миграция при обновлении сервера доступна как для актуальных систем Dell PowerEdge 12 и 13 поколений, так и для восстановленных серверов 11 поколения с контроллером iDRAC.
iDRAC — это проприетарный вариант IPMI (Intelligent Platform Management Interface). Фактически, тот же «удаленный доступ к физической консоли и BIOS», но с дополнительными инструментами от Dell. Аналог от HP — iLO (Integrated Lights-Out), от IBM — RSA (Remote Supervisor Adapter).
Сценарий обновления железа на виртуальных хостах теперь выглядит так:
Прямо в консоли vCenter я вижу пометки о необходимости обновления — там же можно запустить FirmWare Wizard. Мастер может подтягивать обновки как из онлайн-репозитория Dell, так и из местных источников;
Затем выбираю обновления и указываю удобное время. Обязательно отмечаю BIOS, iDRAC и LifecycleControler, чтобы не получить проблем при установке;
Обновление кластера занимает от 30 до 60 минут. Если все пройдет успешно, то машины вернутся обратно на свой хост, а за процессом можно наблюдать через почтовые уведомления или на странице Job Queue.
Для автоматического перемещения виртуальных машин на другой хост vSphere должна работать в конфигурации DRS (Distributed Resource Scheduler) с полностью автоматическим режимом.
Без плагина все эти операции выполнялись вручную, включая предварительную миграцию машин, создание загрузочной флешки для обновления, прошивку каждого компонента отдельно и т.п. Разумеется, сидя рядом с сервером, что уже не так красиво и удобно.
Конечно, нечто подобное можно попробовать реализовать на базе Zabbix и набора скриптов. Но почему бы не использовать некоторые удобства, которые обходятся компании в скромные $495 за лицензию на плагин для 5 хостов.
Были некоторые опасения вида «а что, если все пойдет не так, и на следующий день серверы вообще не будут работать». От большинства сложностей есть такой алгоритм:
Я получаю оповещение о том, что виртуальные машины успешно или не очень мигрировали. Если миграция не удалась — обновление не начнется, и на следующий день я спокойно разберусь в ситуации;
После миграции машин на другой хост наш «пациент» может хоть сгореть, пользователи не заметят. При неудачном обновлении хост не будет пытаться снова и снова загрузиться, а будет спокойно ожидать отката прошивки. Конечно, если не забыть поставить галку Enable Alarms for Dell Hosts при настройке OpenManage Integration;
Если обновление микро-ПО прошло не слишком удачно, то уже будут готовы журналы перезагрузок и скриншоты консоли в процессе.
Конечно, порой и кластер не панацея, но от всего и не застрахуешься.
К слову о скриншотах — это следующая полезная опция.
Знаете, как это бывает: добавляешь драйвер на хост, перезагружаешь ESXi и спокойно отключаешься от удаленного управления в ожидании загрузки системы. А она все недоступна и недоступна. Подключаешься снова и видишь пурпурный экран. Понятно, что первым действием будет откат добавленного модуля. А если проблема не в нем?
В таких случаях я сначала перезагружаю хост и наблюдаю за процессом загрузки, его этапами и возникающими сообщениями. Для серверов с модулем iDRAC 7 Enterprise ведется лог сообщений и экранов консоли при загрузке сервера, зависании или возникновении ошибок. То есть, вся диагностическая информация уже под рукой и не требует многократных перезагрузок, каждая из которых у современных систем может длиться более 5 минут.
Можно просмотреть записи последних трех загрузок. Для работы опции нужна лицензия iDRAC Enterprise за $75.
Аппаратный модуль управления Dell может отменить неудачную установку прошивки и вернуть любую прошлую версию. Это полезно, например, при обнаружении бага в новой версии — о подобных вещах как раз была дискуссия в комментариях к статье про сервисные контракты. Можно просто вернуть «как было» и больше не трогать. Откат прошивок доступен сразу для нескольких компонентов за одну перезагрузку, что здорово экономит время (помним про неспешную загрузку современного железа с десятками ГБ памяти).
Пару лет назад неудачно прошили BIOS в сервере и после перезагрузки любовались такой вот надписью:
Все, что я сделал после первичной паники — это зашел в Lifecycle Controller со своей станции и выбрал Launch Firmware Rollback для BIOS, который успешно отыграл свою партию.
Мастер восстановления прошивок поддерживает следующие устройства:
Контроллер iDRAC;
BIOS;
Сетевая карта;
Контроллер RAID.
Из дополнительных полезных удобств iDRAC:
Встроенный сервер VNC. Позволяет подключаться к iDRAC через привычный клиент VNC, без использования браузера или установки стороннего ПО. Требует лицензии iDRAC Enterprise;
Прозрачная аутентификация в Active Directory. До сих пор многие коллеги используют локальный учетные записи в модулях аппаратного управления, что довольно неудобно при смене ответственного за конкретный сервер.
В наш век модных мобильных технологий даже автомобиль уже можно открыть или запустить с телефона. Нечто подобное есть и от Dell — называется OpenManage Mobile, приложение доступно под Android и iOS.
Фактически, это урезанный клиент консолей OpenManage Essentials и iDRAC, который можно установить на смартфон или планшет и получить следующие возможности:
Включение и перезагрузка сервера;
Просмотр уведомлений iDRAC;
Чтение журналов событий OpenManage Essentials;
Запуск подключения через VNC. В приложении есть ссылки на удаленное управление, которые откроются в установленном по умолчанию VNC-клиенте планшета;
Загрузка документации к оборудованию.
Есть у меня старая дурная привычка: уже после манипуляций с железом или софтом на одной из наших площадок еду в офис и по дороге просматриваю последние состояния «пациентов» через оповещения в почте. OpenManage Mobile вывел привычку на новый уровень и позволил смотреть статус в реальном времени. Конечно, я бы не рискнул вот так просто перезагружать сервер удаленно вне офиса, но просмотр статусов и логов частенько пригождается.
Использовать приложение логичнее с планшета — тогда можно организовать удобный VNC-доступ и получить своеобразный пульт управления сервером. Разумеется, доступ к сети с интерфейсами iDRAC осуществляется через VPN.
Если посчитать стоимость всех этих бонусов для одного сервера, то выходит $174:
Dell iDRAC Enterprise обойдется примерно в $75 на каждый сервер;
Dell Management Plug-in for VMware vCenter — около $99 на хост.
Даже без покупки дополнительных лицензий вы получаете детальный мониторинг всех компонентов PowerEdge «из коробки», вместе с бесплатной системой мониторинга сети и стороннего оборудования OpenManage Essentials.
А какие инструменты управления скрашивают ваши административные будни?
Напоследок, несколько полезных ссылок:
Настройка удаленного мониторинга и обновления прошивок\драйверов Dell;
Импорт описаний SNMP (MIB) для сторонних систем в OpenManage Essentials;
База с файлами описаний MIB для различных систем. Пригодится, если строите мониторинг на базе OpenManage Essentials;
ОБРАТИТЬСЯ К КОНСУЛЬТАНТУ ЗА ПОМОЩЬЮ В ПОДБОРЕ СЕРВЕРА
