Серверная для небольшого бизнеса – всегда компромисс, поэтому при её создании на многом экономят, но мы не будем.
Если говорить о мечтах, они не всегда рациональны. Иногда хочется удовлетворить свою “хотелку” любыми путями, так как избавиться от этой идеи невозможно. Прямо как в фильме Начало: “Идея похожа на вирус, она живуча и крайне заразна. Мельчайшее зёрнышко идеи способно прорасти и либо стать частью тебя, либо уничтожить тебя”.
Кому-то хочется купить Ламборгини, когда он живёт в городе без хороших дорог и скоростных трасс. Кто-то мечтает жить в огромном трехэтажном особняке с сотней комнат, пятью гаражами и комнатой для грязи. Один.
А мне захотелось помечтать об идеальной серверной, где каждый элемент будет работать безупречно, пускай даже некоторые решения будут очень дорогими, а вся идея – это всего лишь полёт фантазии.
Трон главного сисадмина.
Многие из вас уже были в серверной, заглядывали туда краем глаза или в крайнем случае видели в фильмах. В кино зачастую серверная выглядит, как кабина пилота космического челнока, но в жизни всё намного прозаичней – под IT-инфраструктуру переоборудуют старую кладовку, ставят туда пару стоек и кондиционер. Но по уму надо проектировать комнату или строить отдельное здание.
Серверное оборудование встаёт в копеечку – сотни тысяч или миллионы тенге. Может показаться, что это много, но по опыту нашего системного архитектора оборудование составляет ≈10% от общих затрат на серверную. Это определяется требованиями бизнеса. Также оно обеспечивает работу бизнес-процессов, а потому к серверным выдвигаются определенные требования и рекомендации.
Например:
Повышенное давление, чтобы пыль не попадала внутрь;
Резервные источники электропитания: ИБП, дизель-генераторы и т.п.;
Уровень пола выше, чем в других помещениях. Используется в серверных, где СКС под фальшполом;
Дополнительное кондиционирование воздуха, чтобы поддерживать влажность 40-50% и температуру в пределах 20-25º С.
За всем этим добром надо следить, обновлять, в общем – обслуживать. Для этого компании нанимают сисадминов (одного или нескольких), которые настраивают и проверяют резервирование, обновляют софт, устраняют неполадки, например, бэды на жёстких дисках, следят за безопасностью и многим другим.
Когда обслужил все серверы.
Созданием и планированием нашей идеальной серверной комнаты как раз займётся гипотетический сисадмин с неограниченным бюджетом и полномочиями. В общем, он попал в некий сисадминский рай. Ну или ад, тут уж зависит от точки зрения :D
В своих мечтах он, разумеется, не будет планировать, в каких местах штробить стену, чтобы сделать розетки, а сделает упор на свои мечты и концептуальное виденье:
В каком помещении расположиться;
Как сделать постоянный микроклимат внутри;
Как организовать отказоустойчивость всех инженерных систем;
Как обеспечить пожарную безопасность, сделать СКУД и многое другое.
Наш сисадмин в раю будет создавать серверную комнату с оглядкой на стандарты ЦОДов. Подробнее: "Классификация ЦОД и дата-центров"
Создание серверной мечты начинается с выбора помещения. Здесь есть два пути: сделать в серверную в уже имеющемся помещении или создать новое с учётом всех нюансов и “хотелок”. Поскольку наш гипотетический сисадмин ничем не ограничен, он выбирает второй путь. Итак:
Серверная будет подальше от вентиляционных шахт, лифтов, подвалов, труб с водой, дренажных систем и любителей потыкать мигающие кнопки. Главный распределительный пункт (ГРП) будет внутри. От окон откажемся, чтобы солнечные лучи не попадали на оборудование, не заползали жучки, проще было поддерживать внутренний микроклимат и не отвлекаться на тополиный пух, жару, июль на улице. Эх...
Когда серверы действительно упали.
Шкаф 42U, загруженный серверами и другим оборудованием, может весить больше тонны. Ширина шкафа – 600 мм, а глубина 800 мм. Получается, что площадь, которую он занимает на полу – 0,48 м². А шкафов может быть несколько. Поэтому наш пол будет выдерживать от 2000 кг/м², чтобы с запасом и наверняка.
Для серверной понадобятся высокие потолки, чтобы вместить фальшпол + стойки высотой в 42U. Фальшпол возьмем 500 мм + 2000 мм шкаф и запас в 500 мм. Итого нам нужны потолки высотой в 3 метра.
Мы отдадим предпочтение белым стенам, полам, потолкам и оборудованию. Плюс яркое освещение. Любая грязь в такой серверной будет видна сразу. Чтобы не допустить попадания пыли внутрь, мы повысим давление. Приточный воздух будет фильтроваться и поступать в большем объеме, чем убывать.
Серверная – это шумное техническое помещение, не рассчитанное на долгое нахождение людей внутри. С шумоизоляцией всё понятно – это толстые стены и дверь с уплотнителями. Потолок же гидроизолируем, чтобы не допустить протечку воды. Сделали один раз и забыли.
Для надежности надо минимум 3 магистральных провайдера с SLA, так как на практике бывают случаи одновременного отключения сразу нескольких. А для автопереключения нам понадобится собственный диапазон IP, иначе бессмысленно. Ну и SLA, чтобы получать быструю поддержку.
Кондиционирование должно быть с прецизионным охлаждением и контролем влажности. Для охлаждения будем использовать межрядные блоки, которые осуществляют теплообмен с серверами. Принцип работы такой: фреоновый контур связан с выносным воздушным охлаждением. Шкаф при этом может быть как закрытым, так и открытым. Подобное охлаждение при небольших габаритах позволяет очень точно задать температуру, относительную влажность, а также вести удобный мониторинг и обслуживание.
Нужные нам параметры возьмём из TIA-942 и будем их придерживаться:
Температура в серверной по сухому термометру психрометра: от 20-25º С
Относительная влажность: от 40% до 50%;
Точка росы: не более 21º С ;
Скорость изменения: не более 5º С в час.
Разумеется, данные параметры должны поддерживаться во время работы серверов, поэтому и задавать их будем только после включения всего оборудования и штатной нагрузки. При дальнейшей модернизации нужно также не забывать регулировать кондиционирование.
Помимо межрядных блоков организуем расположение шкафов и стоек по перемежающейся схеме, чтобы передняя сторона в каждом ряду была обращена к передней же стороне другого ряда, создавая «горячие» и «холодные» коридоры.
СКС – это структурированная кабельная сеть. Хуже всего в серверной – это хаос и беспорядок. Поэтому проблему решим кардинально, спрятав всё под антистатический фальшпол. Обычный пол может накапливать статический заряд, а если случится разряд, то это может повредить оборудование.
При этом фальшпол даст нам ещё несколько преимуществ:
Заземление с медной сеткой;
Лёгкий доступ ко всем коммуникациям через люки;
Возможность установить дополнительное охлаждение (если потребуется);
Защита от затопления.
Настройка СКС – это скорее инженерное искусство, в котором есть миллионы нюансов. Наш сисадмин реализует несколько моментов, которые точно хотел бы видеть в своей серверной, но спектр работ этим не ограничится:
Ориентирование на стандарты EN 50173, ISO/IEC 11801;
Оптическая подсистема на оборудовании класса ОМ4 (высокоскоростное многомодовое оптическое волокно типа 50/125);
Медная подсистема восьмой категории CAT 8 (полоса пропускания – от 1 МГц до 2000 МГц);
Все патч-корды в медной подсистеме с защитой;
Печатная и долговечная маркировка патч-кордов и патч-панелей, чтобы прочитать информацию мог кто угодно;
Нумерация розеток и серверной части разводки;
Вся маркировка будет проходить по заранее составленной схеме с учётом плана здания;
Розетки только качественные и дорогие: чтобы сердечник не болтался, была крышка с защитой от пыли, а обжим витой пары с помощью ударника.
Все вышеописанные меры позволят с комфортом обслуживать серверную, и даже внешний сисадмин быстро разберётся, где, что и как;
Чтобы серверная нашей мечты не сгорела, нужно сделать грамотную систему пожарной безопасности. Помимо стандартных требований по ГОСТу мы обеспечим дополнительные. Обычные спринклерные системы нам точно не подойдут, так как влага мгновенно уничтожит весь наш труд. Что будем использовать мы?
Сделаем мультиканальную аспирационную систему пожарных извещателей (АДПИ) с высокой чувствительностью класса А. Эта система постоянно анализирует воздух в помещении, что позволяет мгновенно реагировать на дым. Можно провести под фальшпол и в каждую стойку или шкаф отдельно;
Применения мультиканального АДПИ для защиты серверных стоек.
Добавим четырехканальные комбинированные датчики дыма, тепла, пламени и газа. Плюс они будут адресными, благодаря этому мы сможем понять, в каком конкретно месте начались проблемы или требуется обслуживание оборудования. Такие датчики фиксируют несколько состояний: “нормальная работа”, “пожар”, “неисправность”, “загрязнение датчика” и другие;
Датчики, обнаружив нестандартную ситуацию, будут отправлять на наши смартфоны или почту сигналы тревоги;
Дверь, потолочные перекрытия, стены и перегородки будут из несгораемых материалов и обеспечивать огнестойкость не менее 45 минут;
Добавим светозвуковые оповещатели для безопасности людей;
Организуем систему автоматического газового пожаротушения.
Выберем инерген, так как он безопасен для людей и не мешает работе электроники.
Мы будем использовать не только несколько городских электросетей, но и установим собственную дизель-генераторную установку (ДГУ) с блекджеком и электромагнитным накопителем кинетической энергии для бесперебойного питания. Свойства такого ДГУ обеспечивают отклик на уровне сотых долей секунды, позволяя не прерывать электропитание.
Для повышения надежности серверной необходимо резервирование компонентов системы. Схемы резервирования обозначают буквой “N” (need), где N – это количество элементов в звене системы. 2(N+1) мы будем использовать везде, в том числе в электропитании, кондиционировании, пожаротушении и т.д. Зачем? Потому что мечтать не вредно :D
Рассмотрим резервирование на примере электропитания:
N – это система самого элементарного резервирования, например, ИБП. Для ремонта придётся выключать систему и объяснять бухгалтерии, почему 1С не работает. Вам оно надо?
N+1 даёт нам запасной ИБП. Хорошо, но всё еще есть чему выходить из строя. Нам не подходит;
2N более дорогой вариант резервирования, так как требуется больше оборудования, но и надёжность увеличивается. Однако слабое звено всё ещё остаётся, поэтому нам не подходит.
Но если мы зарезервируем электросеть дизельным генератором и сделаем бесшовное переключение на него, то система получается действительно надёжной
Но мы ведь говорим о серверной мечты, так? Поэтому на вооружение возьмём систему 2(N+1). Дополнительно подключимся к еще одной электросети, и продублируем ИБП. Вот теперь можно спать спокойно. Этому серверу больше не нужен герой.
Было бы чертовски обидно учесть столько нюансов и прогореть на человеческом факторе. Кто-то захочет полюбоваться нашей идеальной серверной, зайдёт внутрь, ну а дальше вы и сами знаете. Поэтому нам необходима продвинутая СКУД со следующими параметрами:
Доступ в серверную только у избранных;
Ограниченное время прохода, чтобы не допустить проход нескольких людей по одному пропуску;
Журнал событий: кто открыл, когда, что делал внутри;
Контроль состояния двери с оповещением о взломе или незакрытии;
Проверка температуры у сотрудников перед проходом. Нечего чихать на дорогое оборудование;
Для разблокировки поставим ультразвуковые биометрические сканеры отпечатков пальцев или сканирование сетчатки глаза. Или всё вместе.
Запрет на повторный вход, если не был выполнен выход;
Контроллер управления замком будет находиться в отдельном узле, а не интегрирован в считыватель. Сам узел разместим внутри серверной. Попробуйте теперь поковыряться в наших проводах снаружи.
Плюс наша система должна поддерживать дополнительные конфиги, например:
Ночью доступ только у главного сисадмина;
Доступ возможен только при считывании данных нескольких сотрудников: сисадмина и его котика;
Разблокировка альтернативным способом (например, другим пальцем или другим глазом), что будет сигналом опасности и разблокировки под принуждением. Оповещение полиции в комплекте.
Если говорить об отказоустойчивости, удобстве пользования, защищённости и т.д., то наша гипотетическая серверная идеально подойдет для большинства компаний. Остаётся только подобрать конфигурацию серверов под конкретные задачи, установить их, настроить и наслаждаться.
Да, многое из вышеописанного не потребуется малому и даже среднему бизнесу, так как требует больших финансовых вложений и дорогого обслуживания, а также может не соответствовать специфическим требованиям. Но если убрать из уравнения стоимость, то такую серверную захотели бы многие. На самом деле в конечном итоге ты приходишь к ЦОДу, так как все лучшие решения уже давно придуманы инженерами и системными архитекторами. Но при проектировании серверной администратор не так сильно ограничен стандартизацией, регламентами и прочими жесткими требованиями.
Если же спуститься на землю, то чаще всего развернуться на полную банально не даёт бюджет. Где-то можно сэкономить, где-то сделать альтернативу своими руками. Да, зачастую получается не то, что хотелось. У каждого сисадмина есть привычки, знания и параметры, по которым он настраивает работу серверной. Многие имеют за плечами техническое инженерное образование и эволюционировали из эникейщика в системного администратора, а потому прошли огонь, воду и медные проволоки.
Также читайте наши статьи на Яндекс дзене
ОБРАТИТЬСЯ К КОНСУЛЬТАНТУ ЗА ПОМОЩЬЮ В ПОДБОРЕ СЕРВЕРА
