Инженерная инфраструктура центров обработки данных (ЦОД)

Для того, чтобы лучше понять суть предлагаемого решения, с самого начала давайте постараемся забыть про схемы резервирования N+1, 2N и номера Tier. Без них не обходится, пожалуй, ни один разговор о ЦОДах сегодня. Но, едва коснувшись темы резевирования, можно легко переключиться на обсуждение стандартов, и заблудиться в их обсуждении, совершенно позабыв, а зачем вообще нужны центры обработки данных.

Что хотят получить клиенты от ЦОД?

Попробуем разобраться, что клиенты хотят получить от ЦОД, как этого достичь имеющимися средствами при минимальных затратах, и, соответственно, предложить клиенту максимально привлекательные условия. Главная мысль, которую я хотел бы донести этим обзором: дешево и просто, не всегда плохо. Простые решения порой могут обеспечить эффект, сопоставимый с обычным умножением схем резервирования.

     Для наглядности рассмотрим схему электроснабжения ЦОД. Такой пример является, пожалуй, самым «народным»: в отличие от разнообразных схем охлаждения, кубиков, из которых можно построить однолинейную схему не так много. Сразу прошу прощения у электриков: как системотехник я могу допустить где-то вольное трактование терминов, что может покоробить профессиональное ухо, однако, на суть изложения повлиять не должно.

Отправные точки для стадии анализа и проектирования ЦОД

Наша задача номер один – понять, что за продукт мы хотим получить в итоге. Очевидно, фотохостинг, раз в неделю обновляемая резервная база данных библиотеки и биллинговая система оператора мобильной связи будут предъявлять к ЦОД разные требования, и устанавливать для них единые схемы реализации, по меньшей мере, расточительно.

     Задача номер два – определить, какие ресурсы у нас есть в наличии, какие можно легко приобрести, оценить их надежность и типы рисков, присущих каждому из ресурсов, а также их сильные стороны.

     Решение этих задач и станет отправной точкой для стадии анализа и проектирования.

     Начнем с первой задачи. В качестве примера рассмотрим три типа нагрузок ЦОД.

Три типа нагрузок в ЦОД

Нагрузка 1-ого типа LOAD1 – оборудование неприхотливых сервисов, падение которых может быть нежелетельным, но допустимо заказчиком. Такой нагрузкой может быть, например, часть облачных решений, распределенной базы данных или блог-хостинг. При пропадании основного источника питания такие системы могут спокойно отрабатывать корректное завершение сервисов и отключать серверное оборудование до восстановления нормальной работы ЦОД. С технической точки зрения это означает, что достаточно обеспечить ограниченное конкретным значением время работы аварийного источника бесперебойного питания (ИБП), что позволит значительно сократить как капитальные, так и операционные расходы.

Нагрузка 2-ого типа LOAD2 – оборудование критичных серверов, например, disaster recovery center в финансовой отрасли или биллинговая система операторов связи. Для такого оборудования потребуется, например, больший запас дизельного топлива в топливохранилище, наличие контракта на аварийную поставку топлива в кратчайший срок, дополнительная гибкость в выборе источников питания и постоянное наличие обслуживающего персонала на объекте в достаточном количестве. К этой же нагрузке можно отнести систему безопасности и пожаротушения ЦОД. Как правило, все перечисленные выше группы потребителей не требуют больших мощностей, что позволяет без больших финансовых затрат обеспечивать высокий уровень доступности, на фоне других потербителей ЦОД, и даже рассмотреть возможность применения выделенного ДГУ для этой нагрузки.

Нагрузка 3-его типа LOAD3 – все возможное некритичное оборудование ЦОД: вентиляция, офисные рабочие места, основное освещение, кофеварки и тому подобное.

     При решении второй задачи будем использовать следующие вводные данные: 2 ввода «из города», собственная ДГУ, источники бесперебойного питания. Сведем в таблице некоторые из особенностей каждого из источников электропитания, сравнив их между собой:

* Возможность контролировать источник электроэнергии: электросеть ВН, поставки дизельного топлива, батареи ИБП.
** Влияние отказа данного источника на доступность сервисов ЦОД при условии исправности прочих источников.

     Нашей целью будет, осознав особенности каждого из источника, использовать другие источники для компенсации его слабых сторон, в тоже время, использовав «сильные» характеристики для компенсации провалов других. Рассмотрим примеры возможных отказов и запланированных алгоритмов их устранения:

     Обратите внимание, что приведенный здесь пример обеспечивает «круговое» резервирование, то есть каждый единичный отказ компенсируется другим источником.

Простейшая схема энергопитания ЦОД

Итак, давайте начнем с самого простого подключения источников. Спроектируем схему, состоящую из одного ввода из города, трансформатора (T), ДГУ(DG), АВР (ATS) и ИБП (UPS).

     Как правило, такой схемой уже можно ограничится для наименее требовательных серверных/ЦОД. Уровень доступности сервисов при такой схеме покроет большУю часть потребностей бизнеса на сегодняшний день.

     Обратите внимание на важный момент, который не должен ускользнуть из внимания при проектировании: щит собственных нужд (GNB) ДГУ должен быть запитан от источника ИБП.

     В качестве главного недостатка такой схемы назовем отсутствие кругового резервирования. Выход из строя ИБП/байпаса приведет не только к обесточиванию нагрузки, но и повышению риска падения сервиса при отказе в электросети, ведь в этом случае GNB будет также обесточен. Для уменьшения риска отказа, как правило, проектировщики применяют зеркальный второй ввод, что, конечно, уменьшает вероятность отказа, но, соответственно, вдвое увеличивает стоимость системы. Давайте попытаемся добиться такого же результата с меньшими затратами.

Простое круговое резервирование схемы электропитания ЦОД

Следующим шагом добавим всего один кубик (ATS для GNB, позволяющий нивелировать риск отказа UPS) а также второй луч энергоснабжения для нагрузки напрямую от ГРЩ. В результате мы получаем резервную линию питания, что в случае неисправности или обслуживания ИБП переходить на ее использование. Разумеется, в серверной стойке она должна быть реализована при помощи отдельного блока распределения питания (PDU).

Из недостатков такой схемы отметим влияние качества энергии из электросети на нагрузку LOAD1. Также, аварии на подстанции при такой схеме, по-прежнему представляют большую проблему для ЦОД.

Сложное круговое резервирование схемы электропитания ЦОД

В случае, если на объекте доступны два ввода электроэнергии, схема может быть легко доработана для достижения максимальной надежности. С этой целью добавим еще два ручных коммутатора (MTS) и схемы коммутации трансформаторов.

     В нашем примере я сознательно использовал питание с использованием трансформаторов, чтобы подчеркнуть две идеи. Во первых, стоимость электроэнергии среднего напряжения меньше, чем низкого, поэтому имеет смысл рассмотреть возможность установки трансформатора при такой возможности. Во вторых, коммутация трансформаторов должна давать возможность полного отключения одного из них для целей ремонта, технического обслуживания или сравнительно простой замены при увеличении мощности ЦОД.

     Что такое максимальная надежность применительно к данной схеме? Ответ прост: Неисправность в любом из блоков схемы не приводит к обесточиванию нагрузки. Вы можете легко проверить это самостоятельно, зачеркнув любой из кубиков и проследив прохождение питания к нагрузке. Важно, что достигнуто это разумным использованием особенностей каждого из источников, а не увеличением количества однотипных (и недешевых) блоков.

     Впрочем, указанный выше недостаток прямой коммутации ГРЩ и нагрузки по-прежнему присутствует.

Еще одна нагрузка

Вспомним про нагрузку LOAD2. Приведенная выше схема уже обладает достаточными показателями доступности. Однако мы можем добавлением дополнительного UPS2 малой мощности, но с большим временем автономной работы, добится совершенно потрясающих результатов. Взглянем на схему.

     В дополнение к максимальной надежности такой схемы, мы получили для нагрузки LOAD2 две независимые системы ИБП (!) заплатив за одну маломощную, тем самым минимизировав взаимное влияние нагрузок LOAD1 и LOAD2 на разряд батарей. При таком решении  второй маломощный ИБП может иметь на порядок большее время автономной работы. Дополнительный MTS позволяет сохранять работоспособность системы при внутренних отказах в обоих UPS.

Заключение

Нет сомнений, что для сравнения разных ЦОД проще использовать всемирно признанные стандарты. Однако если речь идет о практическом выборе коммерческого ЦОД, нужно всегда помнить, что соответствие какому-либо уровню стандарта стоит определенных вложений. Ориентировочные стоимости ЦОД разных уровней в пересчете на мегаватт с легкостью могут быть найдены в интернете. Для заказчика это в итоге означает более высокую арендную плату. Как показано в статье, получить надежные ЦОД с меньшими инвестициями возможно. Нужно только свернуть с проторенных стандартами путей и творчески подойти к технической задаче.