Инженерная инфраструктура центров обработки данных (ЦОД)

Прежде, чем рассказывать про уровни надежности дата-центра (tier data center), хотелось задать простой вопрос читателям сайта. В чем состоит идея классификации центров обработки данных по уровням надежности? И мне лично приходит простая аналогия — классификация гостиниц по звездности. Мы, как потребители, догадываемся, что можно ожидать или, наоборот, не ожидать от отеля с определенным уровнем звездности, когда выбираем отель для отдыха. Гостиницы классифицируются по 5-ти базовым уровням, а центры обработки данных, на данный момент, классифицируются по 4-рем уровням надежности — tier 1, tier 2, tier 3, tier 4. Также как и у звезд гостиницы, чем выше уровень надежности дата-центра, тем более надежный ЦОД.

А кому необходимо определять уровень надежности дата-центра?

Предлагаемый инструмент для оценки надежности дата-центра в виде определенных параметров и требований к инженерным системам, позволяет оценить и определить уровень надежности ЦОД не только потребителям, которые планирую разместить свое оборудования или воспользоваться услугами и сервисами центра обработки данных, но и инвесторам, которые принимают решение о вложение своего капитала в строительство дата-центра. Также этот подход в виде определенных требований позволяет оценить предприятиям, которые планируют построить для решения своих задач свой сосбтвенный некоммерческий ЦОД с заданным уровнем tier, который им требуется для обеспечения работы бизнес-процессов. Например, какому-то предприятию вполне допустим простой и несколько минут в день, а значит и не требуется супернадежность ( например, уровень tier 4), а некоторым коммерческим предприятиям, простой в несколько минут в месяц обойдется серьезными финансовыми потерями и упущенной выгодой, поэтому им необходимо построить ЦОД с уровнем tier 4 .

Разработка tier дата-центра Uptime Institute

Идея определить уровни надежности датацентра родилась в недрах ассоциаций предприятий, собранной под флагом Uptime Institute, которая занимается сбором и обработкой информации, выдачей рекомендацией и детальных требований к уровням надежности центров обработки данных.

Стандарт  TIA EIA 942 использует Uptime Institute

Разработки  Uptime Institute в области определения уровней надежности с его позволения «перекочевали» в североамериканский стандарт TIA EIA 942, принятый в 2005 году.  Для каждого из выделенных уровней надежности в стандарте TIA EIA 942 приводится детальное описание, требования и рекомендации к следующим системам и элементам: архитектурным решениям, электроснабжению, охлаждению, безопасности, противопожарной системе, структурированной кабельной системы, системе кабелепроводов, телекоммуникациям. Например, в стандарте приводится описание требований и рекомендаций по минимальной высоте фальшпола для определенного уровня надежности.

В стандарте при описании требования к количеству ресурсов используется буква «N» (сокращение от слова need) и простейшие математические формулы с операциями сложения и умножения. Операция сложения обозначает увеличение потребности на одну условную единицу (например, N+1 означает, что необходимо иметь запас ресурсов в одну единицу), а операция умножения увеличение потребностей в несколько раз (например, N*2 означает полное дублирование потребностей).

1-ый уровень надежности ЦОД — tier 1

Базовый уровень надежности ЦОД. Этот уровень применялся для дата-центров в 60-ые и 70-ые годы прошлого столетия. Ошибки и отказы в работе систем и оборудования на этом уровне приводят к сбоям в работе всего ЦОД. Также работа центра обработки данных прерывается для проведения профилактических и ремонтных работ. В ЦОД может не быть фальшполов, резервных источников электроснабжения и источников бесперебойного питания (ИБП).

• Инженерная инфраструктура создана только для удовлетворения текущих потребностей, то есть без резервирования и избыточных ресурсов (обеспечение потребностей выражается в виде буквы «N»)
• Время простоя за год — 28,8 часов

• Коэффициент отказоустойчивости 99,671%

2-ой уровень надежности ЦОД- tier 2

Дата-центры на 2-ом уровне имеют небольшой уровень резервирования работоспособности систем и имеют небольшие избыточные ресурсы в инженерных системах датацентра. Но все равно подвержены перебоям из-за плановых и неплановых отказов работы оборудования в дата-центрах. Для этого уровня необходимо иметь фальшпол, резервные источники электроснабжения ЦОД. Проведение технических и ремонтных работ потребует остановку работы центра обработки данных.

• Система не имеет полного резервирования, однако установлены дополнительные элементы в системах охлаждения и энергоснабжения ЦОД (обеспечение потребностей выражается в виде формулы «N+1»)
• Время простоя за год — 22,0 часа
• Коэффициент отказоустойчивости 99,749%

3-ий уровень надежности ЦОД — tier 3

Дата-центр с данным уровнем надежности позволяет провести ремонтно-профилактические работы без остановки работы ЦОД. То есть возможна одновременно эксплуатация и техническое обслуживание центра обработки данных вплоть до замены компонентов системы, добавления и удаления вышедшего из строя оборудования. Чтобы обеспечить 3-ий уровень уже необходимо для системы охлаждения спроектировать и построить два трубопровода, обеспечить резервными мощностями работу всего оборудования с учетом выхода из строя или профилактики системы электроснабжения. Но ошибки в работе и отказы могут вызывать перебои в работе дата-центра.

• Имеет несколько путей (каналов) для распределения электропитания и охлаждения, но лишь один из них активен; имеет резервированные компоненты (обеспечение потребностей выражается в виде формулы «N+1»)
• Время простоя за год — 1,6 часа
• Коэффициент отказоустойчивости 99,982%

4-ый уровень надежности датацентра — tier 4

Отказоустойчивый дата-центр с резервированием всех систем, позволяющий выполнить любые плановые и внеплановые работы без прерывания работы ЦОД. На этом уровне обеспечивается надежная защита от сбоев. Чтобы отвечать требованию 4-ого уровня надежности необходимо дублирование всех систем с учетом того, что в каждой системе и ее «резервной копии» будет находиться, как минимум, еще один дополнительный компонент, обеспечивающий резервирование по схеме «N+1». То есть в дата-центре должно быть резервирование системы на уровне «N+1» и сама система еще должна быть, как минимум, продублирована. Отказы могут иметь место в случаях ручного аварийного отключении системы электроснабжения и срабатывания системы пожарной безопасности. На 4-ом уровень даже структурированная кабельная система должна быть полностью зарезервирована.

• Системы имеют двойное резервирование с учетом, как минимум, дополнительного компонента Имеет несколько активных путей распределения нагрузки и охлаждения с резервными компонентами 2 (N+1), т.е. 2 ИБП с избыточностью N+1 каждый (обеспечение потребностей выражается в виде формулы «2 (N+1)»)
• Время простоя за год — 0,4 часа
• Коэффициент отказоустойчивости 99,995%

Заключение

Не надо также забывать, что в ходе эксплуатации дата-центра и добавления серверов и оборудования систем хранения данных в ЦОД при неизменной инженерной инфраструктуре базовые потребности в дата-центре вырастут и это может привести к изменению уровня надежности центра обработки данных. То есть необходимо пересматривать уровень надежности ЦОД или другими словами — подтверждать свою «звездность». Но я сомневаюсь, что об изменении уровня надежности сообщит владелец коммерческого дата-центра – ведь это не в его интересах. Ну и мы все, как потребители понимаем, что мало получить гостинице 5* или дата-центру 4-ый уровень надежности (tier 4) , необходимо еще и грамотно эксплуатировать ЦОД. Пока в стандартах не рассматриваются вопросы уровня надежности центров обработки данных в зависимости от уровня эксплуатации.

Скорее всего, будет принят Uptime Institute 5-ый уровень надежности ЦОД tier 5 с коэффициентом отказоустойчивости виде 5-ти девяток 99,999%, который будет отвечать потребностям современных предприятий.

Также возникает вопрос, а не классифицировать ли серверные помещения по уровням надежности, так же как и центры обработки данных. Но это тема отдельной статьи.