Инженерная инфраструктура центров обработки данных (ЦОД)

Предисловие

В данной статье пытаюсь отразить личный приобретенный опыт (работая ГИП) в подготовке и оформлении исполнительной и эксплуатационной документации в сфере строительства центров обработки данных.

     Статья освещает небольшую часть общих принципов разработки ИД и ЭД при строительстве ИИ ЦОД. Если будет интересно – то смогу развернуть подробней какие-либо этапы работ. Это мой первый эпистолярный опыт. Пытаюсь писать с минимальным использованием терминов, поскольку в первую очередь статью ориентирую на заказчика, на менеджеров, на людей, принимающих решение по заключению договоров на проектирование и строительство.

     Для специалистов, занимающихся разработкой ИИ ЦОД, особых откровений в статье не содержится.

Состав и нормативная документация для подготовки ИД и ЭД

На стадии заключения договора на проектирование и строительство ЦОД заказчику стоит определить явным образом состав и объем исполнительной и эксплуатационной документации которую он хочет получить по завершению работ.

     Ниже приведен пример из реального договора на выдачу ЭД по строительству довольно большого ЦОД, сам договор достаточно подробный с 5-ю приложениями. Однако — что касается описания объема ЭД по результатам строительства уместилось в двух предложениях.

Рис. 1 Выдержка из договора на строительства ЦОД

     Результатом продолжительных работ по разработке требуемых параметров инженерной инфраструктуры ЦОД, концепции ЦОД, проектированию, строительству и запуску в эксплуатацию ЦОД является не только работающий объект — но и комплект ИД и ЭД.

     На этапе заключения договора на проектирование этой работе обычно уделяют мало внимания, подчас заказчик не знает, не задумывается об этом вопросе – а зря!

     Эксплуатационную документацию проектировщики выпускают на основании ГОСТ 2.601-2013 «Эксплуатационные документы». Документ определяет виды и состав эксплуатационных документов, который исполнитель обязан предоставить заказчику при сдаче объекта в эксплуатацию.

     Обращаю внимание на скриншоты ГОСТа ниже. Перечень обязательных документов состоит из одного документа на выбор: Этикетка, Паспорт или Формуляр. В нашем случае если ЦОД строится стационарный то — Паспорт, если модульный или контейнерный то — Формуляр.

Рис. 2 Скриншоты. ГОСТ 2.601-2013

     На этот документ обычно ссылаются в ТЗ и в договоре, но не расшифровывают и не детализируют состав ЭД. В результате на совершенно законных основаниях при закрытии договора разработчик передает минимальный набор сопроводительной документации: комплекты рабочих чертежей, акты скрытых работ, паспорт либо формуляр на объект, комплект паспортов и руководств по эксплуатации на установленное оборудование, сертификаты соответствия, акты скрытых работ, выполненные измерения.

     Как можно эксплуатировать инженерную инфраструктуру ЦОД при таком куцем наборе эксплуатационной документации? Единственным рабочим вариантом для заказчика является уже на стадии проектирования выделить специалиста с достаточно большим опытом в эксплуатации критичных и важных систем инженерной инфраструктуры ЦОД, закрепить его за объектом до окончания строительства и на время ПНР, а затем назначить на должность основного специалиста на сопровождение и эксплуатацию. Однако и это решение не оптимально – человек не вечен, может уволится, уйти вверх по карьерной лестнице, стать незаменимым специалистом, а это все чревато проблемами!

     Если вам повезло, и вы в своем штате нашли такого человека либо приняли – он должен иметь представление о следующих вещах:

1. Прецизионных системах кондиционирования.
2. Электропитании и электрораспределении, бесперебойного питания.
3. Автоматической системе мониторинга и управления.
4. Организации СКС.
5. Дизельэлектростанция.
6. ЛВС.
7. Вентиляция и пароувлажнение.
8. Монтажные конструкции в составе гермозона, фальшпол, лотки, короба, гермовводы.
9. Система автоматического газового пожаротушения.
10. Системы безопасности в составе СКУД, ПОС, видеонаблюдения.
11. Работа дренажной системы.

     Знать, что оперативно делать в случае аварий по системам, уметь предотвратить аварийные ситуации по системам:

1. Электроснабжения и бесперебойного питания.
2. Холодоснабжения.
3. АСМУ – перевод на ручной режим работы.
4. Пожаротушения – в случае ложной сработки, или пуска газа по пожару.
5. Дренажа – при протечках, отказа дренажа, затоплению помещения.
6. Отказ СКУД, блокировка дверей.

     Проблема подготовки качественной ЭД усугубляется тем, что обычно при заключении договора на проектирование и строительство экономятся деньги именно на проектных работах, может быть заключен договор на проектирование за 1 рубль. Компании, занимающиеся проектированием и строительством ИИ ЦОД, как правило, уже имеют достаточно большой штат специалистов, соответственно деление на департаменты проектирования, строительства, закупа и т. д., как следствие деньги проекта распределяются по подразделениям… то что на проектировании сэкономили, подразумевая что компания получит свое на поставке оборудования и СМР, к концу проекта забывают, и все усугубляется тем что обычно на стадии завершения работ денег уже мало или нет. В результате выдача ЭД выполняется по остаточному принципу, как «убыточные» работы. Смотрите пример из договора Рис 1, и сами решите, что в таком случае вы подготовите заказчику в качестве ЭД.

     Почему же для эксплуатации ИИ ЦОД недостаточно минимального списка документации? Рассмотрим кратко состав ИИ ЦОД.

Из чего состоит ИИ ЦОД

Условно проект ИИ ЦОД делится на разделы по функциональному принципу. В свою очередь разделы можно разделить на группы: критичные, интеграционные и вспомогательные.

     Критичные: разделы отказ которых приведет к остановке ИИ ЦОД в целом. Это как правило два раздела – электроснабжение и кондиционирование. Поскольку со стороны ИИ основная функция установленной внутри ЦОД ИТ-нагрузки (ИТ-оборудование) является потребление электроэнергии и выделения эквивалентного количества тепла.

     Рассмотрим в качестве примера раздел холодоснабжения. Более правильно говорить не система кондиционирования, а система утилизации теплоизбытков из помещения ЦОД. Все то электричество которое потребляет ИТ-нагрузка, условно переходит в тепло. К этому добавляется тепловыделение оборудование ИИ. Следовательно — в помещении ЦОД постоянно происходит поступление теплоизбытков которое необходимо утилизировать.

     Если принять что в один ИТ-шкаф установлено оборудование которое потребляет от 4-х до 10-и кВт, возьмем цифру среднюю в 6кВт, таких шкафов, например, 10 штук – то получим тепловыделение минимум 60кВт. Если в среднем на установку одного ИТ-шкафа в помещении ЦОД требуется 2.5 кв.м. и высоте помещения 3м, получаем, что в помещении объемом воздуха 75 куб.м. установлен тепловентилятор мощностью 60кВт… Вопрос через какое время температура в горячем коридоре поднимется до +50гр.С, т.е. до температуры при котором фреоновые кондиционеры начнут останавливаться?

     Система критическая – да безусловно. В случае отказа всей системы кондиционирования остановка ЦОД по перегреву гарантирована через несколько минут, до сервиса даже дозвонится не успеете, остается надеяться только на систему резервирования и на отсутствие единой точки отказа (но это немного другая, очень серьезная тема).

     Интеграционные: разделы которые предоставляют сервисы для группы разделов. К ним относится опять же раздел электроснабжения – поскольку в нем учитываются все электрические лини, прокладываемые внутри ЦОД для всех подсистем. Раздел монтажных конструкций в котором предусматриваются лотки, короба, проходки для всех подсистем. Раздел технологической СКС – опять же для прокладки сигнальных линий для всех подсистем. Раздел автоматики и мониторинга – получает и отображает в СКАДА характеристики от всех подсистем, частью подсистем управляет.

     Рассмотрим в качестве примера систему монтажных конструкций. Монтажные конструкции условно можно разделить на следующие составляющие:

1. Гермозона (герметичное помещение вокруг помещений ЦОД построенное по принципу «комната в комнате»).
2. Фальшпол.
3. Гермовводы (для прокладки сквозь стены гермозоны кабелей, труб).
4. Лотки, короба, трубы.

     Что обычно происходит с монтажными конструкциями в проектах общестроя? Правильно, каждый проектировщик закладывает монтажные конструкции в свой раздел, под свои потребности. Что происходит в таком случае при строительстве? Верно! Кто первым зашел на объект – тот и смонтировал свои монтажные конструкции согласно проекта если стены не сдвинулись, кто зашел позже – тот начинает придумывать как реализовать свой проект.

     Когда я строил свой первый ЦОД – мы три или четыре раза перемонтировали короба, поскольку с каждой системой докладывались все новые и новые кабели, а короба не были предусмотрены на совместную прокладку кабелей.

     В помещении ЦОД располагаются трубы, кабели и оборудование 7-8 разделов, невозможно разместить монтажные конструкции для всех систем отдельно, единственный способ – группировать кабели на силовые и слаботочные.

Рис 3. Система лотков и коробов как должно быть

     С фальшполом тоже не все так просто. Требуется произвести раскладку плит фальшпола не только соблюдая минимальную ширину плиты в 200мм, но и с учетом расстановки оборудования на фальшпол и под фальшполом таким образом, чтобы можно было при необходимости демонтировать максимальное количество плит фальшпола. А для этого необходимо согласовать заранее размещение всего оборудования.

Рис 4. Вот это все надо разместить под фальшполом

     Вспомогательные: прочие разделы отказ которых не приведет к остановке ИИ. Она не будет работать эффективно, появятся дополнительные риски, снизится производительность и надежность – но непосредственно на работоспособность ИТ-нагрузки не повлияет. Например — система вентиляции. При ее отказе повышается риск поступления пыли внутрь ЦОД, ухудшаются условия работы сотрудников внутри помещения ЦОД – однако ИТ-оборудование будет продолжать работать. Так же при выходе из строя системы пароувлажнения, пожаротушения, безопасности и прочего. Обычно вспомогательные разделы не имеют дублирования или резервирования, в противоположность критичным подсистемам.

Состав ЭД ИИ ЦОД

Исходя из предыдущего описания разделов проекта рассмотрим необходимый и достаточный объем и состав ЭД.

     По ходу описания буду приводить примеры ЭД, ссылки на состав, нормативную документацию и для каких целей она служит.

     Разрабатывается ЭД на основании ГОСТ 2.601-2013 «Эксплуатационные документы». Документ содержит объяснения основных терминов, определений и сокращений, содержания ЭД.

     Что интересно для нас: ЭД состоит из двух блоков документов. ИД это комплекты рабочих чертежей с правками по факту выполнения работ, актов скрытых работ, руководств по монтажу и эксплуатации установленного в процессе строительства оборудования, кабельных журналов, журналов маркировки. Одним словом — это результат проектирования и строительства объекта – исполнительная документация. И блока собственно эксплуатационной документации – это руководство по эксплуатации ЦОД, если объект модульный с возможностью транспортировки и перемещения в процессе эксплуатации (контейнерный или модульный ЦОД) – то дополнительно руководство по перевозке и монтажу, программы методики испытаний (ПМИ) – по разделам и комплексное ПМИ (разрабатываются на стадии подготовки проектной документации в соответствии с ГОСТ 19.301-79 и уточняются на стадии завершения СМР).

     Если качество подготовки первого блока документов не вызывает особых проблем — полноту и качество можно определить визуально, сравнив ИД с результатами строительства. При условии серьезного отношения со стороны заказчика к проведению ПМИ по разделам и комплексных – к данной группе документов тоже особых претензий не будет – то к эксплуатационной документации могут быть на стадии сдачи объекта серьезные вопросы.

     Во первых: ЭД разрабатывается на основании опыта эксплуатации аналогичных изделий. Не смотря на то что ИИ ЦОД на всех объектах выполнят одинаковые функции — достаточно типового проекта стационарного ЦОД разработать не удается – причина в достаточно различных требованиях от заказчика, ограничений архитектурных, финансовых, отраслевых требований и т.д. Так же исполнитель не может произвести стендового моделирования решения и по временным и по финансовым причинам. Поэтому опыт эксплуатации ЦОД обычно имеется – но на каждом объекте имеются нюансы – достаточно значительные.

     Во вторых: при разработке ИИ ЦОД применяется оборудование различных вендоров, оборудование часто штучное, производится под заказ – нюансы в комплектации, в расположении элементов оборудования. Подчас реальное расположения штуцеров и разъемов инженер видит только в момент поставки оборудования, хорошо если это происходит на входном контроле, а не на монтажной площадке. В этом случае приходится реагировать и принимать решения очень оперативно. Опыт вам в помощь.

     В третьих: использование энергосберегающих технологий требует оборудование холодоснабжения для экономии энергоресурсов – работать в разных режимах при разных диапазонах температур окружающего воздуха: машинное прямое охлаждение, фрикулинг, смешанный режим – отработка всех вариантов и наработка опыта эксплуатации растягивается минимум на один год. Даже если для системы холодоснабжения применяется машинное охлаждение – требования работоспособности оборудования при температурах окружающей среды от -40 гр.С до +40 гр.С. никак не укладывается в типовые решения, например, итальянских кондиционеров. Хорошо если поставщик предусмотрел для России «зимний пакет»! Как вариант придется при отсутствии зимней опции разрабатывать свой комплект или что еще хуже дорабатывать решение производителя.

     Следовательно: качественно и достаточно полно подготовить эксплуатационную документацию можно только в течении одного года после сдачи ИИ ЦОД в эксплуатацию. Это возможно, например, если компания, производящая СМР, выполняет и сопровождение объекта, производит ТО, в котором учтено требование содержать ИД в актуальном состоянии и отражать изменения и фиксировать опыт эксплуатации в ЭД.

     Таким образом – возникает достаточно большой объем изыскательской, инженерной и бумажной работы, который обычно не учитывается в договорах на СМР и ТО, а то что не зафиксировано в договоре вряд ли будет реализовано.

     Как минимизировать потери и оптимизировать обслуживание ИИ?

     Выше я описывал принцип разбивки разделов ИД на группы. Особое внимание при разработке ЭД следует безусловно отнести к критической группе разделов: электроснабжения и холодоснабжения – для этой группы необходимо отнестись с максимальной ответственностью. Определить квалификацию собственных специалистов, смогут ли они выполнять функцию обслуживания, достаточен ли их штат, возможно ли провести обучение для повышения квалификации, либо отдать эти работы на аутсорсинг сторонней организации. Оба варианта имеют свои плюсы и минусы, имеют место быть и выбирать вариант обслуживания необходимо в каждом конкретном случае.

     В любом случае, независимо от варианта обслуживания – в договоре на обслуживание, либо в должностной инструкции специалиста должен содержаться пункт о документировании выполняемых работ по ТО, оперативном внесении изменений и дополнений в ЭД. Необходимые таблицы можно найти в описании состава паспорта и формуляра на изделие.

     В отдельную группу стоит выделить разделы относящиеся к системам безопасности. В частности — система газового пожаротушения (АУГПТ) — ее проектирование, строительство, ПНР и обслуживание выполняются в соответствии с группой ГОСТ от МЧС только сертифицированными организациями. Как правило и строительство и обслуживание отдается на откуп сторонней организации. Архитектура, тип огнетушащего состава определен нормативной документацией. В меньшей степени регламентированы другие разделы системы безопасности – это контроль и управление доступом, пожарной сигнализации, видеонаблюдения – как правило если организация, эксплуатирующая ИИ ЦОД, не имеет специалистов нужной компетенции – передают обслуживание всех этих разделов одной специализированной организации. Это как правило проще и дешевле.

     Сложным вопросом в эксплуатации является раздел АСМУ. Особенно если на него возложен не только мониторинг — но и управление критическим оборудованием. В рамках этой статьи можно сказать что как правило данный раздел наименее проработан на этапе сдачи проектной и даже рабочей документации. Хорошо если в комплекте чертежей учтены все необходимые для реализации ТЗ датчики и все монтируемое оборудование обладающее встроенными элементами удаленного мониторинга и управления. А управляющий контроллер АСМУ обладает возможностью принимать и обрабатывать все необходимые протоколы и достаточной производительностью. Будет очень хорошо, если проектировщик технологической СКС получил полный и актуальный список необходимых сигнальных линий для обеспечения работы АСМУ. Однако, логика работы АСМУ обычно претерпевает в процессе СМР, а также опытной эксплуатации достаточно большие корректировки. Все усугубляется слабым документированием логики работы АСМУ. Однолинейная схема АСМУ позволит вам только проверить актуальность смонтированной системы, распечатка кодов программ интересна может быть только узкому специалисту, а общая логическая схема в достаточно подробном виде – громоздка и мало информативна.

Выводы

Таким образом: для того что бы иметь достаточное документальное обеспечение для качественной эксплуатации и обслуживания ИИ ЦОД – необходимо еще на стадии заключения договора на проектирование, а в дальнейшем и на строительство достаточно подробно и однозначно прописать состав и объем конструкторской и эксплуатационной документации, которую должен подготовить исполнитель. Недостаточно указать ссылку на нормативную документацию, на основании которой необходимо разработать ЭД. Правильно сформировать ведомость рабочей документации, исполнительной документации, состав эксплуатационной документации.

     Понятно, что на стадии завершения работ могут быть отклонения и дополнения, однако это решается в рабочем порядке совместными соглашениями.

     Удачи в строительстве и эксплуатации центров обработки данных.

Рис 5. Монтажные конструкции. Чиллерная площадка. Рождество! Красиво!

 

Автор статьи: Чижов Игорь, ГИП, компания ООО «УЦСБ»

Поделиться информацией

Вы можете послать эту статью или новость коллеге или знакомому по email со своим комментарием, пригласить обсудить ее. Просто нажмите на иконку конверта --->