Инженерная инфраструктура центров обработки данных (ЦОД)

В этой статье я хочу рассказать об одном интересном документе «Программа и методика испытаний», который обычно забывают разработать при выполнении проектных работ, либо относятся к его подготовке очень формально.

     Это — в случае проектирования ЦОД — группа однотипных документов, создаваемых как правило по разделам проекта. Документы называются «Программа и методика испытаний» (ПМИ), и создаются в соответствии с ГОСТ 19.301-79.

1. Немного о содержании документа

Состав документа достаточно подробно освещен в вышеуказанном ГОСТе, однако оно в большей степени ориентировано на испытание какого-либо изделия, оборудования, которое должно выполнять определенную функцию и соответствовать определенным требованиям.

     Однако в нашем случае – результатом проектирования и строительства является объект, состоящий из многих взаимосвязанных подсистем, в свою очередь состоящих из многих устройств. Соответственно к разработке ПМИ подходим творчески, в процессе разработки ПМИ мы получаем документ примерно следующего содержания: Рис. 1.

Рисунок 1 Содержание ПМИ по системе охлаждения и вентиляции

     Весь документ состоит из пунктов: что за объект, где расположен, ответственные стороны, подробный состав сдаваемого оборудования, передаваемые документы, условия сдачи и прочее.

     Конкретно каким образом проводятся испытания описывается в приложении «А» (Рис. 2),

Рисунок 2 Приложение «А» фрагменты ПМИ по системе охлаждения и вентиляции

     Если посмотреть форму приложения «А» в ГОСТе – то мой вариант несколько отличается, он имеет четыре столбца вместо трех, и третий столбец заполняется не по ГОСТ.

     Считаю, что этот вариант более понятен для заказчика, более логичен при восприятии. Столбцы отвечают на три понятных вопроса: что испытываем, как испытываем и результаты испытаний.

     Столбец результата тоже разделяю на 2–е части, которые явным образом определяют положительный и отрицательный результаты. В большинстве случаев, если положительный результат однозначен, и все остальное это отрицательный результат – пишем в отрицательный результат – иное. Если однозначно непонятно что считать отрицательным результатом – подробно описываем варианты. Главная цель чтобы не было у комиссии лишних поводов для вопросов и главное результат испытаний и то что было написано в ПМИ совпадало.

     Приложение «Б» (Рис. 2) это форма акта проведения испытаний – собственно форма пустографки, содержащая виды испытаний и заполняемая рукописно при выполнении ПМИ. Непосредственно перед проведением испытаний мы согласно этой форме готовим Акт проведения испытаний (обычно пытаются результаты испытаний вписывать в форму акта).

Рисунок 3 Приложение Б фрагменты ПМИ по системе охлаждения и вентиляции

     При составлении приложения «А», методики проведения испытаний необходимо представлять каким образом вы будете производить сдачу раздела проекта. Документ должен быть составлен именно в том порядке в каком вы будете производить сдачу, не должно происходить скачков по документу или хаотичного передвижения по помещениям объекта.

     Пример: в главе «Состав оборудования» мы должны перечислить все оборудование установленное в соответствии с проектом. Если объект состоит из нескольких помещений и элементы данного раздела размещены в нескольких помещений, то порядок перечисления элементов должен минимизировать перемещение комиссии (это от 3-х до 5 человек). Причем перечисление стоит завершить в том помещении, с которого будет выполняться следующий пункт ПМИ.

     В приложении «А» надо продумать или придумать каким образом будет производиться проверка качества проведения работ. Почему и стоит вопрос про то, чтобы документ был согласован заранее.

     Пример 1: как будет производиться проверка герметичности помещения гермозоны, а также проверка на протечки потолка? Если это не оговорено заранее, не продумана технология – то это может привести к проблемам при сдаче. Указание – что это выполняется визуально далеко не всегда удовлетворит комиссию заказчика. Например, если подобный вопрос возникнет для проверки герметичности гермозоны производства REMTEX – изготовитель гермозоны с удовольствием произведет испытание на герметичность – стоимость этой работы 3-4 тысячи евро. Недешевое решение, стоит его оценить и согласовать с заказчиком заранее.

     Пример 2: как будем проверять протяжку винтов в кабельных соединениях электрических шкафов? Визуально, динамометрическим ключом? Можно, но, наверное, самое правильное — под нагрузкой проверить отсутствие точек перегрева тепловизором, и быстрее и будет документ, который можно буде приложить к отчету.

     Вообще – вся программа должна быть написана таким образом, чтобы у приемочной комиссии не возникали лишние вопросы по принимаемой системе. Если вы не запинаетесь и не скачете по документу, продуманы и способы испытаний – то и лишних вопросов будет минимум.

     Следует озаботиться, чтобы у комиссии было достаточное количество экземпляров ПМИ.  Очень хорошо — когда список комиссии, должности напечатаны в ПМИ, а не вписаны туда ручкой.

     Настоятельно рекомендую до сдачи ПМИ перед комиссией, порепетировать сдачу. Проверить что все элементы подсистем находятся именно на том месте в котором вы ожидаете их увидеть, наклеена и доступна к осмотру маркировка, в шкафах разложены или расклеены актуальные однолинейные схемы, на месте упомянутое и желательно поверенное в ПМИ измерительное оборудование.

     Загляните под фальшпол, убедитесь — что там чисто и нет лишних луж от конденсата и холодоносителя, проверьте наличие ключей от всех дверей, шкафов. Попробуйте открыть все замки, часто на электрических шкафах устанавливают замысловатые замки. Перед комиссией вы их должны открывать уверенно. Вы же специалист.

     В подпункте «Требования к проведению испытаний» должно быть продумано взаимодействие подсистем ЦОД с системами здания.

     Пример 1: – при проведении ПМИ по системе электроснабжения стоит уточнить у электроснабжающей компании не планируется ли у них на это время каких-либо работ на питающей подстанции. У нас конечно ЦОД имеет резервирование по питанию, но лучше если мы сами будем имитировать отключение вводов вводными автоматами.

     Пример 2: — классика жанра, когда ЦОД строится в торговом или офисном центре, начинают выполнять ПМИ по системе пожаротушения или пожарной сигнализации, не согласовав эти работы со службой безопасности здания. В результате в систему пожарной сигнализации здания уходит сигнал «Пожар», во всем здании срабатывает пожарная тревога, включается оповещение об эвакуации, останавливаются на первом этаже лифты. Ситуация крайне неприятная, особенно если заранее не получено согласование этих работ.

     В подпункте «Материально-техническое обеспечение испытаний» перечислены подготовительные условия и материальные ресурсы для проведения испытаний. Они относятся как к заказчику, так и к исполнителю. Кто что обеспечивает должно быть определено заранее, для чего и подписывается ПМИ на стадии «П», его визирует заказчик. Если это не было выполнено или к этому пункту отнеслись в свое время формально – то при сдаче может возникнуть очень неприятное недопонимание.

     Пример: при сдаче ДГУ кто обеспечивает дизель топливом? В каком объеме? Кто предоставляет нагрузку? За чей счет доставка и аренда нагрузки? И заказчик вдруг захотел производить прогонку дизель генератора в течении 8 часов на проектной мощности, а если мощность ДГУ 600кВт, за чей счет будет сожжено 2.5 тонны топлива?

     Обращаю внимание на приложение «Б» в самом его конце есть волшебный пункт «Рекомендации по доработкам системы». Очень полезный пункт. Если по сдаче системы есть незначительные замечания – то систему по согласованию с заказчиком можно принять и с замечаниями. Достаточно указать замечания, после исправления не надо будет собирать комиссию снова, достаточно после выполнения необходимых доработок ответственному специалисту от заказчика проверить что все исправлено и принять подсистему окончательно.

2. Цель разработки ПМИ

Зачем же разрабатываются ПМИ? Причем на стадии проектирования «П»? Собственно — для того чтобы понять какой объем испытаний придется произвести при выполнении приемосдаточных работ и как следствие какие временные и главное финансовые затраты понесут Исполнитель и Заказчик на стадии приемосдаточных работ. Причем разобраться в этом необходимо уже на стадии завершения проектирования.

3. Кому больше нужны программы и методики испытаний

Из опыта проектирования ЦОД, строительства и сдачи могу сказать, что прежде всего ПМИ нужны именно для исполнителя. Грамотно составленные и главное согласованные и завизированные ПМИ у заказчика позволят ему сдать подсистемы с планируемыми затратами. Будут согласованы объем, материальные и технические затраты на проведение ПМИ. Кто какие средства и каким образом обеспечивает.

     Важно! ПМИ должно быть подписано заказчиком и оригинал должен быть у вас – это ваши деньги, если даже будет копия или скан – это недостаточно.

     ЦОД сдается не в реальных условиях, никто не будет проводить испытание подсистем электроснабжения и холодоснабжения на установленном в шкафах ИТ-оборудовании. Следовательно — необходимо предусмотреть тепловые пушки на согласованную в ПМИ мощность. Заказчик может потребовать испытать систему охлаждения на проектной мощности, в течении нескольких дней, для чего потребуется определенное количество тепловых пушек, лучше конечно если они будут той же мощности что и PDU и их можно будет подключить непосредственно вместо PDU в ИТ-шкафах – это идеальное решение, при этом прогружается вся распределительная сеть, а если у вас будет установлено несколько больших трехфазных пушек? Необходимо определить места подключения, кабели, может распределительный щит. Чьи это будут затраты и где они будут учтены без ПМИ?

     Поскольку ПМИ разрабатывает исполнитель – то он, если внимательно отнесется к этой работе, будет находиться в более выигрышном положении. Он предлагает свое виденье к порядку и объему работ. Обычно на этом этапе у заказчика не хватает знаний для оценки достаточности объема работ. Понятно, что объем можно откорректировать непосредственно перед проведением ПМИ – но уже по взаимному согласованию, в качестве дополнительных работ и за отдельные дополнительные деньги.

4. Когда разрабатываются ПМИ

Выше я указывал, что ПМИ разрабатываются непосредственно после завершения проектных работ. Полных данных для разработки документа по которому можно будет производить приемосдаточные работы еще нет, но на данном этапе этого и не надо. Как я писал мы должны определить объем и порядок работ, чтобы заложить и зафиксировать необходимые временные и финансовые затраты на эту стадию работ.

     4.1.   Разработка ПМИ на стадии «П»

     После завершения работ по проектированию разрабатываем формальные ПМИ по разделам, в них определяем требования к обеспечению испытаний материалами, ресурсами, оборудованием, определяем необходимые согласования со сторонними организациями для проведения испытаний. Определяем временные затраты на испытания.

     4.2.   Корректировка ПМИ перед сдачей проекта

     Непосредственно после выполнения СМР, выполнения маркировки и подготовки чертежей ИД выполняется корректировка ПМИ в соответствии с фактом выполнения работ.

     Если на стадии «П» в ПМИ при проверке раздела электроснабжения мы можем указать «включить вводной автомат» — то теперь мы указываем «включить автомат QF1». Мы указываем оборудование в соответствии с фактической маркировкой. Мы указываем конкретные нагрузки, которые мы подключили на объекте вместо ИТ-оборудования, и должны получить конкретные значения температуры, производительности оборудования. Сверить что получаем адекватные проекту значения.

     Так же мы проверяем что при изменении входных параметров мы получаем на выходе адекватную реакцию подсистем, алгоритмы отрабатывают верно, в соответствии с проектом и с ПМИ.

5. Необходимое и достаточное количество ПМИ, а также их виды

Количество ПМИ на стадии создания проектной документации как правило определяется исходя из количества разделов проекта. Каждому разделу соответствует одно ПМИ.

     Вообще испытания целесообразно производить в два этапа, вначале производятся ПМИ по разделам проекта, если в процессе проведения испытаний обнаруживаются недоработки, они исправляются в соответствии с Приложением «Б» «Рекомендации по доработкам системы», оформляются и визируются акты исправления замечаний. После этого считается что системы по отдельности смонтированы и работают согласно документации.

     Как правило, для различных систем состав комиссии различный, от заказчика присутствует профильный специалист и куратор проекта, от исполнителя очень желательно присутствие инженера проектировщика и руководителя работ. Работа предстоит кропотливая, должны быть проверены все параметры и все алгоритмы работы системы. Высшему руководству обычно становится скучно, для них будет парадное комплексное ПМИ.

     ЦОД является объектом где все смонтированные системы работают в комплексе, взаимодействуя между собой в соответствии с прописанными алгоритмами. Как следствие нам необходимо произвести завершающие комплексные испытания ЦОД. Испытания работы критичных подсистем в целом. В зависимости от типа и состава инженерной инфраструктуры ЦОД в комплексном ПМИ могут быть различные испытания. Вот на эти испытания обычно и привлекается высокое руководство. Работы должны занимать от 4-х до 8-и часов, не более.

     Рассмотрим наиболее часто встречающиеся виды комплексных испытаний:

     5.1.   Работа АВР

     Испытание позволяет проверить работоспособность системы бесперебойного и гарантированного электропитания (рассматриваем наиболее типовую схему электропитания – два независимых ввода электропитания и ДГУ). При последовательном отключении первого, второго ввода электропитания контролируется обеспечение всех потребителей по первой особой группе электропитания питанием от ИБП, затем в автоматическом режиме после задержки должен производиться запуск ДГУ, после чего все потребители должны получить гарантированное электропитание.

     После возобновления электропитания от вводов должен отработать алгоритм гашения ДГУ в автоматическом режиме, должен осуществляться заряд батарей ИБП.

     В этом испытании и в следующих необходимо контролировать что все изменения в работе ИИ адекватно отображаются в системе мониторинга, если СКАДА имеет функцию управления – то повторить испытание с помощью СКАДА.

     Важно! При испытаниях АВР необходимо проконтролировать что алгоритм подключения нагрузки на ДГУ настроен должным образом, группы нагрузок подключаются к ДГУ постепенно, с заданными временными промежутками. Иначе при максимальных нагрузках дизель сможет не принять нагрузку.

     5.2.   Работа системы кондиционирования

     Проверяется работа системы кондиционирования в комплексе. Испытания будут различаться в зависимости от того какой тип охлаждения используется (фреоновый, водяной или вдруг какая другая экзотика). Должны быть проверены все доступные режимы работы. Тут возможны ограничения исходя из наружной температуры воздуха. По-хорошему, необходимо произвести испытания на максимальной и минимальной нагрузке, при максимально и минимальной температуре окружающего воздуха, при повышенной и пониженной влажности, как отрабатывает и при какой температуре система начинает работать в режиме фрикулинга, как распределяется нагрузка между кондиционерами, как происходит ротация… Однако это невозможно, это будет проверено во время опытной эксплуатации и во время гарантийного срока эксплуатации. Проверка во всех режимах произойдет только в течении года, ну часть испытаний можно эмулировать изменением уставок температуры и влажности.

     Опять же – проверяем каким образом отрабатывает все наши действия система мониторинга и управления.

     5.3.   Работа противопожарного алгоритма

     Испытание противопожарного алгоритма проверяет работу ИИ при двух вариантах пожара: пожар внутри помещения ЦОД и пожар в здании.

     При пожаре в здании как минимум должно включаться светозвуковое оповещение о пожаре, разблокироваться замки системы СКУД, отключаться приточно-вытяжная вентиляция ЦОД и закрываться на входе в ЦОД противопожарные клапана. Что-то может происходить еще – но это зависит от конкретных проектных решений.

     При пожаре внутри ЦОД, кроме вышеописанного отправляется сигнал о пожаре в пожарную сигнализацию здания, и запускается алгоритм пожаротушения. При этом следует учитывать, что поскольку мы проводили ранее ПМИ по системе пожаротушения – то нет необходимости проверять все действия АУГПТ, они проверены и приняты, мы проверяем взаимодействие подсистем между собой.

     Не забываем проверку адекватности работы АСМУ.

     5.4.   Работа системы автоматизации, отработка основных аварийных ситуаций

     Я не даром во всех испытаниях указывал что во время испытаний мы смотрим на реакцию в системе АСМУ. Если есть функция не только мониторинга – но и управления – проверяем работоспособность управления через СКАДА. Это позволит при приемке АСМУ не повторять действия с прочими системами, мы их уже выполнили так сказать в фоновом режиме. Нам остается только выполнить те проверки, которые мы не выполняли.

6. Рекомендации по разбивке проекта на ПМИ

Проектирование и строительство ЦОД по срокам и этапам не столь однозначны, особенно если в проекте присутствуют работы не только внутри площадки ЦОД, но и на крыше, в подвале, есть необходимость тянуть трубные и кабельные трассы по подвалам, по этажам, на кровле и под замлей. В этом случае строительные работы могут разбиваться внутри разделов на этапы и даже в этапы могут входить работы из разных разделов. Часть работ может быть выполнена намного позже – например высадка травы вокруг чиллерной площадки – это весной, когда снег сойдет.

     Пример: при строительстве ЦОД в строящемся здании цокольного этажа (что в общем то не очень правильно по правилам и нормам из-за повышенного риска затопления) нам необходимо проложить трубную трассу холодоснабжения, электропитания, слаботочных линий автоматики и СКС на кровлю по вертикальным сетчатым лоткам. Сразу после этого простенок с этой трассой будет зашит гипсокартонном, доступ к ней останется только через небольшие ревизии на каждом этаже. Продолжение работ по ХС начнется только через полгода — год. В этом случае наша цель сдать эту часть работ сразу после выполнения заказчику, что бы вся ответственность по сохранности смонтированного оборудования была на заказчике.

     Одним из вариантов – выделение работ по созданию трассы в отдельный блок работ, состоящий из кусков разделов холодоснабжения, электроснабжения, автоматики, монтажных конструкций и СКС. Мы выполняем пневматические и гидравлические испытания труб, приглашаем электролабораторию на измерение сопротивления изоляции, тестируем линии СКС. Готовим и проводим ПМИ на эти работы, сдаем заказчику, получаем за эти работы деньги.

     Теперь эта трасса находится в собственности заказчика и, если кто на этажах повредит кабельные или трубные трассы, это будет проблема между заказчиком и арендатором.

     6.1.   По разделам проекта

     Если работы по строительству выполняются достаточно быстро и без перерывов – то достаточно отредактировать ПМИ разработанные на стадии проектирования в соответствии с выполненным монтажом и в таком виде и порядке сдавать.

     6.2.   По этапам сдачи проекта

     Если работы ведутся с разбивкой по этапам, например, из-за отсутствия строительной готовности на части площадок объекта, задержками в поставке, невозможности производить монтаж из-за низких температур на улице, недостаточности финансирования – разбиваем существующую ПМИ раздела на части.

     6.3.   По принимающим лицам

     Если принимающая комиссия от заказчика будет по какой-то группе подсистем состоять из одних и тех же специалистов – то бывает целесообразно объединить ПМИ, как пример систему пожаротушения, пожарной сигнализации, видеонаблюдения и СКУД обычно принимает и сдает одна группа лиц – ничто не мешает объединить работы и сэкономить время на сдачу.

7. Как производить сдачу ПМИ

Итак, суммируем все требования и условия для качественной подготовки ПМИ и удачной сдачи:

     7.1.   После завершения строительно-монтажных работ и подготовке исполнительной документации – проверяем на объекте соответствие ИД, конкретизируем виды испытаний в соответствии с запланированными параметрами испытаний.

     7.2.   Проверяем наличие и соответствие ПМИ измерительного оборудования, ресурсов (предоставляемых и заказчиком, и исполнителем).

     7.3.   Проверяем наличие необходимой документации (как правило в ПМИ указывают «комплект ИД и настоящую ПМИ»).

     7.4.   Проверяем наличие разрешительной документации и согласований на проведение ПМИ (служба безопасности здания, поставщика электроэнергии и прочего).

     7.5.   Наличие согласованного доступа на все площадки, наличие ключей.

     7.6.   Завершение всех недоделок, порядок на объекте, отсутствие лишних вещей, оставшихся от монтажа.

     7.7.   Подтвержденный список приемочной комиссии (оформленный доступ исполнителей на объект).

     7.8.   Мы заранее отрепетировали сдачу ПМИ.

8. Что еще полезного можно получить от ПМИ?

Подчеркиваю, от качественно подготовленного ПМИ. То, что у нас не возникло вопросов при сдаче ПМИ по порядку сдачи, объемам сдачи, видам испытаний – это уже очень хорошо. Помним, что на момент завершении работ бюджет проекта уже исчерпан. Какое-либо дополнительное финансирование крайне затруднено. ПМИ в себе содержит много полезной и главное актуальной информации, которую можно использовать для подготовки эксплуатационной документации по объекту.

     В частности — в методике испытаний содержится подробное описание последовательности включения системы, проверки ее работоспособности и выключения системы. Это с минимальной корректировкой можно перенести в руководство по эксплуатации объекта. Особо ценно, что это актуальная, проверенная информация.

     

Автор статьи: Чижов Игорь, ГИП, компания ООО «УЦСБ»

Поделиться информацией

Вы можете послать эту статью или новость коллеге или знакомому по email со своим комментарием, пригласить обсудить ее. Просто нажмите на иконку конверта --->