Использование систем охлаждения в ЦОД (дата-центрах)

В повседневной жизни мы практически ежедневно сталкиваемся с системой охлаждения. Мы так к ней привыкли, что просто ее не замечаем, когда она работает нормально. Если бытовая система охлаждения выходит из строя или проводится профилактика (например, разморозка холодильника), то мы о ней тут же вспоминаем. В природе существует закономерность — чем ниже температура, тем лучше сохраняются продукты, и наоборот, чем выше температура, тем быстрее продукты портятся. Такая же закономерность наблюдается и для электронных систем — при увеличении температуры сокращается срок их работы, а при температуре свыше 60 градусов по шкале Цельсия возможно и начало необратимых процессов, вплоть до выхода из строя оборудования. 

Одной из ответственных стадий в проектировании инженерной инфраструктуры серверных помещений и ЦОД является проектирование системы кондиционирования, частью которой является система охлаждения, включая подбор оборудования.

Общие принципы, используемые при проектировании системы охлаждения ЦОД

Есть несколько принципов, которые используются в ходе разработки проекта системы охлаждения в ЦОД.

При проектировании системы охлаждения необходимо учитывать расположение других инженерных систем и функциональное предназначение помещений дата-центра.

Необходимо также учитывать погоду и внешние условия. Внутрь помещения дата-центра в теплую погоду возможно проникновение тепла через стены, перегородки и окна. Поэтому окна в компьютерном зале ЦОД заделывают или создают специальную оболочку дата-центра с улучшенными теплоизоляционными свойствами.

При проектировании системы охлаждения необходимо учитывать количество выделяемого тепла устанавливаемого оборудования в один телекоммуникационный шкаф или стойку.

Необходимо рассмотреть вопросы, связанные с обеспечением заданного уровня надежности tier ЦОД и решить вопросы с резервированием оборудования системы охлаждения.

Также проектировщику системы охлаждения необходимо предусмотреть возможность масштабирования ЦОД и увеличения потребления электроэнергии на один юнит оборудования, а значит увеличения тепловыделения на один телекоммуникационный шкаф.

Использование прецизионных кондиционеров в небольших дата-центрах

При охлаждении небольших серверных помещений или аппаратных (так называемых мини-ЦОД) используются прецизионные кондиционеры.
Прецизионные кондиционеры забирают теплый воздух из окружающей среды, охлаждают его и подают в определенные зоны. Прецизионные кондиционеры играют роль «смесителей» и поддерживают заданную температуру в помещении.
Они хорошо справляются с тепловой нагрузкой до 2-3 кВт на один телекоммуникационный шкаф или стойку. Однако в современных серверных помещениях и дата-центрах в телекоммуникационный шкаф 19 высотой 42U устанавливается большое количество активного оборудования, которое выделяет гораздо большее количество тепла до 5 кВт и больше на одну стойку или телекоммуникационный шкаф.
Поэтому данное решение не используется в ЦОД или серверных помещениях с большой плотностью расположения оборудования и большим количеством тепла.

Воздушная система охлаждения в ЦОД с подачей холодного воздуха из-под фальшпола

Одно из самых популярных решений в качестве системы кондиционирования в ЦОД – это использование воздушной системы охлаждения с подачей холодного воздуха через перфорированные плитки фальшпола.

Нагретый воздух легче холодного и он поднимается вверх самотеком — поэтому эффективнее подача холодного воздуха снизу. Фальшпол образует пространство или естественный канал для подачи и распределения холодного воздуха в компьютерном зале или в любом другом помещении дата-центра, где установлен фальшпол.

Холодный воздух нагнетается под фальшпол специальными напольными кондиционерными блоками, в которых осуществляется теплообмен между проходящим через змеевик нагретым воздухом, поступающим из компьютерного зала дата-центра, и хладагентом (обычно вода), подаваемым от холодильных машин (чиллеров).

Данное решение позволяет увеличить эффективность системы охлаждения за счет подачи холодного воздуха к месту размещения оборудования, но тем не менее это решение не отвечает требованиям дата-центров, где устанавливается оборудование с высокой плотностью и большой тепловой нагрзуку на один монтажный конструктив.

Чтобы повысить эффективность воздушной системы охлаждения с подачей холодного воздуха из-под фальшпола в ЦОД необходимо установить телекоммуникационные шкафы и разместить активное оборудование в шкафах таким образом, чтобы в дата-центре и телекоммуникаицонном шкафу не происходило смешение холодного и горячего воздуха.

Организация «горячих» и «холодных» коридоров в ЦОД

Крайне нежелательно смешивать потоки холодного и горячего воздуха – это снижает эффективность работы системы охлаждения.

Для того, чтобы ограничить смешение холодного воздуха, подаваемого из-под фальшпола, с нагретым воздухом в ЦОД создают области или зоны, в которых осуществляется подача холодного воздуха к телекоммуникационным шкафам, так называемые «холодные коридоры», и области или зоны, в которые подается горячий воздух, так называемые «горячие коридоры».

Для того чтобы создать «горячие коридоры» и «холодные коридоры» в ЦОД, телекоммуникационные шкафы устанавливают рядами так, чтобы с лицевой части шкафов шла подача холодного воздуха, а нагретый воздух выходил сзади шкафов. Для этого ряды шкафов устанавливают друг напротив друга лицевой стороной, а перед шкафами размещают перфорированные плитки, через которые осуществляется подача холодного воздуха. Сзади телекоммуникационных шкафов располагаются плитки фальшпола без перфорации.

Такое решение позволяет отводить от телекоммуникационного шкафа до 5-10 кВт тепла от телекоммуникационного шкафа или стойки.

Водяное охлаждение телекоммуникационного шкафа

В том случае, если в ЦОД существует повышенная плотность потребления электроэнергии, то используют систему водяного охлаждения. Водяное охлаждение используется в качестве системы охлаждения при значительном выделении тепла, свыше 10 кВт на один телекоммуникационный шкаф или стойку.

Вода обеспечивает более эффективное охлаждение устройств. Эффективность охлаждения водой, примерно в два раза выше воздушного охлаждения.

Холодная вода по системе трубопроводов, установленных под фальшполом, подается в закрытый телекоммуникационный шкаф к теплообменнику, чаще всего выполненного в виде змеевика. Воздух циркулирует внутри закрытого телекоммуникационного шкафа — горячий воздух проходит сквозь змеевик, охлаждается и направляется к установленному оборудованию, холодный воздух забирает тепло от оборудования и снова подается в теплообменник.


Поделиться информацией

Вы можете послать эту статью или новость коллеге или знакомому по email со своим комментарием, пригласить обсудить ее. Просто нажмите на иконку конверта --->


Сообщения, вопросы и ответы

Вы можете задать вопрос, написать комментарий, обсудить данную новость или статью.

Ваше сообщение (вопрос, ответ, комментарий)

  1. Валентин Александрович Васильев 06.09.2009 в 16:10

    (подписан на сообщения)

    Уважаемый Дмитрий,

    1.Используя фальш-полы как канал приточки- в Data centers- решение правильное и единственное для крупных центров. Этим реализуется вентиляция помещения методом замещения.

    2. Для стоек с тепловой нагрузкой 10 кВт и более необходимы специальные герметические шкафы, обеспечивающие подачу охлажденного воздуха снизу вверх, вдоль внутренней стоки, в слотах которой стоит оборудование с собственными вентиляторами. Но наиболее правильным будет установка в такой шкаф блоков вертикального исполнения. При большой тепловой нагрузки нельзя доверять арендаторам поставку всего, что у них есть под руками. В противном случае собственник центра окажется ответственным за оборудование арендатора.

    4. Ни о каких 60 оС не может идти речь. Согласно американским стандартам

    температура воздуха должна изменяться в пределах 17 — 27 оС на входе и выходе (в) из помещения. Для блоков электроники необходимо принять 18 -25 оС. Влажность воздуха — 45% — 55%.

    С уважением к читателям, Васильев Валентин Александрович. Главный технолог всесезонного горнолыжного комплекса СНЕЖ.КОМ.

    Тел. 8-916-969-43-13

    • Дмитрий Мацкевич 06.09.2009 в 18:03

      Уважаемый Валентин Александрович,

      Спасибо Вам за столь интересный и активный комментарий.

      К сожалению, нет времени углубляться в тему, так как решений существует много и не все так однозначно, включая и крупные ЦОД и я готовлю много материалов, так как в двух словах в комментариях или небольшой статье нюаносов и современных подходов к решению кондиционирования помещений ЦОД и серверных не пояснить.

      Раз Вы уж затронули параметры воздуха и ссылаетесь на американский стандарт по температуре и влажности.

      Я знаю требования и рекомендации 2-ух американских стандартов TIA/EIA-942 и TIA/EIA-569-B и приведенные Вами данные с их данными не совпадают.

      В свою очередь оба этих американских стандарта ссылаются на данные исследований ассоциации ASHRAE, членом которой я являюсь.

      Поэтому сразу обратимся к источнику

      -----------------------------------------------------------------------------------------------

      ASHRAE Thermal Guidelineы for Data Processing Environments table 2.1

      Допустимая температура 15-32С

      Оптимальная температура 20-25С

      Допустимая относительная влажность 20-80%

      Оптимальная относительная влажность 40-55%

      -----------------------------------------------------------------------------------------------

      Удачной эксплуатации Вашего замечательного комплекса, надеюсь, что как-нибудь поиграю в хоккей в нем.

  2. Андрей Иванов 08.09.2009 в 13:31

    (подписан на сообщения)

    Дмитрий,

    ASHRAE, насколько я помню, в 2008 году озаботилась тем, что низкая температура это не совсем хорошо и предложили слегка расширить диапазон:

    tc99.ashraetcs.org/docume...l_Aug_1_2008.pdf

    как раз до 27oC на входе. Так что глобальное потепление уже не только вокруг нас, но и в ЦОДах :)

  3. Дмитрий Мацкевич 08.09.2009 в 19:56

    Андрей, добрый вечер,

    Да, Вы правы, ASHRAE расширила диапазон.

    Но не то, чтобы низкая температура не совсем хорошо...

    Тут ведь с расширением даиапазона и увеличением температуры возникают и другие проблемы — надо будет больше прокачивать поток воздуха.

    И спасибо за «тоникй юмор» :-)

  4. Замин 03.12.2013 в 17:18

    (подписан на сообщения)

    Уважаемый Дмитрий,

    Как правильно надо охладить дата центр, в которым размешены 60 стоек с тепловой нагрузкой 10 кВт каждый. И как рассчитать воздухообмен в

    помещении для удаления тепла, которое отводится от серверов

    • Дмитрий Мацкевич 03.12.2013 в 23:37

      Коротко

      Надо оценить, а действительно ли будет 600 кВт по холоду

      Оценить какой объем воздуха нужен для охлаждения оборудования в каждой стойке в зависимости от дельта Т

      Выбрать систему охлаждения и определиться с расстановкой оборудования холодснабжения

      Приходите на семинар 15-17 января

      У нас один день рассматриваются системы охлаждения в ЦОД, где рассматриваются нюансы

      Если нужно срочно, пишите на e-mail

      • Замин 04.12.2013 в 12:14

        (подписан на сообщения)

        Температура приточного воздуха 20С, а температуру воздуха на выходе из сервера берем 35С. Тогда получиться 119000 м3/час воздуха. можно ли охладить серверную грубо говоря системой чиллер-прецизионный кондиционер? (внутристоечное или внутрирядное охлаждение). Как вы думаете прецизионные кондиционеры справятся с этим.

        оборудование расставлено так: 6 рядов, 15 стоек в каждом ряде. каждая стойка — 10 кВт.

        Заранее спасибо