Инженерная инфраструктура центров обработки данных (ЦОД)

После недавнего пересмотра требований к микроклимату в дата-центре ASHRAE (Американское сообщество инженеров по системам вентиляции и кондиционирования) рекомендует поддерживать температуру на входе между 18° и 27°. Крупные производители электронного оборудования, которые участвовали в разработке новых нормативов, согласились, что именно такие показатели температуры обеспечат надлежащий уровень надежность и работоспососбность установленного в датацентре оборудования.

     Согласно определению ASHRAE TC 9.9 горячие зоны в ЦОД — это области, где воздух на входе в сервера, системы хранения данных (СХД), маршрутизаторы или другое электронное оборудование будет больше 27°. Горячими зонами не считаются тыльная область монтажных конструктивов и области в горячих коридорах. Горячие зоны могут явиться причиной снижения надежности и привести к выходу из строя электронного оборудования из-за невозможности отвода выделяемого тепла. Производители серверов и компьютерного оборудования обосновывают отказ от гарантийного обслуживания из-за нарушения условий соглашения на обслуживание наличием горячих зон.

Причина появления горячих зон в дата-центре

     Что же приводит к ухудшению характеристик воздушного потока? Главная причина — недостаточная подача холодного воздуха в холодный коридор. Это происходит, когда кулеры серверов в нижней части серверной стойки используют весь холодный воздух, а кулеры серверов, установленных сверху монтажного конструктива, получают смесь холодного воздуха и нагретого воздуха из горячего коридора, который рециркулирует через верх шкафа или границы коридоров. Горячий воздух также может рециркулировать внутри телекоммуникационного шкафа через различные отверстия и пространства.

     Рециркуляция горячего воздуха через верх и края шкафов вызвана проходящим потоком воздуха. По периметру стен под фальшполом в компьютерном зале или в самом фальшполу могут быть «нежелательные» проемы, щели и отверстия. Поэтому под полом может не хватать статического давления, чтобы подать достаточное количество холодного воздуха в холодный коридор и обеспечить все серверные кулеры.

Какие могут быть в дата-центре нежелательные отверстия и проемы?

     Незаделанные кабельные вводы или вводы кабельных каналов в компьютерный зал, щели воздуховодов, щели внизу несущих опор или просто отверстия в стенах. В самом фальшполу — отверстия для ввода кабелей, отверстия под шкафами, избыточные перфорированные плиты, которые могут быть расположены не в холодных коридорах, отверстия в полу по периметру компьютерного зала (за блоками управления подачей воздуха, под блоками распределения питания).

Избыток охладительных мощностей в дата-центре может навредить

     Удивительно, но недостаток охладительных мощностей очень редко является причиной появления горячих зон. Избыток охладительных мощностей может привести к появлению горячих зон. Как это происходит?

     Если для охлаждения компьютерного зала ЦОД необходимо 8 блоков охлаждения, а установлены и работают 10 или 12, где, естественно, каждый из 10 или 12 блоков будет работать на меньшей мощности ( чем тогда, когда бы работало только 8 блоков охлаждения). Это приводит к уменьшению подачи воздуха и напора, что приводит к появлению дополнительных горячих зон в местах с низким статическим давлением.

Устранение горячих зон в дата-центре

     Найдите «нежелательные» отверстия под фальшполом, в фальшполу или над фальшпотолком (если эта область используется для отвода отработанного воздуха и загерметизируйте их, чтобы холодный воздух попадал в компьютерный зал ( англ. термин computer room, машинный зал, серверное помещение) только через перфорированные плиты и решетки в холодном коридоре.

     Тщательно герметизируйте неиспользуемые отверстия. Кабельные отверстия и каналы необходимо герметизировать таким образом, чтобы можно было в будущем добавлять и удалять кабели без необходимости удалять и заменять герметик, потому что обычно замена герметика впоследствии не производится. Поэтому лучше для кабельных отверстий и кабельных каналов использовать различные щеточные вводы.

     Убедитесь, что в холодных коридорах центра обработки данных установлено только необходимое количество перфорированных плит. Плиты фальшпола не должны располагаться в горячих коридорах или на неиспользуемой площади компьютерного зала. Чтобы посчитать, сколько необходимо перфорированных плит при проектировании ЦОД, обратитесь к таблице спецификаций, предоставляемой производителем, и сопоставьте объем воздушного потока и подпольное статическое давление. Например, если в спецификациях указано 12,7 мм водяного столба, то объем воздушного потока, проходящего через плиту составляет 0,35 м3/сек. Разделите общий объем воздуха (м3/сек) из всех работающих блоков охлаждения на 0,35 и получите общее количество перфорированных плит, которое необходимо установить в холодных коридорах.

     Расположение перфорированных плит должно соответствовать тепловой нагрузке на каждый шкаф. Общие рекомендации по размещению плит приведены в таблице ниже.

     Также необходимо герметизировать телекоммуникационные шкафы с оборудованием. Установите пустые панели-заглушки, чтобы закрыть все открытое фронтальное пространство в монтажном конструктиве, не занятое оборудованием. Также герметизируйте все боковые зазоры между монтажными направляющими и стенками шкафа, отверстия внизу и вверху шкафов. Не допускайте рециркуляции горячего воздуха с тыльной части шкафа в его фронтальную часть.

     Освободите пространство под фальшполом для лучшего прохождения воздушных потоков. Уберите неиспользованные кабели, мусор и т.п.

     Чтобы проверить, все ли сделано правильно измерьте температуру на входе в сервер, особенно на верхних рядах в телекоммуникационных шкафах. Это можно сделать с помощью различных термометров: бесконтактного ИК-термометра; ленточных ЖК-термометров или беспроводных радиочастотных мониторов температуры. Если воздух на входе слишком холодный или слишком горячий, перфорированные плиты можно добавить, переместить или заменить. Такую проверку нужно проводить регулярно, особенно в тех случаях, когда устанавливается новое оборудование или демонтируется старое.

Дополнительные преимущества обеспечения правильной среды в дата-центре

     Скорее всего, в компьютерном зале дата-центра задействовано слишком много охлаждающих мощностей. Ранее об этом уже упоминалось в контексте системы охлаждения, но теперь поговорим об этом в контексте мощности воздушного потока. Есть ряд преимуществ того, что воздушный поток целиком перенаправлен в холодный коридор. Во-первых, можно отключить лишнее оборудование, сократив затраты на электроэнергию. И даже если охлаждающее оборудование нельзя выключить, все равно такая оптимизация создаст достаточный запас мощности, и в будущем не придется приобретать дополнительные блоки охлаждения. В конце концов, можно просто установить дополнительное оборудование в зале, не добавляя блоки охлаждения.

Моделирование воздушных потоков и CFD анализ

     Конечно, чтобы получить пользу от всех этих мер, необходимо тщательно изучить тепловую нагрузку, мощность охладительного оборудования и воздушного потока в компьютерном зале дата-центра. Для этого необходимо обучить собственный обслуживающий персонал или пригласить фирму, выполняющую моделирование воздушных потоков и CFD анализ.

       Конечно, будут произведены дополнительные расходы, но такие расходы себя оправдывают. По статистике экспертов, занимающихся оптимизацией системы кондиционирования ЦОД, минимальное сокращение энергопотребления от вышеописанных действий составляет от 10% до 36%.