Инженерная инфраструктура центров обработки данных (ЦОД)

Тепловая нагрузка в центрах обработки данных за последние несколько лет выросла значительно. И эта тенденция сохраняется, так как происходит процесс уменьшения габаритов электронного оборудования с одновременным увеличением вычислительной мощности, что ведет к выделению большого количества тепла в пересчете на один юнит (Unit, единица высоты серверной стойки). Если еще два года назад казалось, что холодопроизводительности 5 кВт на одну серверную стойку вполне достаточно, чтобы покрыть все существующие и планируемые в ближайшей перспективе потребности заказчиков, то уже сегодня на рынке имеется оборудование, которое при заполнении даже не всей серверной стойки выделяет тепла более 10 кВт.

     Такое оборудование есть почти у всех производителей блейд-серверов. За примером далеко ходить не надо.Компания Ciscoпредлагает унифицированную вычислительную систему (Unified Computing System), у которой потребление на 6U достигает в рабочем режиме 2 кВт и выше. Напомним, читателям, что в центрах обработки данных в качестве серверных стоек стандартом де-факто стало использование 19-ти дюймовых телекоммуникационных шкафов высотой 42U. Даже если в однусерверную стойкустандартной высоты установить пять блейд-корзин UCSCISCO, которые заполнят 30 юнитов из 42, то на одну стойку может выделяться свыше 10 кВт тепла.

Виртуализация серверов ведет к повышению теплоотдачи от одного процессора

Использование технологии виртуализации серверов «усугубляют» ситуацию. Виртуализация серверов позволяет значительно увеличить их загрузку, и если раньше процессоры простаивали 75-85% времени, то при использовании виртуализации загрузка процессоров в серверах возрастает в разы, и, как следствие, выделяется тепла на один сервер в несколько раз больше. В книге, выпущенной ассоциацией ASHRAE, Best Practicesfor Datacom Facility Energy Efficiency приводятся данные — прогноз тепловыделения на одну стойку. К 2014 году прогнозируется выделение тепла в одной стойке с установленными: серверам с дисковыми массивами — свыше 10 кВт; серверами размером от 2U и выше – свыше 20 кВт; серверами, используемыми для вычислений — 1U, блейд-серверами и другими – свыше 35 кВт. Эти прогнозы сбываются.

     Поэтому при проектировании современного центра обработки данных необходимо ориентироваться на тепловые нагрузки от 10 кВт на одну серверную стойку. Или, в крайнем случае, необходимо выделять в машинном зале центра обработки данных области, в которых будет обеспечено охлаждение от 10 кВт на одну серверную стойку.

     У проектировщика возникает закономерный вопрос, а будет ли система кондиционирования 100% справляться с такой тепловой нагрузкой? Чтобы получить достаточно точный ответ на этот вопрос, использование проектировщиком только уравнения теплового балансас добавлением запаса по холодопроизводительности 10%- 20% и программы Excel уже недостаточно.

Ряд проблем в ходе эксплуатации дата центра

Также возникает ряд проблем на этапе эксплуатации действующего дата центра даже с невысокими тепловыми нагрузками. Например, после установки дополнительного оборудования в центре обработки данных могут появиться фантомы – локальные области перегрева оборудования(так называемые hotspot) или, наоборот,вдата центре могут находиться области с достаточно низкой температурой. Понятно, что перегрев серверов, систем хранения данных, сетевого и телекоммуникационного оборудованияэто плохо — рано или поздно высокая температураприведет к сбоям, отказу и выходу из строя электроники. Однако и переохлаждение негативно сказывается на работе серверов, систем хранения данных. Низкая температура ведет к повышению влажности, которая может привести к образованию конденсата. Относительная влажность, согласно данным ассоциации ASHRAE, не должна превышать 80%. Некоторые производители встраивают в сервера и системы хранения данных датчики температуры и датчики относительной влажности, и программные агентымогут отключитьоборудование при превышении допустимых пределов влажности и температуры. Температура в серверных помещениях, где установлено и работает компьютерное оборудование, стандартами ограничена не только верхней границей, а и нижней. Согласно последним требованиямтехнического комитета TC 9.9 ассоциации ASHRAE, опубликованными в 2009 году, температура в помещении машинного зала не должна быть ниже 18 градусов Цельсия. Также пониженная температура приводит к неэффективному использованию электроэнергии, что ведет к увеличению операционных расходов дата центра.

     Чтобы бороться с локальными точками перегрева заказчик вынужден устанавливать напольные вентиляторы рядом с серверными стойками, монтировать дополнительные блоки воздушного или жидкостного охлаждения (если, конечно, есть место для их установки). Однако проблема может и не решиться такими «радикальными» способами. А оказывается, что всего-то надо было заменить, может где-то убрать или добавить плитки фальшпола и проблема была бы решена. Однако без специальных программных средств выявить «узкие» места практически крайне затруднительно и заказчику приходится фактически использовать место в ЦОД крайне не эффективно, не загружая полностью шкафы и распределяя равномерно оборудование (если это можно сделать). А ведь всего этого можно было избежать, если создать термодинамическую модель дата центра и выполнить расчеты по данной модели, подобрать оптимальное расположение оборудование и плиток фальшпола.

Какая должна быть высота фальшпола в дата центре?

При проектировании нового центра обработки данных у инженера, отвечающего за архитектурное решение ЦОДа,всегда возникает вопрос. Какая должнабыть высота фальшпола в центре обработки данных? Понятно, что чем больше высота фальшпола, тем лучше — меньше сопротивление воздушному потоку, больше можно провести различных коммуникаций (трубопроводов, кабельных каналов и кабелей) и даже разместить под фальшполом дополнительные конструкции и оборудование, например, блоки распределения электропитания или консолидационные точки структурированной кабельной системы. Однако при увеличении высоты фальшпола будет возрастать стоимость строительной конструкции и, кстати, уменьшаться пространство между фальшполом и потолком, что может затруднить создание системы воздуховодов для подачи горячего воздуха в блоки воздушного охлаждения. В одной из презентацийнесколько лет назад была опубликована рекомендация по высоте фальшпола в зависимости от площади машинного зала дата центра. При площади машинного зала до 70 кв. метров высота фальшпола должна быть не менее 400 — 500 мм, если площадь зала свыше 100 кв. метров высота фальшпола должна быть не менее 500 — 700 мм, если машинный зал свыше 300 кв. метров, товысота фальшпола должна быть не менее 700 мм. Это эмпирическое правилоработало, когда нагрузка на одну стойку не превышала 5 кВт и не использовалась технология изоляции горячего и холодного воздуха. А чтобы получить точныйответ на вопрос о высоте фальшпола, необходимо выполнить компьютерное моделирование воздушных потоков, рассчитать несколько вариантови выбрать наиболее подходящий.

Что такое компьютерное моделирование потоков (CFD)?

CFD является акронимом словосочетания Computational Fluid Dynamics. В русскоязычной литературе встречаются разные варианты перевода данного акронима. Какой бы вариант перевода не использовался, необходимо понимать следующие важные моменты. Этот акроним говорит о моделировании при помощи вычислительной техники физических процессов, возникающих в потоках жидкостей и/или газов.

     Пользователь создает с помощью специализированной программы трехмерную модель объекта, накладывает определенные граничные условия, выбирает модели, представляющие физические явления, происходящие в газовых и жидких средах (теплопередача, течение сред, теплопроводность, радиация, конвекция и др.), выбирает метод расчета и производит вычисления. На основе полученных результатов расчета, пользователь выполняет оценку и, если необходимо, изменяеткомпьютерную модель, и снова выполняет расчеты. Цель моделирования — найти удовлетворяющее решение.

Результаты моделирования используются при принятии проектного решения, для последующего совершенствования созданной моделиобъекта, выявления узких мест на действующем объекте и оптимизации работающей системы.

Использование компьютерное моделирования потоков в дата центрах

Дата центры являются идеальным объектом для компьютерного моделирования, так как создать прототип или физическую модель дата центра невозможно. А без создания модели дата центра нельзя с достаточно хорошей точностью спрогнозировать, как будет функционировать система кондиционирования на реальном действующем объекте, как себя поведет система кондиционирования при изменении нагрузки, как будет изменяться температура в ряду серверных стоек и по высоте каждой стойки. В июне 2010 годав США было опубликовано руководство BISCI «Bisci 002-2010 Data Center Design and Implementation Best Practices». В статье 5.5.1.1.1 данного руководства приводится следующая рекомендация для проектирования системы кондиционирования, привожу дословный перевод: «Рекомендуется, чтобы была создана компьютерная модель и были выполнены расчеты, чтобы убедиться в правильности размещения плит фальшпола и чтобы проект системы охлаждения отвечал проектным требованиям». Одно из самых последних выпущенных по теме ЦОД руководств рекомендует использовать при проектировании центров обработки данных компьютерное моделирование.

     При проектировании системы кондиционирования в ЦОД необходимо учитывать большое количество параметров. Приведу лишь некоторыеиз них: размеры и объем помещения; расстановка телекоммуникационных шкафов и стоек в серверном помещении; высота фальшпола; направление, объем и скорость движения потоков холодного воздуха; расположение оборудования системы кондиционирования; типы используемых вентиляторов и направление подачи воздушного потока;учет препятствий на пути потоков холодного воздуха; тип используемых плиток фальшпола и геометрия выходных отверстий. При проектировании системы кондиционирования без применения CDF анализа большая часть этих параметров не учитывается или учитывается, но реальное влияние на распределение температуры и влажности в помещении ЦОД выбранного параметра не может быть достоверно оценено, что приводит либо к ошибкам проектирования, либо к закладке проектировщиком большой избыточной холодильной мощности.

Фундаментальный подход в решении задачи термодинамического моделирования

Фундаментальный подход в решении задачи термодинамического моделирования основан на создании и решении системы уравнений. Система уравнений включает в себя:

• уравнения сохранения массы
• уравнения сохранения количества движения
• уравнения сохранения энергии
• уравнения газового и жидкого состояния
• уравнения сохранения момента количества движения

Система уравнений дополняется граничными условиями, на которых задаются значения параметров, их производных или линейных комбинаций. Система уравнений является незамкнутой — количество неизвестных превышает количество уравнений. То есть решить такую задачу можно только, используя вычислительные методы.

CFD программы

На рынке представлено большое количествопрограмм, позволяющих решить различные задачи, связанные с моделированием потоков жидкостей и газов. Среди таких программ отметим следующие: ANSYS, Phoenics, Flow Vent, STAR-CD , FASTEST-3, Flow Vision, Tile Flow, Sigma6, Gas Dynamics Tool и другие.Однако не все программы термодинамического моделирования потоков имеют готовые модули и встроенные библиотеки элементов с учетом специфики центров обработки данных.

     Программные пакеты, как Tile Flow и Sigma 6 имеют встроенные модули, программы и библиотеки для моделирования воздушных потоков в центре обработки данных. Если Вы не имеете практики работы с программами CFD моделирования, то имеет смысл рассмотреть приобретение программных пакетов, в которых уже заложены готовые модели для расчета воздушных потоков вдата центре, имеются библиотеки оборудования (например, вентиляторов, насосов, блоков воздушного кондиционирования).

Этапы проектирования и составления моделей ЦОД

Перед проведением процесса моделирования действующего центра обработки данных необходимо провести комплексное обследование объекта: выполнить измерения скорости воздушных потоков, измерить давление, провести измерения температуры, определить каналы прохождения воздушных потоков и обнаружить возможные препятствия и места просачивание воздуха. То есть сама по себе задача обследования существующего объекта достаточно трудоемкая и, кстати, крайне полезная. Так как в процессе сбора данных выявляются «узкие» места. Для решения задачи создания модели нового дата центра необходимо собрать исходные данные о модулируемом объекте и сделать предположения по применяемым технологиям и устройствам.

     Затем необходимо создать геометрическую модель (чаще трехмерную, 3D) центра обработки данных и элементов, входящих в состав дата центра. 3D модель объекта можно создать при помощи CAD и SCADA программ, а потом экспортировать данные в модуль моделирования. Правда, нужно предварительно выяснить поддерживает ли программа моделирования экспортируемый формат.

     Далее необходимо создать расчетную сетку. Данный этап осуществляется в программах при помощи встроенныхпрограммных модулей генерации сетки или про помощи отдельных программных продуктов. От сетки зависят точность, сходимость и скорость расчета. Качество получаемых результатов, зависит напрямую от качества сетки. Для решения различных задач у специализированных программ можно использовать различные типы сеток. После этапа построения сетки пользователь имеет возможность проверить качество построенной сетки по разнообразным параметрам (скошенность элементов, соотношение сторон).

     На следующем этапе в программу вносятся граничные условияи выбираются модели на основе допущений и предположений, а затем выполняется расчет, который может сходиться, а может расходиться (то есть не иметь решения).

     Результаты расчета в случае сходимости могут быть обработаны специальными программами и выданы в виде графика, таблицы или даже анимации, наглядно демонстрирующей изменения физических параметров. Для центра обработки данных обычно используется визуальное представление расчетных данных в виде распределения температуры по площади машинного зала и по высоте серверных стоек.

     Затем инженером производится анализ полученных результатов расчетов и, если необходимо, выполняется изменение моделей объектов и снова выполняются расчеты.

     На основе полученных данных выбирается наилучший вариант. 

Цена вопроса

Специализированные программные продукты для моделирования и анализа центра обработки данных обходятся очень недешево, от нескольких десятков тысяч долларов в год за лицензию на один компьютер. Например, годовая лицензия на пакет Sigma 6 для моделирования центра обработки данных обойдется свыше 50000 долларов в год. Специалисты в области моделирования потоков имеют высокую квалификацию и соответствующую зарплату. Создание модели центра обработки данных может занять больше месяца. Поэтому создание модели центра обработки данных и выполнение расчетов обходиться конечным заказчикам от 5000-10000 тысяч долларов. Однако не надо забывать, что имея под руками модель, заказчик может сэкономить средства как на этапе инвестиций, так и сократить операционные расходы.

Вывод

CFD программы позволяют моделировать потоки жидкостей и газа, а также другие связанные с этим процессом физические явления, такие как, например, перенос тепла. Термодинамическое моделирование предлагает большие возможности анализа потока жидкостей и газа, что позволяет проектировать на высоком профессиональном уровне новые системы, оборудование или оптимизировать работу действующих систем.

     Без использования термодинамического моделирования невозможно получить точные ответы на такие принципиальные важные вопросы, как распределения температур и влажности по периметру и высоте помещения и серверных стоек в зависимости от: тепловой нагрузки; места установки кондиционерных блоков; температуры теплоносителей и хладагентов; высоты фальшпола; типов вентиляторов и других параметров.

     Проектирование систем кондиционирования дата центров в России от «наколеночной» стадиибудет переходить на профессиональный уровень с обязательным использованием CFD программ, позволяющих создавать и рассчитывать термодинамическую модель дата центра с целью нахождения оптимального решения для системы кондиционирования центра обработки данных.