Инженерная инфраструктура центров обработки данных (ЦОД)

Многие сегодня говорят о воздушном охлаждении. Но, по оценкам специалистов, будущее все-таки за охлаждением жидкостным, особенно если речь идет о супервычислителях. И есть уже конкретная реализация этой технологии. О ней мы беседуем с техническим директором компания «РСК Технология» Егором Дружининым. Смотрите интервью.

Егор Дружинин: Решение основано на технологических процессорах «Intel». Сейчас вы видите материнскую плату, которая накрывается системой жидкостного охлаждения. Мы непосредственно имеем точки, в которых выделяется основная энергия. Плотность энергии достаточно высока. Мы изготавливаем теплообменник, который содержит внутри себя жидкостные каналы. Каналы были указаны примерно, то есть это не то, как фактически делается. Фактически мы ставим серверную ферму, в которой каждый сервер охлаждается жидкостью. Таким образом, внутри одного шкафа мы можем снимать энергии до 100 кВт с одной стойки. Единственное – что стойка обслуживается с двух сторон, так как у нас не нужно продувать воздух сквозь оборудование.

— Получается, нет никаких горячих коридоров?

Егор Дружинин: Ни горячих, ни холодных, ни темных. Я вообще коридоров боюсь. Есть только большой широкий проход, как всегда, для делегаций. Фактически в одной стойке – 50 (если это половина стойки) или 100 кВт. Температура на сервере зависит от того, что вы поддерживаете. В принципе, она может доходить до 55˚ на отепленной стороне.

— То есть, температура выходящей теплой воды будет примерно 55˚?

Егор Дружинин: Да. А расход будет зависеть от вашей реализации. Встает вопрос, что мы будем делать с существующей теплой водой. Естественно, напрашивается free-cooling. Но потенциал для рекуперации, насколько я понимаю, еще не очень велик. Кроме того, чтобы охлаждать здание, вы должны постоянно производить некие вычисления.

— Понятно. А в супервычислителях это сложно…

Егор Дружинин: И вы должны постоянно обеспечивать гарантированную нагрузку. Но, наверное, это не всегда удобно. И запускать супервычислитель, чтобы согреть здание, если этого не нужно, — вряд ли это правильно. Что здесь здорово. Первое – это PUE, которая абсолютно недостижима в других системах.

— А вы делали оценку PUE? Какова она?

Егор Дружинин: Сейчас у нас с сухой градирни PUE 1,06. То есть, мы питаем только циркуляционно. У нас единый контур, который выходит наружу.

— Узнаем мнение специалистов. Виктор, как вы считаете, это достижимые показатели?

Виктор Гаврилов: На воде это достижимые показатели, и единственный вариант, когда этот показатель достижим. Учитывайте то, что у вас здесь нет вентиляторов на серверах. Вы используете только градирни, причем как минимум месяцев семь вообще обходитесь без вентиляторов.

— Кстати, по поводу вентиляторов у меня всегда есть такая «фишка»: вентиляторы-то относятся к IT-оборудованию…

Виктор Гаврилов: А вот здесь они вычтены из IT-оборудования в том числе.

Егор Дружинин: По факту в каждом сервере присутствуют вентиляторы – до 10%, поэтому здесь некая коллизия, как считать PUE. Существует очень много расчетов КПД двигателя. Соответственно, здесь мы можем вводить разные методики расчета PUE.

— Не знаю, рассказывали здесь или нет на конференции, но в мае была выпущена Green Greed рекомендация по указанию в PUE₁, PUE₂, PUE₃. Они, кстати, не затрагивают проблему вентиляторов вообще. То есть, вентиляторы относят к IT-оборудованию.

Егор Дружинин: Абсолютно верно. Промежуточные преобразования энергии внутри серверов не относятся.

— Но ведь это плюс вашего решения?

Егор Дружинин: Да. Отрасль формирует для нас новые показатели. Мы сейчас по-настоящему ввели понятие «горячая вода». Мы об этом говорили еще в прошлом году. И я могу сказать, что система, которая работает с использованием горячей воды в промышленном варианте, у нас, на территории России, поставлена впервые.

— Расскажите об опытах реализации.

Егор Дружинин: В Челябинске поставлена система СКИФ, которая поддерживает работу в режиме горячей воды. Разработку вычислителя, то есть электронный компонент, мы делали с группой компаний, включающей итальянских специалистов, РСК СКИФ и сотрудников института программных систем Российской академии наук. Разработка инфраструктуры была сделана исключительно российской стороной. Кстати, институт программных систем, как следует из его названия, не занимается инфраструктурными решениями. То есть, это было решение, которое с самого начала сделала РСК СКИФ.

— А сколько киловатт на стойку сейчас реально удается отводить? Там же возникает куча проблем.

Егор Дружинин: Пиковая мощность, которая инсталлирована в Челябинском государственном университете, — до 120 кВт.

— И всё справлялось, действительно отводилось это количество тепла?

Егор Дружинин: Да. Стойка по отношению к инфраструктуре абсолютно независима, то есть, она не потребляет тепловую энергию из инфраструктуры. Если у вас есть существующая инфраструктура центра обработки данных с каким-то воздушным охлаждением и вы понимаете, что ресурсов в воздушном охлаждении в ЦОДе нет, вы ставите решение с жидкостным охлаждением. Оно абсолютно нейтрально ко всей уже существующей инфраструктуре, вы платите непосредственно за вычислители. Воздуха внутри нет, вентиляторов нет, кондиционеров, которые охлаждают, нет. Горячих и холодных коридоров тоже нет.

— То есть, эффективность использования помещений намного повышается?

Егор Дружинин: Абсолютно верно. Не будем сравнивать наше решение с уже существующими. Понимаем, что для Москвы стоимость квадратного метра очень высока, не говоря уже о том, что есть параметры, которые называются «совокупная стоимость обслуживания». Совокупная стоимость представленных здесь систем существенно ниже, потому что система механически проще.

— Давайте ближе познакомимся с самой системой.

Егор Дружинин: Перед вами вычислительный узел. Узлы этого типа сейчас инсталлированы в Росгидромете. Это единый вычислительный узел. Здесь внутри установлены два процессора. Количество ядер можно заметить. Это топовые процессоры. Существующая реализация плотных блейд-систем не поддерживает топовые процессоры. То есть, блейд-системы не могут работать с процессорами максимальной производительности. Мало того что наша система имеет более высокую плотность в количестве юнитов стойки, — она еще может работать с топовыми процессорами. Тепловыделение огромное, нужно развивать воздушные радиаторы.

— То есть, получается, надо увеличивать ее поверхность?

Егор Дружинин: Либо поверхность, либо расход. Если вы повышаете расход, то расход в небольшом канале увеличивает, соответственно, и скорость, а скорость приводит к вибрациям. При этом вы существенно теряете в надежности системы. А на больших скоростях аэродинамика компонентов очень важна, то есть вы, скорее всего, будете иметь какие-то зоны турбулентности, перегревов, и этот процесс будет неконтролируем. Все компоненты, которые обдуваются воздухом, в конце концов, теряют эффективность. На поверхности появляется изолирующая пленка. Как только вы получаете пыль на поверхности, эффективность вашего теплообмена существенно — в разы — падает. Соответственно, требование к качеству воздуха в таких ЦОДах крайне высоко.

— Там ведь еще образуются и оксиды…

Егор Дружинин: Оксидов меньше – за счет того, что пленка небольшая. Но у них теплопроводность выше, чем у пыли. Самый страшный враг – это мелкодисперсная пыль, которая проходит сквозь систему фильтрации, обычно применяющуюся в наших ЦОДах. Системы, подобные той, которую вы видите, избавлены от этих недостатков.

— Получается, за ними будущее?

Егор Дружинин: За ними настоящее. А компании, которые не имеют в своем арсенале решений с жидкостным охлаждением, — это прошлое.