Почему дата-центры не строят там, где дешёвое электричество?

Деньги и электричество сдерживают рынок

Рынок сдерживают две вещи: деньги и электричество. Высокие ставки и дорогие кредиты замедлили инвестиции и стройку. Есть и менее заметный эффект: стоимость строительства ЦОД и доход от сдачи его в аренду почти сравнялись.

С электричеством ситуация выглядит парадоксально. В целом по стране энергии хватает. В Сибири работают крупные гидроэлектростанции, там избыток мощности и низкие тарифы. Проблема в том, что эта мощность находится далеко от тех мест, где нужны дата-центры.

ЦОД работает на бизнес, и находиться он должен рядом с клиентом — там, где данные создают, обрабатывают и используют. Деловая жизнь России сосредоточена вокруг Москвы и Санкт-Петербурга. Поэтому там в первую очередь и строились центры обработки данных. И именно там энергодефицит ощущается острее всего.

Почему ЦОД остаются рядом с клиентом

Свет в оптическом волокне проходит около 200 тыс. км в секунду, то есть примерно 5 микросекунд на каждый километр. Человек, который открывает сайт, разницы между сайтом, который хостится в Москве или Новосибирске, не заметит. А вот некоторые информационные системы заметят, и для них будет критично, где будут располагаться системы.

В реальности волоконно-оптическая трасса длиннее, чем расстояние по прямой, а каждое активное устройство добавляет свою задержку. Сигнал туда и обратно идёт вдвое дольше.

Возьмём базу данных, распределённую между двумя площадками. При синхронной репликации каждая транзакция ждёт подтверждения с другой стороны.

Система, которая работает на одной площадке, к задержкам относится нормально. Но и ей нужно быть рядом с пользователями. К тому же сегодня у бизнеса появился новый довод в пользу распределённых решений: атаки беспилотников на центры обработки данных. Компании хотят разносить системы по нескольким ЦОД, а сделать это без потери скорости можно только на расстоянии до 100 км.

Поэтому увезти обработку и хранение данных из Москвы получается не всегда — иногда это технически невозможно, иногда невыгодно. Спрос на дата-центры есть, но построить их там, где они действительно нужны, удаётся не всегда.

Холодный климат и ограничения свободного охлаждения

Часто можно услышать: у нас холодно, значит, серверы у нас охлаждать дешевле. Звучит логично, но на практике это не так. Воздух в машинном зале должен соответствовать требованиям по температуре, влажности и чистоте. Уличный воздух с минусовой температурой сначала нужно подогреть, а это дополнительное оборудование и дополнительные расходы.

Использование свободного охлаждения (free cooling) имеет ограничения:

• работает не круглый год. Летом в средней полосе бывает жарко, поэтому холодильные машины всё равно подбирают под пиковую летнюю температуру;
• широкий диапазон температур усложняет систему. Одно и то же оборудование должно надёжно работать и в мороз, и в жару;
• из-за морозов в наружных контурах приходится использовать гликолевые растворы вместо воды. У них ниже теплоёмкость и выше вязкость, поэтому насосы тратят больше энергии.

Настоящее преимущество России не в климате, а в дешёвых ресурсах. Электроэнергия, газ и вода в Европе стоят заметно дороже.

ЦОД измеряют мощностью, а не стойками

Ещё три года назад дата-центры проектировали, сравнивали и продавали в серверных стойках. Но стойка — это просто место на полу, бизнесу она мало что говорит. Можно построить машинный зал на 1000 стоек и подвести к нему 1000 кВт. Получится 1 кВт на шкаф, и нормально заполнить такие стойки оборудованием не выйдет, и место в стойках будет пустовать.

Клиент приходит в коммерческий ЦОД за тем, что ему будет обеспечена требуемая мощность и при этом она ещё и будет бесперебойной и зарезервированной. И компания, которая задумала построить собственный дата-центр, первым делом должна посчитать, а сколько энергии потребует её ИТ-инфраструктура и как обеспечить её бесперебойную работу.

Спрос и прогнозы рынка

Спрос на дата-центры будет только расти. Вычислительных мощностей уже не хватает там, где клиенты привыкли их брать, и это меняет их поведение.

Раньше можно было жить без планов. Свободные места в дата-центрах были всегда: понадобилось место, взял и докупил его, в крайнем случае немного переплатил или перекупил у соседа. Сейчас так не получится.

Для рынка это скорее хорошая новость. Инвесторы ЦОД могут планировать и выводить новые мощности.

Какие прогнозы по рынку ЦОД:

• строительство ЦОД продолжится, но станет более планомерным и предсказуемым;
• мелкие игроки уходят, крупные укрупняются за счёт слияний и поглощений;
• приходят новые участники, например, девелоперы, которые увидели в дата-центрах способ заработать больше.

Оборудование: доступность, сервис и запчасти

С ИТ-оборудованием особых проблем нет. Серверы, коммутаторы, системы хранения данных купить можно: поставщики наладили логистику и научились работать в условиях санкций.

Инженерное оборудование тоже доступно. Но прежде чем покупать, стоит спросить себя: а что будет дальше? Если приобретённое оборудование нельзя будет обслужить и найти к нему запчасти, то нормальной эксплуатации не получится. Как пример — дизель-генераторные установки (ДГУ). Будет ли сервис и будут ли запчасти, зависит от страны-производителя и её санкционной политики. От некоторых моделей лучше отказаться, чем потом месяцами ждать комплектующие.

За последние годы Россия заметно продвинулась в производстве инженерного оборудования, хотя полностью закрыть эту нишу в ближайшее время вряд ли удастся. Вентиляцию, теплообменники, климатическое оборудование у нас умеют и проектировать, и производить.

Плохо обстоят дела с элементной базой. Возьмём компрессоры для механического охлаждения. Производство компрессоров окупается только при больших объёмах производства, а покупателей в России для этого слишком мало. В мире основных производителей таких компрессоров можно пересчитать по пальцам. Отдельные разработки спиральных компрессоров у нас всё же ведутся, но по мощности они пока далеки от того, что требуется в ЦОД.

Отечественные генераторы использовать можно, но будет непросто: до уровня надёжности, который требуется дата-центру, они пока не дотягивают.

Надёжность и резервирование

Немного про надёжность ЦОД. Надёжность в ЦОД держится не столько на отдельном элементе, сколько на реализации схемы надёжности: резервировании по схемам N+1 и 2N, байпасных линиях. Отказ одного устройства не должен останавливать работу ЦОД. Поэтому надёжность конкретного элемента важна, но не является решающей и основной. Решающей является выбранная и реализованная схема надёжности, и важно, чтобы каждый элемент инженерной инфраструктуры можно было обслуживать и ремонтировать без остановки работы центра обработки данных, что является требованием реализации ЦОД уровня Tier III согласно Uptime Institute.

Эксплуатация и подготовка специалистов

ЦОД построили, клиентов разместили, праздник закончился. Дальше начинается самое сложное — обеспечивать непрерывную работу ЦОД.

Эксплуатация дата-центра строится на той же системе планово-предупредительного ремонта, что и на любом инженерном объекте. Отличие в двух вещах: схемы сложнее, и останавливать работу нельзя. Клиенты платят именно за то, что их инфраструктура работает непрерывно, даже в то время, когда в ЦОД что-то обслуживают, ремонтируют или меняют. Поэтому работы часто ведутся под нагрузкой, с переключениями по заранее подготовленным программам и планам.

Российская школа строительства и эксплуатации ЦОД выросла на энтузиазме первых команд, и она сильная. Но дата-центров стало так много, что готовых специалистов на рынке просто не осталось. Кадры нужно готовить.

Подготовке инженеров и руководителей служб эксплуатации посвящены авторские курсы по эксплуатации ЦОД и руководство «Эксплуатация ЦОД».

Как проверить эксплуатацию корпоративного ЦОД

Больше всего проблем в небольших корпоративных дата-центрах. С эксплуатацией там всегда было непросто. Корпоративный ЦОД часто подчиняется не главному инженеру, а ИТ-департаменту, которому чиллеры, кондиционеры, ИБП и ДГУ непонятны.

Проверить, как обстоят дела, можно за пять минут. Достаточно задать ИТ-директору несколько вопросов:

• когда последний раз обслуживали кондиционеры;
• когда меняли аккумуляторные батареи в источниках бесперебойного питания (ИБП);
• вводили ли новые батареи в эксплуатацию после замены с подготовкой батарей и проверкой ёмкости;
• когда дизель-генераторную установку последний раз проверяли под нагрузкой;
• есть ли график планово-предупредительного ремонта и кто отвечает за его выполнение.

Если ответа нет хотя бы на половину вопросов, инфраструктура держится не на эксплуатации, а на запасе прочности оборудования. И этот запас когда-нибудь закончится.

Профессиональные подрядчики, которые берут на себя эксплуатацию чужих ЦОД, только появляются на рынке. Многие владельцы ЦОДов пока не понимают, зачем они нужны. Понимание приходит только после многочасовых сбоев и отключений дата-центра, причиной которых обычно являются человеческий фактор и нехватка компетенций.

Выводы

• Спрос на мощности ЦОД будет расти;
• Избыток мощности в некоторых регионах проблему не решает;
• Холодный климат не даёт России преимущества;
• Реальное преимущество России — дешёвые энергоресурсы;
• Рынок консолидируется: мелкие игроки уходят, крупные растут, приходят новые участники;
• Оборудование выбирают с учётом сервиса и запчастей на весь срок службы, а не только по цене и сроку поставки;
• Главный риск ближайших лет — нехватка грамотных специалистов по эксплуатации ЦОД.