Центры обработки данных для искусственного интеллекта (ИИ): спрос, технологии, эксплуатация

Спрос на центры обработки данных (ЦОД) для искусственного интеллекта (ИИ) растет: компании уже получают от ИИ положительный эффект для бизнеса. Рынок размещения серверов в ЦОД движется к высокоплотным решениям. Поэтому ЦОД, которые проектируют сегодня, должны быть готовы к высоким нагрузкам.

Почему вопрос нужно решать сейчас

ЦОД — долгосрочный объект. Строительство ЦОДа мощностью от 1 МВт занимает от 1 до 2 лет, а эксплуатация объекта длится 20 лет, после чего начинается модернизация. Объекты, которые проектируют сейчас, будут запущены в 2027–2028 годах и проработают не менее 20 лет.

Поэтому требования к нагрузкам с учетом использования ИИ нужно закладывать уже на этапе проектирования. Инвесторы, которые сегодня предусмотрят ввод большой электрической мощности и отвод большого колчиества тепла от серверной стойки, получат преимущество, когда спрос на высоконагруженные стойки станет массовым.

Реальный спрос на высоконагруженные стойки

Стойка стандартного коммерческого ЦОД, которые проектировались ранее, рассчитаны на мощность до 10 кВт максимум. Стойки мощностью свыше 10 кВт относят к высоконагруженным решениям, и для них требуется грамотный инженерный подход.

Два года назад запросов на высоконагруженные стойки практически не было, год назад они были единичными. Сейчас запросы на 10–30 кВт на стойку стали обычными и появляется спрос на стойки и свыше 30 кВт.

В коммерческих ЦОД под инфраструктуру ИИ надо закладывать высоконагруженные стойки.

Коммерческих ЦОД не хватает даже со стойками 10–15 кВт: новая площадка на около 1 000 стоек с нагрузкой около 10 кВт может быть полностью сдана в аренду за 5–6 месяцев.

Обучение и использование моделей: разные требования к инфраструктуре

В разговорах об ИИ обычно смешивают две разные задачи. Обучение моделей требует сотен мегаватт и плотных кластеров. Использование обученной модели (инференс), то есть её работа в прикладных сервисах, во многих случаях выполняется на обычных стойках коммерческих ЦОД.

Высокая плотность нужна не сама по себе. Она возникает из-за требований к межсерверным соединениям: в крупном вычислительном кластере серверы должны стоять как можно ближе друг к другу. Если такой задачи нет, оборудование можно распределить по нескольким стандартным стойкам. Компании, которые только пробуют ИИ, обычно обходятся станлартным оборудованием.

Потребность в мощности сильно зависит от размера модели. Если число параметров уменьшается на порядок, энергопотребление снижается примерно так же. При этом компактные модели быстро догоняют крупные по точности, поэтому для использования обученных моделей нужны всё менее мощные ускорители.

Из этого следует разделение ЦОД по назначению:

• • ЦОД для обучения выгодно размещать рядом с источниками дешёвой электроэнергии, вдали от крупных городов.
• • ЦОД для использования обученных моделей остаются в центрах потребления: массовые сервисы должны работать рядом с пользователями.

Сдерживает рынок и стоимость оборудования. Флагманские графические ускорители стоят сотни тысяч долларов за систему, и в России крупные задачи обучения сосредоточены у нескольких крупных игроков. Компаниям, для которых ИИ не основной бизнес, часто выгоднее купить результат вычислений или обучение модели как услугу, чем инвестировать в собственную инфраструктуру. Для этого не обязательно передавать исходные данные: можно передать модель и параметры обучения, а затем получить её обратно.

Опыт Яндекса

Пример инфраструктуры для обучения — суперкомпьютеры Яндекса «Червоненкис», «Галушкин» и «Ляпунов». По данным SecurityLab, в них 472 вычислительных узла и 3 776 ускорителей NVIDIA A100, все три системы входят в мировой рейтинг TOP500. Обучение языковой модели YaLM 100B заняло около 65 дней на 800 ускорителях. Такой масштаб доступен единицам компаний и требует отдельной площадки с большой подведённой мощностью.

При этом стоимость вычислений можно снижать программными средствами. Яндекс разработал и выложил в открытый доступ инструмент YaFSDP для распределённого обучения больших языковых моделей. По данным компании, он ускоряет обучение более чем на 20% в сценариях с небольшим пакетом данных, а вместе с другими оптимизациями памяти ускорил предобучение собственных моделей на 45%. Чем эффективнее используются ускорители, тем меньше стоек и мощности требуется на ту же задачу.

Пользу ИИ для бизнеса Яндекс показывает на практических примерах. В обзоре Yandex Cloud приводятся такие результаты: нейросети берут на себя 30–50% рутинных задач, нейрообъявления повышают эффективность рекламных кампаний на 10–15%, а торговые сети и промышленные компании используют прогнозирование спроса и компьютерное зрение, чтобы сокращать списания и предупреждать поломки оборудования. Именно такие измеримые результаты и формируют растущий спрос на вычислительные мощности.

Охлаждение: от воздуха к жидкости

Отвести тепло от высоконагруженной стойки технически возможно. Сдерживает их не инженерная сложность, а стоимость. Владелец коммерческого ЦОД должен окупить вложения, а при одной-двух таких стойках в год проект не окупится.

Технологии быстро дешевеют и уплотняются. Решения двухлетней давности уже обесценились, хотя потребляют столько же энергии, поэтому участники рынка, которые входят позже, получают более эффективное оборудование за меньшие деньги.

Переход к новым системам охлаждения пойдёт поэтапно:

1. 1. Гибридные системы: воздушное охлаждение дополняется жидкостным.
2. 2. Непрямое жидкостное охлаждение: теплоноситель отводит тепло от компонентов сервера без погружения оборудования.
3. 3. Погружное (иммерсионное) охлаждение: серверы помещают в диэлектрическую жидкость.

Погружное охлаждение уже применяется в России, но пока остаётся нишевым решением. При этом отношение к нему изменилось: производители отмечают, что заказчиков больше не нужно убеждать, они сами хотят попробовать такие системы. Обслуживание таких систем требует определенных навыков.

Модульные ЦОД как переходное решение

На переходный период главным драйвером могут стать модульные ЦОД. Спроектировать высоконагруженное решение в объёме морского контейнера проще, чем переоборудовать многоэтажное здание. Модуль можно поставить рядом с действующим ЦОД, подключить к его системе гарантированного электроснабжения и использовать в нём жидкостное или погружное охлаждение.

Для российской инженерной школы переход к жидкостному охлаждению — возможность. Отечественные производители слабы в производстве компрессорной технике, но трубопроводы, насосы, арматура и узлы регулирования для суперкомпьютеров в стране уже производятся.

Что делать с существующими ЦОД

Модернизация оправдана только при подтверждённом спросе клиентов. Один сервер с графическим ускорителем можно разместить практически в любом ЦОД без изменения инженерных систем.

Если спрос появился, его нужно оценить применительно к конкретной площадке. Воздушное охлаждение справляется и с 30 кВт на стойку, но нужно проверить:

• • рассчитаны ли на такую нагрузку фальшпол и кондиционеры;
• • не возникнут ли зоны застоя / перетока воздуха и локальные точки перегрева;
• • достаточно ли мощности системы гарантированного электроснабжения.

Если модернизация нецелесообразна, рядом с действующим ЦОД ставят модульный.

По оценкам участников рынка, массовой реконструкции действующих ЦОД под ИИ в ближайшие 5–10 лет не произойдёт. Существующие площадки продолжат обслуживать обычные сервисы и использование обученных моделей, а новые высокоплотные объекты будут строить под подтверждённый спрос.

ИИ в эксплуатации ЦОД

ИИ уже применяют в службах эксплуатации, но только в режиме подсказок и уведомлений. Доверить модели управление инженерными системами не готов никто: ошибка алгоритма может отключить все вводы электропитания и остановить весь объект.

Прогнозирование аварий

Цель — узнать о возможной аварии и успеть принять меры. Использование таких моделей ограничивают три фактора:

1. 1. Объём данных. Для обучения модели нужна большая история работы оборудования. У каждого ЦОД свой проект и своё оборудование, а данными операторы не делятся. Один из способов получить данные — испытательные стенды, где моделируют отказы кондиционеров и источников бесперебойного питания.
2. 2. Специалисты. Нужны специалисты по машинному обучению или собственная команда, которую приходится готовить самостоятельно.
3. 3. Человеческий фактор. Более половины аварий в ЦОД связаны с ошибками персонала, и предсказать их по данным мониторинга нельзя.

Часть аварий не предсказывается вообще, например внезапная разгерметизация фреонового трубопровода. От таких событий защищает частично резервирование.

Для остальных случаев главным инструментом станут системы управления инфраструктурой и эксплуатацией ЦОД (DCIM/CMMS/FM) с использованием ИИ. Они объединяют данные мониторинга, историю отказов и сведения о техническом обслуживании оборудования. На этой основе система может заранее выявлять признаки возможного отказа, предлагать превентивные работы и помогать службе эксплуатации планировать ТО / ремонты до того, как угроза перерастёт в аварию. Решение при этом принимает человек, а система предоставляет ему данные и предлагает решение.

Разработки в этой области уже ведутся и в России. Один из примеров — система DC MASTER для управления эксплуатацией ЦОД, в которую внедряются функции ИИ для превентивного обслуживания инженерной инфраструктуры.

Где ИИ уже приносит пользу

Наибольший эффект ИИ даёт не в управлении инфраструктурой, а во взаимодействии с клиентами и в типовых процедурах:

• • чат-боты снимают базовые вопросы клиентов и разгружают службу поддержки;
• • системы аварийного оповещения и эскалации строго следуют регламенту и работают быстрее человека;
• • калькуляторы стоимости услуг и строительных работ выполняют базовые расчёты по заданным параметрам;
• • проверка инструкций и регламентов на ошибки.

Выводы

• • Реальный спрос на высоконагруженные стойки растёт, но пока ограничен уровнем до 30 кВт на стойку. Массовых заказов на 100 кВт и выше в коммерческих ЦОД нет.
• • Обучение моделей и использование обученных моделей предъявляют разные требования. Обучение тяготеет к источникам дешёвой электроэнергии, использование обученных моделей остаётся в коммерческих ЦОД рядом с пользователями.
• • Отвод тепла от мощных стоек — решаемая инженерная задача. Главный барьер — стоимость и окупаемость.
• • Переход к жидкостному охлаждению будет поэтапным: гибридные системы, затем непрямое охлаждение, затем погружное. Модульные ЦОД рядом с действующими площадками — удобное переходное решение.
• • Массовой реконструкции существующих ЦОД под ИИ в ближайшие 5–10 лет не ожидается: им по-прежнему не хватает мощностей для обычных сервисов.
• • В эксплуатации ИИ пока работает как помощник: прогнозирует часть аварий, ускоряет оповещение и обслуживание клиентов. Управлять инженерными системами ему не доверяют.
• • ЦОД, которые проектируют сегодня, будут запущены в 2027–2028 годах. Готовность к высокоплотным решениям к 2030 году стоит закладывать уже на этапе проекта.