Инженерная инфраструктура центров обработки данных (ЦОД)

На протяжении нескольких лет растущая потребность в питании и охлаждении остается едва ли не главной заботой владельцев ЦОД. Причина тому — огромный спрос на вычислительную мощность и увеличение плотности устройств. Одновременно набирает силу тенденция перехода на модульные серверы. В результате усугубляются проблемы с охлаждением, поскольку чем больше мощность, тем больше вы деляемое тепло.

     В декабре 2006 г. американский конгресс принял закон 109-431 под названием «Акт об изучении и стимулировании использования энергоэффективных серверных компьютеров в США» и поручил EPA осуществить «анализ роста энергопотребления в компьютерных центрах обработки данных, принадлежащих правительственным учреждениям и частным компаниям», после чего доложить о полученных результатах. Формальный отчет, опубликованный в августе 2007 г., можно найти на http://www.energystar.com. В нем содержится целый ряд примечательных сведений:

* в 2006 г. ЦОД в США израсходовали около 60 млрд кВтхч, что составило приблизительно 1-1,5% потребления электроэнергии в целом по стране; * потребление энергии серверами и ЦОД удвоилось за последние пять лет и, как ожидается, в течение следующих пяти лет увеличится на столько же, превысив 100 млрд кВт; * вклад современных ЦОД в пиковую нагрузку на энергосистему составляет примерно 7 ГВт, что эквивалентно мощности 15 типовых электростанций. Если текущая тенденция сохранится, то к 2011 г. спрос возрастет до 12 ГВт. Иначе говоря, США придется дополнительно построить 10 электростанций только для удовлетворения потребности новых ЦОД.

     Этот возросший спрос на питание и охлаждение (вместе с уменьшением доступности энергии и увеличением цен на нее) убедил отрасль ЦОД, что переход на «зеленые» технологии — хороший бизнес. Цены на энергию выросли настолько, что, согласно оценкам, к 2010 г. сумма ежегодных затрат на питание окажется выше стоимости приобретения серверов. Поэтому в настоящее время агентство Energy Star и Министерство энергетики заняты подготовкой рекомендаций по выбору измеряемых параметров и оценке эффективности серверов, а также сбором информации, на основе которой можно было бы проводить сравнение с аналогичными решениями, чтобы компаниям было проще повысить эффективность принадлежащих им ЦОД.

     Опираясь на отчет EPA и информацию от таких организаций, как ASHRAE (Американское общество инженеров теплоснабжения, хладогенерации и кондиционирования), в своих долгосрочных прогнозах аналитики предсказывают повышение спроса на мощность питания и, следовательно, охлаждения, по крайней мере, на протяжении нескольких следующих лет.

     Столкнувшись с повышением цен на электроэнергию, а в некоторых случаях с ее ограниченной доступностью, организации стали весьма серьезно относиться к вопросу использования энергии в центрах обработки данных. Эта озабоченность обусловила повышение интереса к новым технологиям, позволяющим решить целый ряд задач, в числе которых можно назвать следующие:

* сдерживание роста общей стоимости владения центром обработки данных. Повышение спроса на сервисы ИТ без надлежащего управления как использованием, так и реализацией устройств увеличивает капитальные и эксплуатационные затраты на инженерную инфраструктуру; * снижение нагрузки на энергосистему за счет сокращения энергопотребления. Отсутствие достаточной мощности отрицательно сказывается на надежности ЦОД и может стать сдерживающим фактором для роста бизнеса; * более рациональное использование оборудования в соответствии с долгосрочным планом управления энергией; * принятие реальных мер в ответ на озабоченность общественности в отношении того, что центры обработки данных истощают энергосистему США и ответственны за значительные объемы выбросов углекислого газа в атмосферу.

     Для принятия лучших решений с точки зрения TCO, сокращения потребления энергии и максимального заполнения шкафов необходима более подробная информация о каждом устройстве, приложении, шкафе, группе шкафов и оборудовании в целом. Возможность мониторинга подачи питания через отдельную розетку в устройстве распределения питания (Power Distribution Unit, PDU), установленном в шкафу, позволяет контролировать ситуацию, повышать эффективность, планировать будущие инсталляции и правильно выбирать место для размещения ресурсов охлаждения. Мониторинг питания на уровне устройства дает значительно более подробную информацию, которую невозможно получить, когда подобный контроль осуществляется на уровне ИБП, этажного распределителя, через который питание подается к стойкам, или щита с выключателями.

НОВЫЕ МЕТРИКИ КАК ЧАСТЬ «ОЗЕЛЕНЕНИЯ» ЦОД

В рамках «зеленого» движения появляются новые организации и принимаются новые стандарты. Например, продолжает развиваться известная программа Energy Star: Draft 2 на новую спецификацию продуктов для корпоративных серверов размещен на сайте http://www.energystar.gov и доступен для комментариев. Эта спецификация должна вступить в силу к январю 2009 г. Ранее определение эффективности серверов было затруднено, так как данный показатель напрямую связан с рабочей нагрузкой на каждую машину.

     Для определения и достижения энергетической эффективности ЦОД и ИТ выработан целый ряд параметров, рекомендаций и программ. Ниже приводится перечень организаций, наиболее активно участвующих в этом процессе:

* программа 80 Рlus; * американское общество инженеров теплоснабжения, хладогенерации и кондиционирования (American Society of Heating, Refrigeration and Air-Conditioning , ASHRAE); * альянс поставщиков решений для телекоммуникационной отрасли (Alliance for Telecommunications Industry Solutions, ATIS); * инициатива природосберегающих вычислений (Climate Savers Computing Initiative); * EСМА; * EPA Energy Star; * Федеральная программа управления энергией; * LessWatts.org; * стимулирование энергоэффективности высоких технологий PG&E (PG&E High-Tech Energy Efficiency Incentive); * протокол измерения энергии для серверов; * корпорация оценки стандартной производительности (Standard Performance Evaluation Corporation, SPEC); * ассоциация отрасли сетей хранения (Storage Network Industry Association, SNIA); * пространство, ватты и производительность (Space, Watts and Performance, SwaP); * американский совет «зеленых» зданий (U.S. Green Building Council, USGBC); * Uptime Institute; * Green Grid.

     Мы рассмотрим новые метрики, предложенные двумя последними организациями. Речь пойдет об измерении потребления электроэнергии и определении точки измерения питания внутри центров обработки данных с целью повышения их эффективности. Green Grid проявляет очень большую активность в этой области и получила заслуженное признание в отрасли. В техническом описании «Метрики эффективности энергоснабжения центра обработки данных от Green Grid: PUE и DCIE» реальное потребление ИТ-оборудования предлагается измерять непосредственно на устройстве. Аналогичные документы и метрики предоставляет Uptime Institute, в частности «Четыре метрики для определения «экологичности» ЦОД», где одной из трех ключевых точек измерения является аппаратная нагрузка на разъеме устройства.

     Эти метрики приобрели еще большую значимость, когда другие организации обратили внимание на деятельность Green Grid при выработке своих стандартов, в частности, подразделение возобновляемой энергии Европейской комиссии намерено формализовать свой «кодекс поведения» для центров обработки данных. Данный кодекс фокусируется на отношении электрической нагрузки со стороны ИТ к нагрузке от инженерной инфраструктуры в качестве одной из ключевых метрик для оценки эффективности. В настоящее время нет ни одной регулирующей инициативы ЕС, где рассматривается энергоэффективность ЦОД, поэтому весьма вероятно, что метрика, предложенная Green Grid, будет признана во всем мире.

ОПРЕДЕЛЕНИЕ НОВЫХ МЕТРИК

Green Grid отдает себе отчет в том, насколько важно иметь метрики для определения эффективности центра обработки данных и предлагает метрики для их оптимизации. Как известно, нельзя улучшить то, что невозможно измерить. Стремясь разработать метрики, которые организации могли бы реально использовать, Green Grid предложила два взаимосвязанных параметра — эффективность использования энергии (Power Usage Effectiveness, PUE) и эффективность инфраструктуры ЦОД (Data Center Infrastructure Efficiency, DCIE).

     Первая определяется следующим образом:

PUE=общая мощность оборудования/мощность ИТ-оборудования

     Мощность ИТ-оборудования (I.T. Equipment Power). Эта величина представляет нагрузку, порождаемую всем ИТ-оборудованием, включая серверы, системы хранения, сетевое оборудование и вспомогательные устройства — мониторы, KVM и другие.

     Общая мощность оборудования (Total Facility Power). Она включает всю нагрузку со стороны ИТ-оборудования, а также обслуживающей его инфраструктуры, в частности, компоненты систем энергоснабжения: генераторы, ИБП и коммутаторы. К охлаждающим системам относятся кондиционеры для компьютерных помещений (Computer Room Air Conditioning, CRAC), насосы и охлаждающие башни. Остальные компоненты, такие как освещение, сетевые узлы и узлы хранения, завершают формирование инфраструктуры центра обработки данных.

     DciE определяется следующим образом:

DciE = 1/PUE = Мощность ИТ-оборудования/Общая мощность оборудования х 100%,

т.е. является обратной величиной к PUE.

     Оба уравнения предполагают, что потребляемая ИТ-оборудованием мощность измеряется после всех преобразований энергии, коммутации и кондиционирования — непосредственно перед ИТ-оборудованием. Поэтому местом измерения является место подключения устройства, а измерения выполняются при помощи блока распределения питания (Power Distribution Unit, PDU) внутри шкафа. Новая технология шкафных PDU под названием «контроль питания на розетке» (Per Outlet Power Sensing, POPS) уже сегодня позволяет измерять уровень энергопотребления конкретного ИТ-оборудования (см. Рисунок 1).

Рис.1 Рекомендации относительно измерения питания ИТ-оборудования от Green Grid (зелёным цветом)

Такие измерения могут выполняться для отдельного устройства, приложения, шкафа, нескольких шкафов и всего ЦОД.

     Владельцам ЦОД следует добиваться, чтобы значение PUE не превышало двух единиц, а в идеале было как можно ближе к единице. Другими словами, если мощность ИТ оборудования составляет 1000 Вт, то центр обработки данных должен потреблять не более 2000 Вт. Microsoft, например, осуществляет мониторинг PUE с 2004 г. Фактические значения этого параметра приводятся в документе «Лучшая практика достижения энергоэффективности при эксплуатации ЦОД Microsoft», опубликованном в марте 2008 г. («Best Practices for Energy Efficiency in Microsoft Data Center Operations»).

     Такие метрики, как PUE и DCiE, позволяют владельцам ЦОД сравнить результаты с другими ЦОД и предпринять необходимые меры для улучшения энергоэффективности. Следует учитывать, что на расчетные результаты будет оказывать влияние то, какой категории соответствует центр обработки данных (Tier).

     Как ожидается, некоторые новые измеряемые параметры, над которыми работает Green Grid, позволят оценить продуктивность ЦОД. К ним относится методология количественной оценки полезной работы ЦОД и сравнение полученного показателя с количеством любых ресурсов, которые потребляются для выполнения данной работы. Эта мера энергопродуктивности ЦОД (Data Center energy Productivity, DceP) находится еще пока на ранних стадиях определения, но в скором времени мы, несомненно, о ней еще услышим.

UPTIME INSTITUTE

Uptime Institute предлагает метрики для сравнения потребления энергии и осуществления постоянных улучшений. Три из четырех «зеленых» параметров могут быть измерены группой корпоративных ИТ: центр обработки данных может быть охарактеризован с точки зрения стратегии ИТ, использования активов и эффективности оборудования. Таким образом удается идентифицировать области, где необходимы срочные улучшения.

     Данные метрики включают множитель непроизводительного потребления инфраструктуры площадки (Site Infrastructure Power Overhead Multiplier, SI-POM) и множитель непроизводительного потребления ИТ-оборудования (IT Hardware Power Overhead Multiplier, H-POM). SI-POM — безразмерное отношение, на основании которого владелец ЦОД может судить о том, какая часть потребляемой ЦОД энергии идет не на питание критического ИТ-оборудования, а на непроизводительные затраты. H-POM также является безразмерным отношением и указывает, какая часть мощности, подаваемой на конкретное оборудование, теряется при преобразовании энергии или уходит на внутренние вентиляторы вместо того, чтобы подаваться на компоненты внутри устройства.

     SI-POM определяется следующим образом:

SI-POM = потребление ЦОД на общем счетчике/общее потребление переменного тока в месте подключения для всего ИТ-оборудования.

     Потребление ЦОД «на счетчике». Это общее потребление центра обработки данных по показаниям общего счетчика или счетчика здания. Оно показывает, какая мощность должна быть подведена к площадке ЦОД. Данный параметр охватывает все нагрузки, включая некритические, такие как освещение.

     Аппаратная нагрузка в месте подключения. Для отдельного устройства речь идет о потребляемой мощности, измерение которой осуществляется там, где вилка подключается к розетке. При суммировании показателей всего ИТ-оборудования получается мощность, которую должны предоставлять системы ИБП и PDU.

     H-POM определяется следующим образом:

H-POM = нагрузка оборудования переменного тока в месте подключения/вычислительная нагрузка оборудования постоянного тока.

     Вычислительная нагрузка оборудования. Эта величина описывает количество ватт постоянного тока, которое потребляют компоненты внутри оборудования ИТ.

     Оба уравнения предполагают, что мощность ИТ-оборудования измеряется после всех преобразований энергии, коммутации и кондиционирования до оборудования ИТ. Для выполнения этих измерений естественно задействовать шкафной PDU.

Рис.2 Электрическая блок-схема для постоянного тока от Uptime Institute

     Блок-схема электропитания ЦОД от Uptime Institute (см. Рисунок 2) предлагает B* в качестве точки измерения нагрузки оборудования в месте подключения. Технология для измерения в точке B уже существует, к тому же место подключения вилки в розетку является лучшим для измерения нагрузки со стороны оборудования (истинное измерение), поскольку позволяет получить максимально точную информацию.

     Необходимо отметить, что и Green Grid, и Uptime Institute рекомендуют выполнять измерение нагрузки ИТ прямо на устройстве. Причем наиболее интеллектуальным, помимо серверов и других подключенных в шкафу устройств, является шкафной PDU, от которого все они получают питание.

СОВРЕМЕННЫЕ PDU

Раньше в PDU не предусматривалось наличие измерителей токовой нагрузки, тогда как современные шкафные PDU нулевой высоты поставляются вместе с интерфейсом Web, локальными и сетевыми средствами мониторинга тока, датчиками окружающей среды, инструментарием для перезагрузки по сети, поддержкой прерываний SNMP и многими другими стандартными для ЦОД функциями.

     Программные/микропрограммные достижения включают:

* безопасность, в том числе SSL и SSH; * автоматическое обновление микропрограммного кода посредством сервера FTP; * службы Active Directory (LDAP и LDAPS); * TACACS+; * RADIUS; * протоколирование; * оповещение по электронной почте; * формирование групп розеток; * поддержка DHCP; * интеллектуальное планирование нагрузки; * корректная остановка сервера; * программное обеспечение Sentry Power Management (SPM) для контроля и мониторинга множества PDU в различных местах.

     Целый ряд новейших аппаратных достижений относятся к высокоплотным приложениям для PDU, которые поддерживают:

* трехфазное питание (питание 208/480 В 3 фазы или 230/400 В 3 фазы); * повышение номинального тока для удовлетворения более высоких требований к плотности (продукты 30, 32 и 60 А); * розетки разного типа в одном PDU; * разные выходные напряжения на одном PDU; * модульный дизайн для обеспечения гибкости инсталляции; * высокоточный цифровой мониторинг тока TRMS; * измерение на каждой розетке нагрузки (А), напряжения, активной мощности (Вт), кажущейся мощности (ВА), пик-фактора и коэффициента мощности.

     Эти возможности призваны удовле-творить желание владельцев ЦОД не только контролировать оборудование, но и управлять им с целью повышения эффективности за счет принятия лучших и быстрых решений при внедрении новых устройств или возникновении проблем. Многие функции позволяют рассчитать общую силовую нагрузку в кВт для всех устройств на одном PDU или для оборудования, установленного в шкафу. Указав размеры шкафа, можно легко определить количество кВт на квадратный метр. Напряжение измеряется при вводе, а токовая нагрузка определяется для PDU, фазы или розетки.

POPS С ИНТЕГРИРОВАННЫМ WEB-ИНТЕРФЕЙСОМ PDU

Рис.3 Контроль питания на каждой розетке

Компания Server Technology недавно представила продукт из категории POPS (см. Рисунок 3) с высоким уровнем точности измерений для такого рода устройств. Она обеспечивает для каждой розетки контроль следующих параметров:

* тока (А); * напряжения (В); * активной мощности (Вт); * кажущейся мощности (ВА); * пик-фактора; * коэффициента мощности.

     Информация по отдельным розеткам, безусловно, интересна, но реальную ценность для ЦОД представляют приложения технологии POPS. Например, при использовании функции организации групп пользователь может сгруппировать розетки под одним IP-адресом и даже охватить два ввода питания, что позволяет легко определить потребление энергии для устройства, группы устройств, отдельного PDU или шкафа (см. Рисунок 4).

Рис.4 Архитектура Sentry Power Manager

Эта информация согласуется с рекомендациями Green Grid и Uptime Institute относительно измерения нагрузки в месте подключения оборудования ИТ или на самом устройстве.

     Данная информация может быть использована для следующих задач:

* расчет метрик PUE и DCiE согласно Green Grid и SI-POM и H-POM по рекомендациям Uptime Institute; * проверка факта отключения конкретного устройства, для чего достаточно взглянуть на текущее изображение розетки; * отправка сообщений SNMP или электронной почты, если текущие параметры выходят за установленные пределы, и оповещение пользователя о том, что источник питания устройства поврежден или устройство простаивает и, следовательно, может быть выключено или виртуализовано; * группировка розеток для расчета мощности, используемой конкретным устройством, набором устройств или специфическим приложением; * работа с POPS и менеджером питания (Sentry Power Manager, SPM).

     Операционные расходы центра обработки данных выросли настолько, что эффективное управление его инфраструктурой и стоимостью владения может иметь решающее значение в конкурентной борьбе. Многие компании предписывают каждому подразделению оплачивать потребляемую им мощность центра обработки данных с целью контроля объема расходуемых ресурсов, а также для определения степени эффективности их использования. Тот же подход начинает применяться в хостинговых центрах обработки данных, где картина меняется радикально. Речь теперь идет не о том, сколько места потребуется пользователю, а о том, какова будет плотность мощности и общее потребление. Доминирующей тенденцией становится переход к многоуровневой модели ценообразования на базе потребляемой мощности вместо простой продажи площадей, хотя такой подход вряд ли получит быстрое распространение, так как состояние экономики не благоприятствует хостинговым ЦОД.

     Комбинация технологии POPS с интегрированным программным решением, например SPM, дает ряд преимуществ при эксплуатации и управлении ЦОД.

     Новые решения позволяют получить информацию о том, сколько энергии потребляет различное оборудование:

* розетка; * устройство (сервер или модульный сервер, оснащенный несколькими блоками питания); * приложение (группа устройств); * шкаф; * группа шкафов; * ЦОД.

     Группировка и кластеризация мощностей дает ряд уникальных возможностей и функций:

* эта информация может использоваться для расчета PUE и DCiE согласно Green Grid и SI-POM и H-POM по рекомендациям Uptime Institute; * данные предоставляются не только в кВт, но и в кВтхч, поэтому их можно использовать для выставления счетов как в корпоративном, так и аутсорсинговом ЦОД; * полученные сведения можно протоколировать, представлять графически или экспортировать в систему управления зданием (Building Management System, BMS) другого поставщика; * информация о потреблении пригодится для планирования мощностей, так как позволяет выявить свободные мощности питания и охлаждения, необходимые для установки нового оборудования; * в некоторых ЦОД данные о потребляемой мощности используют для выявления горячих зон и реализации более динамического охлаждения; * знание реального значения потребляемой мощности для конкретной силовой цепи позволяет максимально использовать ее ресурсы; * задание минимального порога мощности помогает определить, какие устройства простаивают и, следовательно, являются кандидатами на отключение или виртуализацию; * задание максимального порога мощности позволяет выявить устройства, потребляющие слишком много энергии. Это может указывать на то, что неисправен блок питания или активировано устройство токовой защиты.

     Наличие данных о потреблении в кВтхч для розетки, устройства, приложения, стойки дает ценную информацию. Возможность графического представления, протоколирования и выявления тенденций позволяет установить требования к питанию и охлаждению на день, месяц и год.

     Ожидаемое увеличение затрат на питание и охлаждение, вероятность ужесточения государственного регулирования, предъявление требований экологической ответственности со стороны заказчиков и новые инструменты и технологии для определения эффективности стимулируют компании на поиск путей того, как сделать их центры обработки данных более дружественными к окружающей среде, «зелеными» и эффективными. Эта тенденция крепнет по мере того, как растущий спрос на питание и охлаждение не находит удовлетворения, а ЦОД получают отказ от региональных электросетей в предоставлении дополнительных мощностей. В результате, как ожидается, энергетические кредиты и компенсации за виртуализацию и другие проекты получат широкое распространение и будут способствовать появлению более эффективных центров обработки данных.

     Пока «зеленая» тенденция набирает силу, отрасль заинтересована в том, чтобы такие организации, как Green Grid, продолжали способствовать формированию стандартов и, тем самым, взаимопониманию участников рынка.

     При помощи переключаемых PDU, способных измерять мощность и потребляемую мощность ИТ-нагрузки внутри ЦОД, теперь можно определять эффективность ЦОД. Расчет метрик PUE и DCiE является первым шагом к контролю за энергопотреблением и нахождению способов повышения эффективности ЦОД. Помните, что «нельзя улучшить то, что невозможно измерить».

Автор: Кэлвин Николсон, Источник

Поделиться информацией

Вы можете послать эту статью или новость коллеге или знакомому по email со своим комментарием, пригласить обсудить ее. Просто нажмите на иконку конверта --->