Инженерная инфраструктура центров обработки данных (ЦОД)

Ваш источник бесперебойного питания действительно работает почти на полную мощность в ЦОД, или у вас проблема неравномерного распределения нагрузки между фазами между потребителями? Приходилось менять много ИБП, потому что неравномерное распределение нагрузки создавало впечатление, что ИБП перегружен. Ненужная замена большого ИБП приводит к нерациональному расходу денег, а также подвергает его риску катастрофы. Следуйте приведенным ниже советам для того чтобы избежать проблемы неравномерного распределения нагрузки между фазами в дата-центре.

Основные сведения о трехфазных электрических системах

В отличие от жилых помещений, в которых чаще всего используется однофазное электропитание, в коммерческих зданиях используются трехфазные системы электропитания. Большие системы ИБП мощностью от 20 кВА и выше, обычно, трехфазные, так как это является более эффективным способом передачи большого количества электрической энергии потребителям.

     При снятии показаний с трехфазного ИБП, базовый дисплей обычно будет показывать относительную нагрузку на самой нагруженной фазе. Например, если ИБП мощностью 100 кВт показывает 98%, это может быть нагрузка 98% на фазу B. Если нагрузка на фазе A составляет всего лишь 50%, а на фазе В — только 20%, общая нагрузка ИБП будет составлять только 54%. Электрическому оборудованию будет доступно 46 кВт. Пора менять ИБП? Не думаю!

     Есть разные способы распределения трехфазной системы электропитания на выходе, но в США выход с ИБП дата-центра производится через блоки распределения питания (PDU), которые будут почти всегда представлять систему напряжением 120/208 вольт, состоящую из четырех проводов + земля, соединенных звездой. Это показано на рис. 1 без проводника заземления.

Рис. 1 – Типы цепей доступных в трехфазных системах, соединение по схеме звезда (120/208)

     Если требуется высокая мощность, использование трехфазных систем будет давать много преимуществ. В современном дата-центре, где шкафы часто потребляют 5, 10, 15 и более киловатт, для обеспечения такого же уровня мощности как однофазная система требуется меньшее число проводников, и поэтому в большинстве дата-центров используются трехфазные цепи вплоть до серверных стоек. Сведения о числе проводников см. в таблице 2.

     При нынешних ценах на медь, это может иметь значение, но независимо от способа разводки параллельных цепей, если энергия на входе и выходе ИБП является трехфазной, необходимо от каждой фазы брать одинаковое количество энергии для использования всей мощности системы.

Объяснение равенства фаз

Представьте трехфазную ИБП в виде трех фляг с водой, которые солдаты берут в пустыню. Для выполнения задания нужны все три человека со своим снаряжением. Каждый из них отправляется в путь с одинаковым количеством воды, и это количество больше, чем им может потребоваться в пути, но один человек не очень рационально использует воду и она у него заканчивается до того как они достигли своей цели. Они просто продолжают идти, пока этот солдат не умрет и задание не будет выполнено? Они вызывают другую команду и советуют ей брать больше воды? Или они перераспределяют свои запасы воды и расходуют ее более рационально на протяжении остальной части пути с целью наиболее эффективного использования своего критического ресурса? Будем надеяться, они выберут последний вариант.

     Трехфазная ИБП работает аналогично этим солдатским флягам. Все три фазы имеют одинаковую мощность, треть общей мощности. Если только одна фаза работает с полной нагрузкой, нет причин для покупки новой ИБП, так еще есть достаточно мощности в других фазах для удовлетворения нагрузки. Нужно будет просто перераспределить потребляемую мощность между тремя фазами, чтобы каждую из них можно было использовать на полную мощность. Потом нужно будет управлять нагрузками при добавлении оборудования, чтобы не повторять ту же самую проблему и не приводить к преждевременному износу ИБП. До сих пор мы концентрировались на ИБП, но тот же самый принцип применяется ко всем элементам любой трехфазной электрической цепи.

Балансировка нагрузок в трехфазной электрической системе

Балансировка фаз просто предполагает перемещение нагрузок с одной на цепи на другую, точно так же как вы перемещаете дома приборы, если вы перегрузили цепь. Допустим, в вашей спальне несколько небольших приборов подключены к одной розетке: чайник, лампы, фен, щипцы для завивки волос и т.п. И вы покупаете большой телевизор. Приходит лето и вам нужно установить кондиционер, Вы его подключаете в ту же розетку, к которой уже подключены все эти устройства. Все работает замечательно до одного жаркого летнего дня, когда кондиционер работает на полную мощность, вы смотрите новости по телевизору, кто-то включает чайник и ... Внезапно, все это перестает работать! Происходит перегрузка цепи, и в электрическом щите срабатывает предохранитель или автомат. Это значит, что весь дом обесточен?

     Конечно, нет! Вы просто перегрузили одну цепь. Еще есть достаточно электрической энергии; и для того чтобы ее использовать нужно просто переместить часть нагрузки на другие фазы. Например, подключить плиту к другой розетке. Если говорить техническим языком, вам необходимо перераспределить нагрузку с целью ее оптимальной балансировки с имеющейся в вашем распоряжении мощностью. Балансировка нагрузок в дата-центре является аналогичным процессом, за исключением того, что компьютерные нагрузки являются относительно постоянными и для выполнения этой задачи вам необходимо располагать более точными сведениями.

     В примере со спальней нашей целью было предупреждение срабатывания предохранителя, но в ЦОД нам нужно, чтобы нагрузка равномерно распределялась между всеми тремя фазами ИБП, а также всеми остальными подчиненными трехфазными устройствами. Это означает, что нам нужна информация. Если мы будем использовать пульт управления ИБП для получения информации, мы сможем узнать реальную нагрузку на каждой фазе, — не только самую высокую на базовом индикаторе, — и увидеть величину разбалансировки. Если ваша ИБП показывает нагрузку в кВт и кВА, имейте в виду, что вас должно больше всего интересовать кВт, даже если значение в кВА является более высоким. Но показатели все равно должны быть почти одинаковыми, независимо от того выражены они в кВт, кВА или амперах.

     Когда вам будет известно, какая фаза высокая, и какая низкая, вам нужно будет узнать, к каким фазам подключены серверные стойки. К сожалению, здесь вам не обойтись без помощи электрика, если эта информация отсутствует в чертежах или не указана на шкафах или электрической розетке. Это может потребовать кратковременных отключений отдельных серверных стоек, но если ваше оборудование имеет более одного источника питания и подключено к разным цепям, это не должно быть большой проблемой.

     После того как вы распределите оборудование по фазам, можно пойти двумя путями. Первым является метод проб и ошибок, при котором вы просто подключаетесь к розеткам не полностью нагруженных фаз, пока не будет достигнуто оптимальное равновесие. В этом методе нет ничего плохого, если только он заканчивается улучшением равновесия нагрузок. Просто это занимает время и может требовать большого количества отключений оборудования, пока не будет получен нужный результат.

     Второй (намного лучший) — метод решения проблемы балансировки фаз основан на использовании реальных показаний потребления электрической мощности. Это подразумевает мониторинг электропотребления каждой серверной стойки или даже каждой электрической розетки, а также мониторинг в каждом группе и и распределительном шкафу, в том числе в шкафу с ИБП и на всех устройствах распределения питания на всем пути до серверных стоек. Это является главным оправданием использования дорогостоящих блоков сетевых розеток, которые сейчас используются в серверных стойках ЦОД, и называют их PDU (что путает их с большими стандартными распределительными щитами питания), электронными PDU (ePDU), блоками распределения питания шкафов (CDU) и стоечными PDU.

     Независимо от названия, устройства со встроенным мониторингом потребляемой мощности, позволяют узнавать, сколько тока потребляет каждая цепь в масштабе реального времени, локально с помощью встроенного цифрового дисплея, либо удаленно по сети. Располагая этой информацией, можно составить план перераспределения нагрузки на цепи. И если вы намерены поддерживать балансировку фаз, мониторинг электропотребления имеет существенное значение для планирования доступности электрической энергии перед добавлением оборудования.

     Есть еще один фактор, который мог бы нарушить все планы. С целью повышения энергетической эффективности и уменьшения расхода медной проволоки, большая часть оборудования в дата-центрах США имеет напряжение питания 208 В. Это напряжение получают путем подключения к двум из трех фаз трехфазной электрической цепи, как показано на рис. 1. В этой системе перемещение нагрузок превращается в головоломку. При перемещении переподключении силового шнура компьютера или клеммы, вы будет изменять нагрузку сразу на двух фазах, а не на одной. Это означает, что нагрузка на одной из фаз будет оставаться неизменной, нагрузка на другой фазе будет уменьшаться, а нагрузка на оставшейся фазе будет увеличиваться. На рис. 3 показан результат перемещения нагрузки мощностью 5 кВт и напряжением 208 В в ИБП мощностью 100 кВт:

     Мы улучшили ситуацию на Фазе A и повысили нагрузку на Фазе C, но Фаза B все еще высокая. Это означает, что нам нужно найти еще одну цепь напряжением 208 В, которая питается от фаз A и B и переподключить ее к цепи на фазах A и C. Иными словами, хотя работа с напряжением 208 В является более эффективным и рентабельным и его, конечно же, рекомендуется использовать, это требует более тщательного управления электропитанием для достижения равновесия фаз и полного использования ИБП. В качестве примечания, эта проблема является одним из факторов, требующих перехода на европейский стандарт электропитания 415/240 В в дата-центрах — цепи напряжением 240 В можно за один раз перемещать на одну фазу, точно так же каши цепи напряжением 120 В.

Выводы по балансировке энергопотребления между фазами

Независимо от того какое напряжение используется в дата-центре, важно равномерно распределять нагрузку между всеми тремя фазами для извлечения максимальной выгоды из своего дорогостоящего ИБП. Это может потребовать небольших усилий, но это намного лучше, чем новые затраты и прерывание работы, связанное с модернизацией ИБП.

Автор статьи

Robert McFarlane работает в консалтинговой фирме Shen Milsom and Wilke LLC

Статья опубликована с разрешения автора, оригинал статьи находится: http://searchdatacenter.techtarget.com/tip/How-to-balance-three-phase-power-to-maximize-UPS-capacity