Инженерная инфраструктура центров обработки данных (ЦОД)

Центр обработки данных (ЦОД) компании ОАО Сибирьтелеком в городе Новосибирск, в Калининском районе спроектирован и введен в эксплуатацию в 2009 году с учетом высоких требований к надежности и безопасности. Цель создания данного центра обработки данных — предоставление надежной инфраструктуры для обеспечения непрерывной работы телекоммуникационного оборудования, собственных ИТ ресурсов (серверов, систем хранения данных) и оборудования заказчика, размещаемого на данной площадке. Подробное описание и фотографии центра обработка данных Вы найдете в статье.

Архитектурные решения в дата центре

Дата центр размещен в отдельно стоящем, шести этажном здании АТС-65/71. Здание находится под круглосуточным наблюдением и охраной и расположено в месте, не подверженном природным стихиям и бедствиям. Сибирьтелеком является собственником здания, так что этому ЦОДу не грозит «смена прописки». Все основные и вспомогательные помещения дата центра находятся на 5-ом этаже. Панельное здание с железобетонным каркасом, где располагается центр обработки данных, было запроектировано «Новосибгражданпроект» в 1982 году и построено в 1984 году. Несущие конструкции здания – железобетонные. Высота на 5-ом этаже от основания пола до потолка составляет 4,6 метра.

Суммарная площадь всех основных и вспомогательных помещений дата центра — 854 квадратных метров, из них площадь двух серверных помещений составляет 316 квадратных метров. Площадь серверного помещения под номером N1 составляет 151 м2 и вторая серверная — 155 м2. Это достаточно крупный по меркам России дата-центр.

Фото 5-ый этажа ЦОДа до начала строительства

Перед построением дата-центра в 2008 году было проведено комплексное визуальное и инструментальное обследования несущих и ограждающих конструкций здания АТС. В ходе обследования было определено физическое состояние кровли, железобетонных колонн, ригелей, перекрытий, выполнены расчеты конструкций, определена полезная нагрузка на перекрытие плит, ригелей и фундамента, выполнена теплотехническая оценка внешних стен. Были получено положительное заключение о возможности установки конденсаторных блоков на кровле и переоснащения 5-ого этажа под дата-центр с учетом планируемой весовой нагрузки до 1000 килограмм на один квадратный метр.

На 5-ом этаже была произведена реконструкция: установлены двери металлические противопожарные, произведена замена окон в алюминиевых переплетах на окна с двойным стеклопакетом, были заменены отопительные приборы.

Фото Произведена замена окон и отопительных приборов

В центре обработки данных установлены съемные фальшполы, которые используются в качестве воздуховодов для подачи холодного воздуха к серверным стойкам и используются как место для размещения кабельных каналов. Фальшпол имеет высоту 500 мм, регулируемые опорные элементы из несгораемых материалов.

Фото Строительство фальшпола в ЦОД

Съемные плитки фальшпола имеют антистатическое покрытие и рассчитаны на распределенную нагрузку до 1000 кг на квадратный метр.

Система распределения электропитания

Внешнее электроснабжение выполнено от двух независимых источников внешнего электроснабжения с резервированием электропитания при помощи дизель-генераторной установки (ДГУ), установленной в отдельном строении, расположенном напротив здания АТС.

Фото Отдельное строение для ДГУ

Мощность на каждом независимом вводе 1250 кВА. На 1-ом этаже здания АТС-65/71 под вводно-распределительное устройство (ВРУ) выделено отдельное помещение общей площадью 27,5 м2. В ВРУ подводятся силовые фидерные кабели от трансформаторных подстанций и ДГУ, в ВРУ смонтирован автоматический ввод резерва, электрические счетчики и автоматические выключатели с электроприводом. Суммарная мощность оборудования центра обработки данных рассчитана на 790 кВА. От ВРУ на 5-ый этаж прокладываются два шинопровода Impact фирмы BBI в электротехнические помещения (ИБП N1, ИБП N2).

Фото Два шинопровода Impact фирмы BBI

В помещениях ИБП N1 и ИБП N2 смонтированы вводные и выводные распределительные щиты резервного и гарантированного электропитания, распределительные щиты питания внешних и внутренних блоков прецизионных кондиционеров, щит аварийного освещения и щит запитки компьютерных розеток.

В серверных помещениях смонтированы групповые щиты, обеспечивающие распределение электропитания по телекоммуникационным шкафам. К каждой серверной стойке подводится по две групповые линии электропитания от двух групповых щитков. В групповые щитки установлены автоматические выключатели Schneider Electric. Каждый автоматический выключатель, установленный в групповом щитке, снабжен блок-контактом управления и контроля за состоянием автоматического выключателя. Все силовые распределительные и групповые кабели ВВГнг-LS на 5-ом этаже проложены в лотках под фальшполом.

Система бесперебойного электроснабжения (СБЭ)

Система бесперебойного электропитания обеспечивает бесперебойным электропитанием оборудование, устанавливаемое в серверных помещениях, систему аварийного электроснабжения и запитывает часть розеток, к которым подключается телекоммуникационное оборудование и офисное компьютеры. Бесперебойное электроснабжение осуществляется по схеме 2 (N+1), то есть система бесперебойного электроснабжения имеет две независимые и полностью идентичные подсистемы гарантированного электроснабжения, где в каждой подсистеме установлен еще один резервный элемент. То есть даже при выходе из строя одной из подсистем СБЭ будет обеспечена бесперебойное электроснабжение от другой подсистемы. Каждая из подсистем СБЭ состоит из 4-ех трехфазных модулей ИБП EMERSON двойного преобразования NXA 160 кВа /128 кВт (3 основных и 1 резервный), работающих параллельно в едином комплексе. К каждому модулю ИБП подключается два блока аккумуляторных батарей Exide Electronics типа P12V1575, установленных на стеллажах. Каждый батарейный блок имеет емкость 66 Ач.

Фото Стеллаж с батарейными блоками

Площадь помещения ИБП N1 с установленной системой бесперебойного электропитания и аккумуляторными батареями составляет 65,1 м2. Помещения N2 с ИБП и батареями размещены на площади 80,9 м2.

Фото Электротехнические помещение ИБП N2

Кабели и шинопроводы в электротехнических помещениях между ИБП и распределительными щитами, ИБП и аккумуляторными батареями прокладываются по лоткам.

Фото Прокладка силовых кабелей в электротехническом помещении

Расчетное время автономной работы и обеспечение бесперебойным электропитанием и параллельной работе 4-ех модулей составляет 18 минут, при работе 3-ех модулей расчетное время бесперебойной работы при указанной выше нагрузке — 12 минут. Этого времени достаточно для запуска ДГУ.

Система резервного электропитания (СРЭ)

В случае сбоев в электропитании от трансформаторных подстанций (ТП) или ухудшения качества электроснабжения на вводах от ТП будет обеспечен запуск ДГУ. СРЭ рассчитана, со слов собственников ЦОДа, на поддержание работы всех инженерных систем в течение 8-и часов. Есть возможность выполнить дозаправку топлива в ходе работы ДГУ.

Система кондиционирования и вентиляции дата центра

Система кондиционирования и вентиляции построена с использованием прецизионных кондиционеров EMERSON с выносными внешними конденсаторными блоками, установленными на крыше здания на опорные конструкции. Внешние конденсаторные блоки снабжены низкотемпературным зимним комплектом, обеспечивающим работу в зимнее время с учетом суровых Сибирских морозов. Внутренние блоки прецизионных кондиционеров установлены по периметру серверных помещений друг напротив друга и смонтированы в помещениях с ИБП. Прецизионные кондиционеры снабжены микропроцессорными блоками iCOM c дисплеями, фильтрами G4, датчиком загрязнения фильтра и датчиком утечки воды. В качестве хладагента используется фреон R22. Изолированные медные фреоновые трассы прокладываются под фальшполом и в технологическом коридоре, а затем выводятся на кровлю здания и подводятся к внешним конденсаторным блокам.

Фото Вывод фреоновых трасс и воздуховодов с 5-ого этажа на крышу

Также по два прецизионных кондиционера установлено в помещения ИБП N1 и ИБП N2 для обеспечения требуемых параметров для работы источников бесперебойного электропитания и аккумуляторных батарей.

Фото Подготовка фреоновых трасс на кровле

Слив конденсата от испарительных блоков кондиционеры осуществляется через дренажную систему. Подвод воды для работы пароувлажнителей прецизионных кондиционеров осуществляется через фильтры грубой и тонкой очистки. Все трассы дренажной системы и запитки кондиционеров водой проложены под фальшполом. Прецизионные кондиционеры поддерживают необходимую температуру и относительную влажность. Холодильная мощность системы кондиционирования рассчитана с запасом +10% и выполнена по схеме N+1.

Приточная и вытяжная вентиляция

В серверных помещениях при помощи приточной вентиляции с механическим побуждением обеспечен приток и напор воздуха. Также в серверных помещениях смонтированы две вытяжные системы, которые включаются и используются только для удаления газового огнетушащего вещества (ГОТВ) и дыма после срабатывания системы газового пожаротушения. В помещении ИБП обеспечен однократный воздухообмен с механическим притоком и вытяжкой из верхней зоны, в помещении с автоматической установкой газового пожаротушения (АУГПТ) обеспечен двукратный воздухообмен.

Все воздуховоды приточной и вытяжной вентиляции оборудованы огнезадерживающими клапанами с механическим приводом и выполнены из оцинкованной стали толщиной 0.5 мм и 0,7 мм (воздуховоды свыше 5000 мм2). При срабатывании сигнала «пожар» приточная и вытяжная вентиляция отключается.

Структурированная кабельная система (СКС)

В центре обработки данных построена классическая структурированная кабельная система с централизованной архитектурой. Главный кросс (MC), размещен в отдельном помещение, в «Кроссовой» общей площадью 5.5 м2.

Фото Кроссовая – размещение главного кросса (MC) СКС

В качестве горизонтальных кабельных линий выбраны медные кабели витая пара категории 6. В двух шкафах установлены горизонтальные кроссы (HC). Между высокоскоростными портами коммутаторов, кроссовой и шкафами проложены волоконно-оптические кабели AMP NetConnect с оболочкой LSZH (при горении, не выделяющей галогенов) с 12-тью одномодовыми волокнами (SM), что позволяет внутри сети дата центра передать трафик с неограниченной скоростью.

Фото 19-ти дюймовый 48U шкаф APC в кроссовой

В качестве серверных стоек выбраны 42U телекоммуникационные шкафы NetShelter SX компании APC. В двух серверных помещениях можно разместить до 72-ух телекоммуникационных шкафов. В комплект шкафа входит блок распределения электропитания (PDU) Rack PDU Metered на 32А компания APC c защитой от перегрузки, который установлен с тыльной стороны и не занимает место в стойке.

Фото Блок распределения электропитания (PDU)
Rack PDU Metered на 32А компания APC c защитой от перегрузки

В каждый шкаф монтируется коммутационная панель на 24 порта RJ45. Волоконная оптика подключается к адаптерам типа LC-LC.

Фото Коммутационная панель на 24 порта RJ45

Интегрированная система безопасности (ИСБ)

Интегрированная система безопасности в дата центе предназначена для защиты помещений и оборудования. ИСБ позволяет управлять доступом сотрудников и посетителей, осуществляет запись и вывод информации о состоянии объекта и событиях. ИСБ состоит из трех систем: системы контроля и управления доступом (СКУД), системы охранной сигнализации (СОС), системы охранного телевидения (СОТ).

Сетевая инфраструктура центра обработки данных

В дата центре используется классическая сетевая 2-ух уровневая инфраструктура, которая лего трансформируется в 3-ех уровневую, если в этом возникнет необходимость. Например, можно установить в серверной стойке сетевой коммутатор и обеспечить уровень доступа. Для доступа к мультисервисной сети Сибирьтелеком на уровне ядра используется коммутатор Cisco 7606-S c двумя процессорными модулями. В серверном помещении N1 установлено по два модульных коммутатора Cisco Catalyst 6509 с обеспечением схемы резервирования по схеме N+1. К данным коммутаторам можно подключить сервера напрямую или подключить Ethernet коммутаторы.

Фото Сетевые коммутаторы в серверной

Локальная вычислительная сеть внутри самого центра обработки данных построена с использованием двух коммутаторов Cisco 2960, установленными в отдельном кроссовом помещении, где размещается главный кросс (MC). Коммутаторы Cisco 2960 подключены при помощи кабеля категории 6 к коммутаторам 6509 c использованием технологии Gigabit Ethernet. Коммутаторы 6509 подключены к узлу сети Новосибирского филиала ОАО «Сибирьтелеком», расположенном на 3-ем этаже здания, с использованием двух волоконно-оптических кабелей и 10 Gigabit Ethernet.

Автоматизированная система диспетчеризации и управления (АСДУ)

АСДУ в центра обработки данных собирает данные о работе всех инженерных систем. Информация со всех датчиков выводится на экраны мониторов и на большой настенный визуальный экран, где наглядно отображается состояние датчиков, вывод алармов.

Фото Вывод на большой настенный визуальный экран

АСДУ осуществляет непрерывный мониторинг с регистрацией основных параметров и событий.

Фото Пример вывода экстренных сообщений

Системы осуществляется контроль за:

• протечкой жидкостей
• температурой и влажностью
• за качеством электроэнергии
• положением и состоянием автоматических выключателей
• работой системы гарантированного электропитания
• открыванием и закрыванием телекоммуникационных шкафов

В диспетчерской располагается пост наблюдения за состоянием информационных и инженерных систем центра обработки данных. Площадь диспетчерской составляет 13,3 м2. В дата центре организовано круглосуточное дежурство и наблюдение.

Система пожаротушения

В отдельном помещении, площадь которого составляет 34 м2, установлена система автоматического газового пожаротушения.

Фото Станция автоматического пожаротушения

В качестве огнетушащего вещества выбран газ Хладон-125.

Фото Баллоны с газом хладон-125

В помещении установлены баллоны с газом, станция пожаротушения и запасные баллоны, имеются напольные весы для взвешивания баллонов с газом, что позволяет контролировать состояние заправленного баллона.

Фото Напольные весы для взвешивания баллонов с газом

В ЦОД смонтирована система обнаружения пожара с использованием пожарных извещателей. При возникновении пожара выполняется отключение кондиционерных блоков и осуществляется блокировка системы вентиляции и подпора воздуха.

Предоставление услуг дата центром Сибирьтелеком

Дата центр ОАО Сибирьтелеком спроектирован как для размещения собственных ИТ ресурсов, так и для размещения серверов, систем хранения данных и телекоммуникационного оборудования сторонних заказчиков. Сибирьтелеком предоставляет широкий спектр услуг для своих клиентов:

• телематические услуги на передачу данных
• предоставление услуг хостинга
• сдача виртуальных и выделенных серверов в аренду

Фото Размещенное оборудование клиентов

Благодарности

Спасибо за предоставленную подробную информацию, организацию встречи и демонстрацию дата центра: Киреева Артёма Борисовича, начальника Цеха телематических служб и услуг Узла сетей передачи данных Новосибирского филиала ОАО «Сибирьтелеком» и Шабалина Александра Юрьевича Начальника службы по анализу Узла сетей передачи данных Новосибирского филиала ОАО «Сибирьтелеком».

Контакты

Сайт www.sibdc.ru

Шабалин Александр Юрьевич (383) 219-44-34

Киреев Артем Борисович (383) 204-81-14

Фотографии с объекта

Фото План эвакуации о пожаре – видно расположение помещений ЦОД

Фото Шина заземления в телекоммуникационном шкафу

Фото Вывод с камер на монитор

Поделиться информацией

Вы можете послать эту статью или новость коллеге или знакомому по email со своим комментарием, пригласить обсудить ее. Просто нажмите на иконку конверта --->