Инженерная инфраструктура центров обработки данных (ЦОД)

Дата центр, который мы сегодня покажем,  действительно для России уникальный и интересный объект с точки зрения архитектурного решения. Дата центр размещен в едином комплексе, в ИТ-парке, в городе Казань. Смотрите видео.

 

— Сегодня мы приехали на уникальный объект – в ИТ-парк, в котором находится один из лучших центров обработки данных России. Даем возможность читателям посмотреть, как здание выглядит снаружи. Альберт, сколько здание этажей, какая коробка здесь реализована, как все сделано, на каком этаже находится ЦОД?

— ИТ-парк занимает пять этажей, плюс есть подземная парковка. Сам дата-центр располагается на пятом этаже, он организован отдельно, в виде коробки в коробке.

 

— Получается, есть воздушная прослойка?

— Да. По периметру располагаются инженерные системы, кабинеты обслуживающего персонала, коридор, и дальше, внутри – коробка самих машинных залов дата-центра.

 

— Очень грамотное решение, потому что воздух плохо проводит тепло…

— Да, это выгодно с точки зрения энергоэффективности и безопасности.

 

— Кстати, вы как-то оценивали энергоэффективность ЦОДа?

— Пока нет, но в ближайшее время предполагаем это сделать.

 

— Расскажите про электронное правительство. Что у Вас реализовано? Это терминал?

— Да. Он располагается во всех крупных торговых точках, в местах большого пребывания людей. С помощью этого терминала вы можете оплатить услуги ГИБДД, оформить загранпаспорт, получить выписку из единого государственного реестра…

 

— Ну, вы нам об этом еще расскажете позже. Вот это сама коробка. Вход осуществляется по пропускам, нам уже заказали пропуск, но, как видите, меня все равно останавливают и проверяют. А здесь, соответственно, расположены офисы, и их могут арендовать?

— Здесь четыре этажа офисных помещений, ресторан, большой конференц-зал. Есть малый центр, вся система оборудования по последнему слову техники. Здесь располагаются банки.

 

— Я знаю, что у вас есть какие-то формы поддержки IT-бизнеса. То есть, если развивать у вас IT-бизнес, можно пригласить специалистов?

— Да, это так.

 

— А здесь, соответственно, второй уровень?

— Да, это второй уровень службы безопасности, который контролирует проход. Проход осуществляется по специальным картам.

 

— Понятно. Для читателей оговорюсь, что это мы еще не в ЦОД идем, а пока вошли в IT-парк.

— Да, мы прошли в IT-парк. Здесь гардеробная, сейчас мы проходим в конференц-зал. Он рассчитан на 400 мест. Тут располагается большой дисплей, на котором можно презентовать материалы, проводить конференц-связь.

 

— То есть, например, трансляцию видеоконференции по Интернету вы можете организовать?

— Да, можем. У нас предусмотрены три HD-камеры. Одна из них располагается над дисплеем, две – по бокам. Рядом с камерой есть табло сурдоперевода, и на случай проведения каких-либо международных специализированных мероприятий можно переводить на разные языки.

 

— И образован атриум?

— Да. Обратите внимание на пятый этаж: по периметру располагается дата-центр.

 

— Где затемненные стекла?

— Да.

 

— Тогда поднимемся в ЦОД и уже подробно поговорим о нем.

— В сам ЦОД можно попасть только двумя способами: либо на центральном лифте, либо при помощи грузового лифта, который работает только для поднятия крупногабаритных грузов. Например, серверного оборудования, которое невозможно поднять через обычный лифт.

 

— На сколько тонн он рассчитан?

— На 3,5 тонны.

 

Как организована служба безопасности, доступ на объект?

— Дата-центр находится на 5-м этаже IT-парка. Вход возможен только с центрального лифта и с грузового. С центрального лифта люди попадают на ресепшен и их втсречает служба безопасности. Существуют два отдельных тамбур-шлюза – слева и справа от помещения безопасности, которые разделяют государственную часть и коммерческую.

 

— Это вот сейчас коммерческая часть?

— Да, коммерческая. Шлюзы необходимы для того, чтобы служба безопасности проконтролировала прохождение людей в периметр дата-центра.

 

— Когда мы сюда попадаем, у них какой-то сигнал есть?

— Они видят, кто входит и выходит. Они располагаются в этом помещении и постоянно контролируют проход людей.

 

— Понятно. А как организован доступ, как вы можете войти в дата-центр? Я вот сейчас могу пройти?

— Нет, не сможете. У каждого сотрудника есть свой идентификационный номер, он набирает его на биометрической системе, нажимает ввод, подтверждает своей рукой. И только после подтверждения происходит разблокировка двери. После этого мы попадаем в периметр дата-центра. «Сердце» всего дата-центра — электрощитовые комнаты.

 

— Расскажите, как у вас осуществлены вводы, потому что это очень важный момент. Есть ли резервирование в дата центре?

— У нас существуют две абсолютно идентичные электрощитовые. Для каждой электрощитовой осуществлен подвод двух вводов от двух независимых подстанций и даже от двух независимых генерирующих компаний. Также на объекте есть дизель-генераторная установка, обеспечивающая резервное электропитание. Переключение вводов осуществляется за счет АВР (автоматического включения резерва), АВР расположен здесь. Также здесь располагаются источники бесперебойного питания (ИБП), вот они. ИБП работают от аккумуляторных батарей. Сюда подводится на каждую сторону по 5 МВт электроэнергии.

 

— А как осуществляется резервирование? Вся ли мощность дата центра резервируется, и сколько по времени осуществляется резервирование?

— У нас есть дизельная генераторная установка плюс баки с топливом, которые в случае необходимости могут держать подачу электроэнергии порядка 56 часов при полной нагрузке дата-центра.

 

— Сколько?!

— 56 часов!

 

— Это какие же емкости у вас должны быть, сколько тонн?

— У нас емкости порядка 40 тонн, плюс еще заключен договор с обслуживающей компанией, и в случае пропадания двух вводов электроэнергии свыше, чем на 10 часов начинает подводиться топливо бензовозом.

 

— За 46-то часов они явно подвезут. А то вот в Москве, когда пропало питание на четыре часа, некоторые компании так и не успели подвезти топливо… А батареи какие вы используете – необслуживаемые, обслуживаемые?

— У нас необслуживаемые батареи, срок их службы – порядка пяти лет. Также помимо электрощитовых, которые обеспечивают энергоснабжение самих машинных залов, у нас существует отдельная электрощитовая, которая обеспечивает энергоснабжение чиллерных установок, прецензионных блоков и системы управления охлаждением. Она здесь находится. Также есть система с АВР.

 

— То есть, тоже два ввода, естественно?

— Два ввода, дизель-генераторная установка.

 

— Как у вас осуществлены вводы – основной и резервный? Они с разных подстанций идут?

— Вводы с разных подстанций. Одна подстанция Закабанная, Казанская, другая подстанция центральная.

 

— То есть, они практически не взаимосвязаны?

— Практически нет, потому что к Закабанной подстанции энергия подводится от Нижнекамской ГЭС, напрямую, а к центральной – с казанской ТЭЦ.

 

— Как вы оцениваете качество электропитания?

— В связи с тем, что в любом городе вообще в России фазы не синхронизированы, у нас установлен специальный синхронизатор.

 

— Какие фирмы используются?

— Производства Cummins. Он синхронизирует два ввода. Мы практически бесшовно переключаем электроэнергию в случае пропадания одного из вводов на стойке электроэнергию.

 

— Я так догадываюсь, и дизель-генераторы у вас этой же фирмы?

— Да, все верно.

 

— А вы проводите профилактику, то есть перевод нагрузки на дизель-генераторы? И как часто, если проводите?

— Да, конечно, у нас проходят регламентные работы. Раз в месяц мы подключаем дизель-генератор, включаем на него нагрузку, прогоняем в течение двух-трех часов и проводим регламентные работы.

 

— А дизель-генераторных установок сколько – одна или две?

— Две.

 

— И они у вас взаиморезервируемы или синхронно работают?

— Они работают синхронно, но максимально мы можем ставить сюда четыре дизель-генераторных установки. На данный момент это рассчитано на 2,5 МВт.

 

— Понятно. То есть, если потребляемая мощность будет расти, можно расширить. Разумно. А так они синхронно работают…

— Да, синхронно.

 

— Ясно. То есть, любая установка может впоследствии другую еще и зарезервировать, если маленькая мощность, например. А если у вас мощность возрастает, вы докупаете дизель-генераторные установки?

— Да, все верно.

 

— А где у вас установлены чиллеры?

— Холодильные машины располагаются на крыше, всего их три.

 

— Какая там схема резервирования?

— По системе N + 1: два чиллера работают, один находится в горячем резерве.

 

— Чьи вы используете чиллеры?

— Производства компании «Эммерсон».

 

— А они с free-cooling или нет?

— Предусмотрена система free-cooling.

 

— А температура воды, которая поддерживается в контуре?

— У нас не вода: хладагентом является гликоль.

 

— Этиленгликоль?

— Да.

 

— Понятно. Ну, какова температура?

— 35-процентный состав полиэтиленгликоля, который выдерживает замерзание до -40° С.

 

— А температуру не знаете? Я имею в виду, какая на входе и на выходе?

— Это поддерживается в системе диспетчеризации. Система автоматически смотрит, насколько охладить сам холодоноситель, и дальше уже регулирует.

 

— Наверное, где-то 7-12°, в таких пределах держится? 7 – холодная вода теплоноситель и 12, соответственно, уже…

— Да, порядка 7-12°. Может быть, чуть-чуть повыше, потому что у нас длина трасс достаточно большая.

 

— В каком году началось строительство дата центра, закладка фундамента?

— Строительство началось в 2007 году. В начале 2007 года была заложена первая подушка. Закончено строительство было в 2009 году, когда было установлено и протестировано холодоснабжение, электроснабжение и были поданы оба ввода.

 

— Читателям надо понимать, что мы сейчас присутствуем в ЦОДе, а говорим в целом об IT-парке, то есть про грандиозное сооружение. Сколько этажей занимает IT-парк?

— Он располагается на пяти этажах плюс подземная парковка. Также к IT-парку примыкают две гостиницы, которые являются памятниками архитектуры ЮНЕСКО. В IT-парке есть конференц-зал, свой ресторан, переговорные комнаты, а дата-центр расположен на пятом этаже.

 

— А мы сейчас можем пройти в машинный зал и посмотреть, как установлены стойки и другие системы?

— Да, конечно. Здесь располагается коммерческая зона, 750 кв.м фальшпола.

 

— На сколько стоек рассчитано?

— На 200 серверных стоек. К каждой стойке мы стандартно подводим 4 КВт электроэнергии, это стандартно.

 

— Но можете и больше?

— До 30 КВт.

 

— Альберт, вы рассматривали, сколько от стойки максимально можете отвести? Например, если клиент придет и запросит максимальную мощность?

— Пока мы рассматривали до 30 КВт, но фактически, если применять новые технологии, всякого рода коридоры, мы можем и больше отвести.

 

— Но сейчас можете до 30, это 100%?

— Да.

 

— Какие клиенты здесь у вас располагаются? Сейчас у вас нет выделенных горячих и холодных коридоров или они созданы?

— По стандарту у нас есть горячие и холодные коридоры, мы можем отвести до 30 КВт. Как подвести сюда энергию до 30 КВт, так и отвести тепло.

 

— Кстати, как у вас электроэнергия подводится? Сверху?

— Да, сверху реализовано. Заходят в стойку два питания, от двух разных электрощитовых.

 

— От двух ИБП, имеется в виду?

— От двух ИБП и от двух электрощитовых.

 

— Они где – в шинопроводе или в кабеле?

— Они подводятся к распределительным щитам, которые тоже располагаются здесь.

 

— У вас даже названия такие, как принято: RPP называется, а не PDU, как их иногда называют. Я имею в виду, у вас даже грамотно, по американскому стандарту, называются щиты распределительные. Это кто проектировал?

— Сам дата-центр проектировали американские специалисты.

 

— Понятно.

— Здесь представлена специальная система, бесшовного ввода подключения любой стойки.

 

— Понятно. То есть, достаточно быстро можете сделать.

— Да. Не отключая общих потребителей, мы вставляем модули, можем подключить любую стойку. А вот эти вот шины сами под напряжением находятся.

 

— Вы не боитесь так рядом проводить рукой? Я бы испугался…

— Соблюдаем технику безопасности.

 

— Ясно. То есть, если от клиента приходит заявка, насколько быстро вы можете подключить стойку, к примеру, на 5 КВт?

— Мы можем подключить любую стойку по тем характеристикам, которые необходимы, в течение двух часов, включая подвод оптики и подключение электропитания.

 

— А оптика у вас уже разведена на стойки или пока нет?

— Да, в каждую стойку подводится оптика. То есть, мы можем скроссировать оптику с любым из операторов, которые находятся у нас в дата центре, а у нас находятся 17 операторов связи.

 

— Кстати, интересно было бы посмотреть. Посмотрим еще это решение?

— Да, конечно.

 

— Я так смотрю, у вас тут уже достаточно плотно. Есть куда еще разместить клиентов?

— Сейчас у нас заполнение процентов на 80, и число клиентов с каждым днем растет и растет.

 

— Пока мы идем в операторскую, расскажите, сколько кабельных вводов в здание у вас организовано?

— На данный момент организовано 17 вводов под 17 операторов связи. Из них 10 магистральных операторов и 7 местных.

 

— Ну, это хороший выбор для клиента: он может запросить как пассивную, так и активную коммутацию?

— Да, как пассивную, так и активную. Сейчас закрою дверь, потому что здесь срабатывает сигнализация, когда она открыта.

 

— Кстати, наглядный пример, что все реализовано грамотно, если человек, например, забыл закрыть, то он услышит звук.

— Таких комнат у нас две, они друг друга резервируют. Также у нас существует два независимых ввода в здание. По техусловиям, оператор, если он хочет размещаться у нас, обязуется завести минимум 12 волокон оптики с каждой стороны.

 

— То есть, 24 волокна от одного оператора он по любому должен сюда ввести, если хочет войти в площадку?

— Да. С разных узлов связи, абсолютно независимых.

 

— Жесткие у вас требования к операторам…

— Ну, у нас условия такие. Дальше – провести замыкание этих двух вводов в одной из стоек и расшить на patch-panel.

 

— Понятно. И у вас 17 операторов, то есть, если умножить на 24 волокна, сколько у вас получается в сумме?

 

— Много. На данный момент, как мы подсчитывали, у нас пропускная способность порядка двух терабит, ведь не каждый оператор заводит по 12 волокон. Допустим, здесь каждая полка расшита по 96 волокон. Полок здесь шесть.

 

— Кто оператор, наверное, секрет, но я чувствую, что это крупный оператор…

— Да, крупный.

 

— Соответственно, вы тоже обеспечиваете здесь микроклимат. Кстати, мы не поговорили, какую температуру вы поддерживаете в холодном коридоре и, соответственно, в машинном зале, а какую – в горячем.

— 21°C у нас уставка на холодный коридор и порядка 33-34°C — в горячем коридоре.

 

— Ну, где-то 12-13° разница в температуре.

— Система у нас автоматизирована, то есть мы уставляем уставку в холодном коридоре, дальше система сама рассчитывает и подает воздушный поток либо жидкость охлаждения на прецензионный блок.

 

— А все прецензионные блоки, которые установлены в машинном зале, объединены в один контур, или каждый работает независимо?

— Объединены.

 

— Сколько контуров в машинном зале?

— Контуров у нас два: один резервный, другой — основной.

 

— То есть, к прецензионному у вас еще два контура подводится?

— Да, существует резерв. И через каждый определенный промежуток расстояния находятся клапаны, которые автоматически закрываются в случае протекания холодоносителя.

 

— А по какой схеме рассчитаны прецензионные кондиционеры, как происходит резервирование?

— N + 1, так же и чиллеры. У нас сам дата-центр был построен по дизайну известного американского института UpTime и дизайн соответствует уровню TIER-III.

 

— А вы не хотели бы сертифицировать? Рассматриваете такую возможность?

— На данный момент мы уже подали все документы в Uptime-институт и в ближайшее время должны получить сертификат подтверждения уровня сертификации TIER-III по дизайну. В дальнейшем планируем получить уровень сертификации также TIER-III по эксплуатации. На данный момент ни один дата-центр в России не имеет уровня сертификации TIER-III по эксплуатации. Мы планируем на него заявиться.

 

— Ну, там бизнес-процессы потребуются, то есть, как у вас происходит работа? Вы уже получили от них какие-то документы, требования на эксплуатацию?

— Да, мы уже с ними обговаривали. В ближайшее время наши сотрудники будут обучаться в Uptime -институте, в США, по обслуживанию и эксплуатации дата-центров.

 

— Смотрю, у вас очень хорошие результаты и по IT-системам (облачным), и по инженерным системам. Это грамотный подход, когда еще и служба эксплуатации обучается, это очень хороший уровень. По системе газового пожаротушения: можно посмотреть, как и на чем она реализована? Это отдельное помещение?

— Да, есть отдельное помещение.

 

— Какой газ у вас используется?

— Используется хладон-23, который не имеет последствий при вдыхании газа человеком.

 

— То есть, если сейчас сработает система газового пожаротушения…

— Человек не отравится, но большое количество времени не сможет находиться, так как хладон вытесняет кислород.

 

— И тут надо понимать, что нужно покинуть помещения: я даже где-то видел табличку. Мы сейчас находимся на станции?

— Да.

 

— Она одна на весь ЦОД?

— Одна на два машинных зала. По станции на государственной и на коммерческой части.

 

— А Uptime-институт не требует две станции?

— Нет, по условиям достаточно одной. Помимо этого у нас в самом здании существуют небольшие серверные комнаты, в которых располагается активное сетевое оборудование.

 

— Клиентов?

— Нет, не клиентов. Мы предлагаем полностью готовое инфраструктурное решение для клиентов.

 

— А сам клиент располагает?

— Мы располагаем, это наше оборудование. Мы предоставляем ему на этих коммутаторах Интернет, телефонию любого оператора, IP-телефонию.

 

— На чем реализовываете IP телефонию?

— У нас вся сеть построена на оборудовании Cisco. Вот там как раз располагается по одному газовому баллону, отдельно рассчитанному.

 

— На серверную?

— Да, на серверную. Она небольшая: порядка 4 кв.м.

 

— То есть, уже своя отдельная система.

— Помимо этого у нас есть еще один вид газового пожаротушения, он располагается на втором этаже. Есть у нас комната telepresents. Если слышали, эта система позволяет достичь эффекта телеприсутствия для переговоров. Это три больших дисплея.

 

— А как в реальности – есть эффект присутствия или нет?

— Есть.

 

— На Cisco это решение?

— У нас Tandberg, но это тоже Cisco уже. Его можно у нас арендовать, то есть, к нам приходит много компаний, арендуют, связываются со своими партнерами в Москве, где это развито очень сильно, а также со своими коллегами в США, Европе. То есть, никуда не нужно выезжать, не нужно тратить деньги на билеты: можно сесть в комнату — и есть все условия. Вот там как раз газ используется вообще безвредный.

 

— А какой? Novec 1230?

— Какой-то очень специфический, сейчас не припомню.

 

— Novec 1230, может быть?

— Скорее всего.

 

— Потому что в России-то больше ничего и нет.

— Он не российский.

 

— Да, это компания 3M

— И он не вытесняет кислород.

 

— Структурированная кабельная система у вас как реализована?

— Из каждой операторской комнаты подводится по 200 пар оптического волокна в каждый машинный зал.

 

— Сейчас можно еще в машинный зал зайти и посмотреть?

— Конечно. То есть, из каждой операторской, из машинного зала все консолидируется на такие вот кроссовые шкафы. Здесь, в этом зале, у нас их два: один – с одной, второй – с другой стороны. Здесь плотность достаточно большая: в этот зал подходят 250 пар, а в малый зал – 160.

 

— Малый зал – это где государственный ЦОД, а здесь – коммерческий?

— Да, это коммерческий.

 

— А медь вы как-то прокидываете или только оптика?

— Медь мы прокидываем между операторскими комнатами и клиентами. У нас даже специальный лоток существует – самый верхний, сетчатый. Средний лоток рассчитан для оптики, нижний для электрической системы. Здесь соблюдены все правила – расстояние порядка 20 см.

 

— По крайней мере, больше 150 мм

— Помимо этого у нас также по безопасности каждый ряд просматривается камерами.

 

— Я смотрю, купольные камеры у вас. А клиент, если захочет, тоже может поставить? Здесь я где-то видел Yota, можно посмотреть на нее?

— Да, можно пройти к Yota.

 

— Это у вас Яндекс здесь размещается?

— Да, здесь точка обмена трафиком – Казанский филиал и московский: МSC-IX это KZN-IX. Здесь размещается также совместно с ними Яндекс. Все запросы из Республики Татарстан от операторов поступают на эти стойки.

 

— Ясно, хорошие клиенты вас выбрали.

— Вот тут как раз серверные стойки. Они выбрали услугу онлайн-наблюдения. Они не ставят свои камеры, но в каждом ряду располагается наша камера, и мы даем им IP-доступ. Доступ у нас бывает двух видов: первый – когда они пишут на свой сервер, располагаемый в стойке, и сами уже доставляют свой контент.

 

— Сами его разбирают

— И второй способ – когда мы даем зашифрованный канал в туннель для любой точки и вкладываем туда уже IP-трафик с камер.

 

— Понятно. Огромное вам спасибо, Альберт! Очень интересный рассказ, и действительно уникальный объект. Будем рады, если вы сообщите читателям, когда получите сертификат на TIER-III, и особенно, когда получите его на эксплуатацию. Желаю вам его получить, и мы будем рады опубликовать эту информацию на сайте.

Спасибо, что вы ничего не скрывали и очень подробно рассказали обо всем. Здесь есть что посмотреть и чему поучиться у Вас.

Поделиться информацией

Вы можете послать эту статью или новость коллеге или знакомому по email со своим комментарием, пригласить обсудить ее. Просто нажмите на иконку конверта --->