Инженерная инфраструктура центров обработки данных (ЦОД)

Коммуникационная среда современных центров обработки данных (ЦОД) создается на основе Ethernet сетей с многоуровневой иерархической структурой. Такое построение позволяет оптимально решать текущие и будущие задачи функционирования сетей в дата-центре, обеспечивает при необходимости удобное расширение сети.

     Иерархическая архитектура построения сети позволяет:

• изменять структуру и масштабировать отдельные сегменты, независимо  на каждом уровне;
• изменять и добавлять при необходимости новые уровни;
• минимизировать затраты, требуемые для локализации и устранения неисправностей;
• оперативно решать возникающие при перегрузке сети проблемы.

В Ethernet сетях ЦОД, основанных на классической архитектуре корпоративной локальной вычислительной сети (ЛВС), реализуется три уровня иерархии:

• ядра (Core Layer);
• распределения (Distribution Layer);
• доступа (Access Layer).

В общем случае сеть центра обработки данных строится аналогично корпоративной ЛВС, но в ней в качестве оконечных узлов на уровне доступа выступают серверы, вместо компьютеров, устанавливаемых на рабочих местах.

     Также имеется своя специфика и на других уровнях. Впрочем, в отдельных случаях трех уровневое построение бывает избыточным и слишком сложным. Порой используют  и двухуровневую архитектуру, а в простейших системах обходятся единственным коммутатором модульного типа. Но для оперативного обмена данными в крупных или разветвленных сетях необходима многоуровневая топология, позволяющая эффективно распределять высокоскоростные потоки данных разных форматов.

     Одна из основных ролей при этом отводится Ethernet коммутаторам. Аппаратная архитектура сети создается на основе управляемых коммутаторов и линий связи между ними. Обеспечить повышенную скорость передачи данных в сети помогает использование технологий Gigabit Ethernet или 10 Gigabit Ethernet. Рассмотрим все три уровня подробнее.

Уровень ядра в ЦОД

     Для связи между коммутаторами на уровне ядра используется кольцевая схема с резервированием на основе оптоволоконного кабеля, что позволяет обеспечить соответствующий уровень надежности tier выше 1-ого. Коммутаторы должны использовать скорости 10 Gigabit, чтобы обеспечивать высокую пропускную способность для передачи потоков данных между крупными узлами сети. Уровень ядра используется в сети для коммутации трафика с уровня распределения, а также для связи дата-центра с другими сегментами корпоративной сети. Для взаимодействия с уровнем распределения используются оптические порты XFP при скорости 10Gigabit. Используемые для уровня ядра коммутаторы обрабатывают пакеты от уровня L2 до уровня L4, имеют широкую полосу пропускания.

Уровень распределения в дата-центре

     Ethernet коммутаторы уровня распределения соединяются оптическим кабелем с оптоволокнами на основе кольцевой резервированной схемы. Данный уровень предназначен для передачи потоков данных между удаленными группами пользователей со скоростями до 10 Gigabit. Для связи коммутаторов этого уровня с  коммутаторами на уровне доступа используются оптические порты SFP со скоростью 1 Gigabit. Коммутаторы, используемые на уровне ядра, имеют широкую полосу пропускания, позволяют обрабатывать пакеты от уровня L2 до уровня L4, поддерживают протокол EISA для восстановления связи в случае разрыва оптического кольца.

Уровень доступа в сети ЦОД

     Уровень доступа сети ЦОД составляют серверы и коммутаторы для связи с уровнем распределения. Используются два типа коммутаторов. Имеющие лишь электрический интерфейс, и коммутаторы с дополнительными оптическими портами SFP, используемыми для объединения в кольцевую структуру на уровне доступа и связи с уровнем распределения. Коммутаторы второго типа подключаются к коммутаторам первого через электрический интерфейс Ethernet 1000Base-Tx. Передача данных между коммутаторами уровня доступа ведется со скоростью 1 Gigabit по оптоволоконному кабелю.

     Серверы оснащаются минимальным набором из двух интерфейсов Gigabit Ethernet и могут иметь дополнительные порты, используемые для соединения с системой хранения данных. Разнообразие интерфейсов несколько усложняет коммутационную инфраструктуру, но позволяет получить необходимый для конкретной сети вариант коммутации.

     Коммутаторы для уровня доступа делятся на два типа по конструктивному исполнению и размещению.  Производители часто используют эти конструктивные особенности для классификации своих продуктов. Коммутаторы типа EoR (англ. End-of-row) используют для подключения к нему серверов всего ряда стоек. Такие коммутаторы устанавливаются в конце ряда, имеют модульную структуру и оснащаются большим количеством гигабитных портов. Преимущества этой компоновки в наличии лишь одного устройства для управления, модульный коммутатор может обеспечить высокую пропускную способность. К недостаткам EoR компоновки относятся, большое количество длинных кабельных линий, которые увеличивают сложность системы и снижают ее надежность. Дополнительный объем кабелей занимает пространство и может затруднять охлаждение располагаемого в стойках оборудования, что снижает эффективность системы кондиционирования ЦОД.

     При подключении серверов каждой стойки к отдельному коммутатору, устанавливаемому наверху стойки, он называется ToR (англ. Top-of-Rack). В ToR-конфигурации коммутаторы располагают относительно незначительным количеством портов, что  упрощает кабельную систему. Но при этом в сети необходимо управлять работой сразу нескольких коммутаторов.

Соединение коммутаторов на основе виртуального шасси

     Существует и используется вариант компоновки совмещающий достоинства EoR и ToR конфигураций. При этом монтируемые вверху серверных стоек коммутаторы объединяются в виртуальный модульный коммутатор с помощью мощной стекирующей шины. Для системы управления такой виртуальный коммутатор является единым, что значительно упрощает управление.

     Метод объединения коммутаторов уровня доступа в стек используется компанией Nortel в технологии Switch Cluster. Объединенные в кольцо на основе гигабитной кольцевой шины до 8 коммутаторов типа ERS5600 60 имеют максимальную пропускную в способность — 120 Гбит/с.

     Подобное решение компании Juniper называется «виртуальное шасси» (Virtual Chassis, VC). Виртуальное шасси работает только с коммутаторами из серии EX4200. До 10 коммутаторов объединяются стекирующей кольцевой шиной через два 64-гигабитных VC-порта с пропускной возможностью 128 Гбит/с. Возможно объединение коммутаторов на основе Ethernet-каналов со скоростью до 40 Гбит/с. Виртуальное шасси управляется на основе принципа резервируемых коммутаторов  — master/backup.

     Компания Cisco для соединения стоечных коммутаторов предлагает технология StackWise и более прогрессивную на сегодня технологию с выносными модулями (fabric extenders). При этом используются лишь коммутаторы серии Nexuss, соединяемые по топологии звезды. К центральному коммутатору Nexus 5000 подключается несколько выносных модулей на основе Nexus 2000. Виртуальный коммутатор с 12 модулями обеспечивает до 576 интерфейсов типа Gigabit Ethernet.

     Есть и другие производители, которые также предлагают стоечные коммутаторы для соединения в виртуальное шасси.

Основные характеристики коммутаторов ЦОД

     При выборе оборудования следует обращать внимание на ряд параметров, определяющих производительность и возможности будущей сети. Используемые в составе дата-центра коммутаторы должны отвечать самым высоким требованиям по надежности и производительности. К оборудованию сетей ЦОД предъявляются также особые требования, необходимые для реализации серверной технологии виртуализации. Повышенная надежность сети достигается за счет использования высококачественных компонентов, резервирования основных блоков и модулей. В особенности это касается коммутаторов уровней ядра и распределения.

     Достичь повышенного уровня производительности помогает высокая плотность портов. Под плотностью портов подразумевают удельную пропускную способность в пересчете на один порт. Удельная плотность портов определяется количеством интерфейсных разъемов и пропускной способностью всех портов.

     Для связи с серверами используемые на уровне доступа коммутаторы имеют гигабитные интерфейсы. А для соединения с коммутаторами уровня распределения интерфейсы 10GE. Удельная плотность будет выше у коммутаторов имеющих большее количество 10 Gigabit Ethernet интерфейсов. Большее число таких портов имеют модульные коммутаторы.

     Использование оптических интерфейсов повышает производительность и экономичность коммутаторов.  Оптические кабели в сравнении с медными кабелями витая пара занимают значительно меньший объем в кабельных лотках, способствует лучшей вентиляции системы и более эффективному теплоотводу. Для коммутаторов современного ЦОД крайне необходимо наличие оптических интерфейсов (слотов XFP или SFP/SFP+).

Энергопотребление в ЦОД

     Немаловажными параметрами для коммутаторов являются энергопотребление и теплоотвод.  Можно заметить, что в сравнении с энергопотреблением входящих в состав сети серверов, потребляемая коммутаторами мощность незначительна. Но дополнительная мощность влияет на увеличение мощности источников бесперебойного питания и мощности системы охлаждения. При значительном количестве коммутаторов общая экономия может стать существенной.  Поэтому на потребляемую мощность коммутаторами нужно обратить вниманием при проектировании ЦОД.

Вентиляция и охлаждение в ЦОД коммутаторов

     Решение задачи вентиляции для охлаждения коммутаторов в составе оборудования дата-центра имеет определенные сложности. Мощные стоечные коммутаторы по своей конструкции и компоновке напоминают обслуживаемые ими серверы. Реализованная во многих моделях коммутаторов система боковой вентиляции зачастую создает много проблем из-за эффекта попадания горячего воздуха в зону подачи холодного воздуха, где происходит смешивание воздушных потоков и снижение эффективности охлаждения. Учитывая этот нюанс, многие производители используют стоечные коммутаторы с фронтальной системой вентиляции. Некоторые модели Ethernet коммутаторов предусматривают оба типа вентиляции выбираемые простой перестановкой блока вентиляторов перед установкой.

Заключение

     Имеющиеся в настоящее время на рынке Ethernet коммутаторы являются по большей части универсальными, т.е. одинаково успешно могут использоваться в корпоративных офисах и центрах в серверных помещениях, операторских  сетях, центрах обработки данных. Вместе с тем растущий спрос на создание дата-центров обусловленный желанием многих компаний минимизировать риски и защитить свой бизнес приводит к появлению на рынке коммутаторов специализированных решений для коммутации пакетов данных в сетях центров обработки данных.