Инженерная инфраструктура центров обработки данных (ЦОД)

Облачная система Amazon EC2 перенесла свое очередной внеплановое отключение электричества в течение мая месяца. Некоторые клиенты в Восточной части США не имели доступа к облаку Amazon EC2 и не обслуживались в течение приблизительно часа. Инцидент был вызван тем, что транспортное средство врезалось в линейную опору, расположенную около одного из дата-центров компании, и АВР, который должен был управлять переключением на генераторы электрической мощности, не сработал.

В службе поддержки клиентов Amazon сообщил, что «небольшое количество пользователей EC2 потеряло обслуживание. Данный инцидент затронул другие зоны обслуживания отличные от тех, которые были подвержены сбоям при отключении электричества три раза в начале мая». Amazon EC2 испытал отключения электрической мощности — 4 мая и в субботу 8 мая. В каждом случае группа пользователей потеряла обслуживание только в одной зоне, в то время как большинство пользователей EC2 продолжали работать и получать услуги.

Последовательность событий напомнила об инциденте, произошедшем в 2007 году, когда грузовик въехал в линейную опору около центра обработки данных Rackspace в Далласе, выбив из работы трансформатор. Отключение электричества привело к увеличению температуры в дата-центре, из-за того, что чиллеры пытались  несколько раз запуститься.

«Событие вторника было вызвано, когда транспортное средство врезалось в линейную опору на дороге около одного из наших дата-центров. В результате напряжение попало на землю и подаваемая мощность резко упала», - сообщили в Amazon в его Service Health Dashboard. «Большая часть устройств без проблем переключилась на резервную мощность генератора.»

В Амазоне сообщили: «АВР, который не сработал, был получен от производителя с отличающимися настройками от других выключателей. Это и привело к тому, что он не сработал. Мы уже сделали изменения в настройках АВР и выполнили полную ревизию остальных переключателей. Теперь мы гарантируем, что ни у каких других АВР  в наших дата-центрах нет неправильных настроек».