Инженерная инфраструктура центров обработки данных (ЦОД)

Сказать по правде, «большие данные» — концепция не новая и не сложная. Она возникла во времена использования мэйнфреймов. Но новое в этом понятии — сам термин, уже вошедший в активное употребление стараниями многих представителей бизнес-сообщества. Значительную часть своей истории «большие данные» были недоступны для среднего и малого бизнеса (СМБ), так как системы хранения и мощности для обработки информации, обеспечивающие оптимальную работу этой технологии, слишком дороги.

Концепция облака в корне меняет эту ситуацию, предоставляя компоненты для «больших данных» обширному кругу заказчиков в форме удаленных решений. Новые возможности сетевых инфраструктур развиваются быстрыми темпами, что даже самым маленьким организациям дает шанс воспользоваться преимуществами «больших данных», не вкладывая значительные средства в традиционные для таких случаев вычислительные фермы и многочисленные массивы хранения.

Аналитика «больших данных» характеризуется тремя основными элементами: объемами неструктурированных данных, вычислительной мощностью и алгоритмами. Естественно, наибольшей трудностью для СМБ-предприятий являются сами данные, то есть способы их поиска, хранения и доступа к ним.

Чтобы данные были действительно «большими», их должно быть много, а организации из сегмента СМБ, как правило, не могут сами производить их в таких объемах. Следовательно, приходится искать альтернативные источники данных вне предприятия. И тут в игру вступает облако.

Существует несколько крупных публичных банков данных, которые доступны всем и содержат различные типы информации, — это, например, Бюро переписи США, Всемирный банк, а также общие публичные данные в Google. Дополнительные данные можно получить у некоторых правительственных агентств, таких как Data.gov, а веб-сайты, подобные Crunchbase.com, Kasabi.com, Freebase.com, Infochimps.com и Kaggle.com, охватывают все данные от веб-трафика до социальных сетей. Подобные ресурсы предлагают доступ к данным различного типа, которые впоследствии можно использовать в аналитике.

Экспоненциальный рост этих и других массивов данных будет продолжаться на протяжении всего 2012 г. Как утверждает аналитическое агентство по исследованию данных McKinsey Global Institute, объемы данных, генерируемых по всему миру, каждый год увеличиваются на 40%.

Но сами данные — это всего лишь часть уравнения. Вся имеющаяся информация должна быть организована, отсортирована и обработана, а для этого требуются значительные вычислительные мощности.

Стоит ещё раз отметить, что облачные сервисы могут предоставить такие возможности. Хорошим примером подобных сервисов является Cluster Compute фирмы Amazon — суперкомпьютер, основанный на облачных технологиях.

Amazon — не единственный сильный игрок. Такие корпорации, как IBM и Hewlett-Packard, предлагают частные облачные платформы для аналитики «больших данных». Однако эта технология представляет собой целостную платформу, а не сервис и, значит, не подходит для предприятий СМБ.

Заполнить образовавшееся пространство стремятся и другие компании, предлагая по запросу решения для аналитики, которые способны обрабатывать «большие данные» и обеспечивать результаты быстро и недорого. Например, фирма Aster Data по запросу предоставляет аналитическую облачную платформу, а также ряд соответствующих программных продуктов и устройств. Перенести аналитику данных в облако намерена и компания 1010Data, которая разработала полностью располагающуюся в облаке платформу для аналитики «больших данных».

А фирма Splunk, известная как производитель программного обеспечения для анализа больших объемов данных, работает над созданием Splunk Storm — платформы для анализа данных, которая позволит разработчикам облачных технологий строить многопользовательские решения. При таком подходе высокая стоимость аналитики «больших данных» распределяется между многими клиентами, что обеспечивает масштабную экономию, которая с течением времени сделает подобные решения более доступными.