Данные не горят

Каждый день мы пользуемся десятками онлайн-сервисов, предоставляя им все больше данных о себе. Наши контакты, фотографии, заметки, переписка или история заказов в интернет-магазинах — все эти данные должны где-то храниться. Обычно для этого используется физическая инфраструктура — серверы, даже если данные отправляются в «неведомое облако». Обеспечивать работу сервисов сложно и дорого, поэтому бизнес пользуется услугами дата-центров. Все про них слышали, но мало кто представляет, как они выглядят, что внутри них находится, кто и как их обслуживает. Вместе с компанией Selectel рассказываем, как устроены современные дата-центры, как они обеспечивают сохранность данных и что ждет этот бизнес в будущем.

Когда компьютеры были большими

Размеры современных дата-центров, или ЦОДов (центров обработки данных), вряд ли удивят тех, кто сталкивался с компьютерами на заре развития электронной индустрии. Первый программируемый ламповый компьютер «Эниак», разработанный в 1946 году, был 26 метров в длину и шесть метров в высоту. Весила эта машина 30 тонн. Упорядочить сотни километров кабелей в ней было едва ли проще, чем в современных центрах обработки данных Google или Amazon.

В течение следующих десятков лет компьютеры уменьшались и в 1970-х стали персональными. Вместо поочередного использования больших ЭВМ у сотрудников крупных компаний и институтов появились собственные компьютеры на рабочем столе. Чуть позже были созданы недорогие и простые в использовании модели IBM PC (1981 г.) и Commodore 64 (1982 г.), которые устанавливали дома. В 1983 году журнал Time назвал персональный компьютер «машиной года».

Как появились первые дата-центры

Создание компьютерных сетей, сначала локальных, а затем и глобальных — Internet и ее предшественницы ARPANET, потребовало изменений в сетевой архитектуре. Развитие клиент-серверной архитектуры на рубеже 80-х — 90-х годов привело к появлению первых серверных комнат, напоминающих современные дата-центры. Тогда же начали широко распространяться подешевевшие специальные компьютеры — серверы и сетевое оборудование.

С тех пор архитектура дата-центров сильно изменилась. Если вначале она подражала архитектуре локальных сетей, соответствующих клиент-серверной модели, со временем больше внимания начали уделять сетевым соединениям между серверами одного ЦОДа. В этой архитектуре, помимо клиент-серверного общения, серверы активно общаются и друг с другом.

На рубеже 2010-х годов стали отказываться от аппаратных систем хранения данных. Данные начали распределять по множеству обычных серверов, такой подход называется программно-определяемым хранилищем данных. Вместо единой физической системы хранения данных, которая не может с должной скоростью обрабатывать огромные пласты информации, ресурсы разных серверов объединяют в единое виртуальное хранилище. Такие хранилища можно масштабировать практически без ограничений — просто подключая новые серверы.

Как устроены современные ЦОДы

Но инфраструктура дата-центров касается не только внутреннего устройства, но и взаимодействия с внешним миром. Скорость обмена информацией между серверными стойками в пределах одного дата-центра достигает единиц и десятков терабит в секунду. Друг с другом же дата-центры способны общаться на скорости в сотни гигабит в секунду. Что где-то в тысячу раз быстрее, чем скорость подключения у вас дома.

Итак, сложная архитектура, размеры и поддержка отличают дата-центр от стандартной серверной комнаты на 10 стоек, для которой порой достаточно примитивного воздушного охлаждения и простой маршрутизации.

Как ЦОДы защищены

Одна из обязанностей провайдеров дата-центров — безотказная работа 24/7/365. Поэтому ЦОДы проектируются и обслуживаются так, чтобы им не грозили ни внеплановые отключения энергии, ни природные катаклизмы. На стабильность работы влияют и проектировка помещений, и квалификация людей, отвечающих за пожарную безопасность, электропитание, и мониторинг инфраструктуры вместе с ее своевременным обслуживанием.

ЦОДы подключены к городской или магистральной сети электроснабжения. Чтобы клиенты дата-центров не стали жертвой внеплановых отключений или мелких сбоев в электропитании, в схему электроэнергии обязательно входят источники бесперебойного электропитания и дизель-генераторы (ДГУ) мощностью до 2-х мегаватт каждый. Обычно они собраны в кластеры мощностью в десятки мегаватт и всегда готовы к быстрому запуску. Все системы жизнеобеспечения ЦОД резервируются: каждый элемент имеет от одного до нескольких дублей. Это сделано как для предотвращения отключения дата-центра при поломке одной из них, так и для возможности планового обслуживания систем ЦОД без последствий для оборудования. Если город внезапно обесточится, источники бесперебойного питания будут обеспечивать ЦОД электричеством в течение времени, достаточного для запуска ДГУ. Для использования генераторов хранится запас топлива, которого хватает на 10-48 часов работы в зависимости от конкретного дата-центра. При необходимости более длительной работы ДГУ дозаправляются. Дата-центр, даже лишенный основного источника электропитания, может функционировать неограниченно долго, пока ликвидируются причины отключения электричества.

В качестве дополнительной меры повышения безопасности ЦОДы рекомендуют крупным клиентам распределять свою инфраструктуру географически — арендовать серверы в разных регионах. Это позволяет сохранить работоспособность сервиса, даже если один из ЦОДов будет физически уничтожен. Такая судьба, впрочем, дата-центры настигает редко — в сейсмоопасных зонах их обычно не строят, а от сгорания их спасают эффективные, как правило, автоматизированные системы пожаротушения.

Большая часть систем пожаротушения направлена на снижение содержания кислорода в горящих помещениях. Есть методы тушения мелкодисперсной водой, которую также называют «водяным туманом», но сейчас это редкая и дорогая технология — во всем мире лишь один поставщик такого решения. Также распространены методы тушения аэрозолем и порошком. При попадании на раскаленную поверхность они образуют пенный слой, который препятствует проникновению кислорода и развитию пожара. Но такие способы пагубны для незащищенного оборудования: они окисляют металл и выводят серверы из строя, даже если они не охвачены огнем. Еще для устранения пожаров используют тушение газом Хладон-125, который поглощает кислород и тем самым останавливает пожар.

Почему защита не всегда спасает

Опасность может подстерегать и за пределами ЦОДа, ведь он соединен с операторами связи оптоволокном, которое может как деградировать, так и испортиться из-за случайного разрыва или действий злоумышленников. Проверка целостности всех волокон проводится круглосуточно каждые 15 секунд. В случае обнаружения неполадок инженеры немедленно получают информацию о типе дефекта, времени обнаружения и местоположении аварии с точностью до нескольких метров. После этого авария на линии устраняется за 8-10 часов.

На страже конфиденциальности

Что касается кибератак, то дата-центры предлагают услуги бэкапа данных, чтобы помочь клиенту восстановить ПО в случае нештатной ситуации. При этом большое внимание уделяется тому, чтобы избежать несанкционированного доступа, — уровни доступа к железу и ПО строго разграничены, а физическую защиту обеспечивают десятки камер и цифровых замков, а также вооруженная охрана. В совокупности это называется СКУД - системы контроля и управления доступом. В наши дни с кибератаками помогает бороться даже машинное обучение — если поведение клиента сильно отличается от обычного, алгоритм сообщит об этом сотрудникам. И они смогут проверить, столкнулся ли ЦОД с хакерской атакой. Персональные данные хранятся в ЦОДе с учетом требований 152-ФЗ «О защите персональных данных», в котором прописаны требования к защите и шифрованию личной информации. Среди них обязательная аутентификация при обработке персональных данных, установка серверов в защищенных помещениях и использование допущенных антивирусных программ. Для того, чтобы сетевой сервис не лег от наплыва запросов, так называемых DDoS-атак, дата-центры предоставляют услуги фильтрации трафика. Таким образом, если слои защиты увидят в запросах намек на DDoS, такой трафик просто не дойдет до IP-адресов клиента.

Услуги дата-центров

Долгое время услугами дата-центров пользовались представители крупного и среднего бизнеса. Но в условиях цифровизации вычислительные мощности нужны и небольшим компаниям, в том числе стартапам, — они арендуют выделенные и облачные серверы, приобретают SaaS-продукты. Получают все большую популярность PaaS-решения, где обслуживанием инфраструктуры занимается провайдер. Рынок дата-центров растет и представлен несколькими крупными поставщиками услуг ЦОД. Выбирая между ними, бизнесу не приходится переживать о безотказной работе сервисов.

Может показаться, что рынок ЦОД очень устоявшийся и особых новшеств ждать не стоит. Однако, возможно, к большим изменениям приведет широкое распространение, серверов, использующих процессоры с архитектурой ARM. Они потребляют меньше энергии и менее склонны к перегреву. Это позволит сэкономить на электроэнергии и охладительном оборудовании. К примеру, немногим менее половины новых серверов Amazon составляют серверы на процессорах с архитектурой ARM. Это дает надежду на удешевление услуг дата-центров, построенных на новых технологиях.

Как показывает финансовая статистика, доход поставщиков услуг ЦОДов в 2020-ом году вырос на четверть по сравнению с 2019-ым годом. А значит, компании будут заинтересованы в инвестициях в новые дата-центры и в новые серверные технологии.

Богдан Сиротич