Что делает ЦОДы безопасными и внутри, и снаружи
Каждый день мы пользуемся десятками онлайн-сервисов, предоставляя им все больше данных о себе. Наши контакты, фотографии, заметки, переписка или история заказов в интернет-магазинах — все эти данные должны где-то храниться. Обычно для этого используется физическая инфраструктура — серверы, даже если данные отправляются в «неведомое облако». Обеспечивать работу сервисов сложно и дорого, поэтому бизнес пользуется услугами дата-центров. Все про них слышали, но мало кто представляет, как они выглядят, что внутри них находится, кто и как их обслуживает. Вместе с компанией Selectel рассказываем, как устроены современные дата-центры, как они обеспечивают сохранность данных и что ждет этот бизнес в будущем.
Размеры современных дата-центров, или ЦОДов (центров обработки данных), вряд ли удивят тех, кто сталкивался с компьютерами на заре развития электронной индустрии. Первый программируемый ламповый компьютер «Эниак», разработанный в 1946 году, был 26 метров в длину и шесть метров в высоту. Весила эта машина 30 тонн. Упорядочить сотни километров кабелей в ней было едва ли проще, чем в современных центрах обработки данных Google или Amazon.
В течение следующих десятков лет компьютеры уменьшались и в 1970-х стали персональными. Вместо поочередного использования больших ЭВМ у сотрудников крупных компаний и институтов появились собственные компьютеры на рабочем столе. Чуть позже были созданы недорогие и простые в использовании модели IBM PC (1981 г.) и Commodore 64 (1982 г.), которые устанавливали дома. В 1983 году журнал Time назвал персональный компьютер «машиной года».
Создание компьютерных сетей, сначала локальных, а затем и глобальных — Internet и ее предшественницы ARPANET, потребовало изменений в сетевой архитектуре. Развитие клиент-серверной архитектуры на рубеже 80-х — 90-х годов привело к появлению первых серверных комнат, напоминающих современные дата-центры. Тогда же начали широко распространяться подешевевшие специальные компьютеры — серверы и сетевое оборудование.
С тех пор архитектура дата-центров сильно изменилась. Если вначале она подражала архитектуре локальных сетей, соответствующих клиент-серверной модели, со временем больше внимания начали уделять сетевым соединениям между серверами одного ЦОДа. В этой архитектуре, помимо клиент-серверного общения, серверы активно общаются и друг с другом.
На рубеже 2010-х годов стали отказываться от аппаратных систем хранения данных. Данные начали распределять по множеству обычных серверов, такой подход называется программно-определяемым хранилищем данных. Вместо единой физической системы хранения данных, которая не может с должной скоростью обрабатывать огромные пласты информации, ресурсы разных серверов объединяют в единое виртуальное хранилище. Такие хранилища можно масштабировать практически без ограничений — просто подключая новые серверы.
Как устроен современный дата-центр, рассмотрим на примере дата-центра «Берзарина» компании Selectel. Площадь машинного зала этого ЦОД составляет 2400 квадратных метров, здесь расположены 1010 серверных стоек. В серверной стойке умещаются десятки серверов. В отличие от домашних компьютеров серверы рассчитаны на круглосуточную эксплуатацию в условиях дата-центра, это заложено в выносливости их комплектующих. Вместе с системами электроснабжения, охлаждения, пожаротушения, мониторинга и сопутствующей техникой они потребляют 6,5 мегаватт электричества.
Стандартная поддерживаемая температура помещения — 24 градуса. В зависимости от конкретного дата-центра (у Selectel их шесть в трех регионах) компания использует для охлаждения фреоновые и чиллерные системы, установки АБХМ (абсорбционной холодильной машины на природном газу), а также фрикулинг — охлаждение внешним воздухом. Главное отличие между фреоновым и чиллерным охлаждением в том, что в чиллерной системе вместо фреона по трубам циркулирует незамерзающий гликолевый раствор, который не переходит в газообразное состояние.
Фреон поступает в серверные залы в жидком состоянии и охлаждает в них воздух. В процессе вещество нагревается и в газообразном виде направляется к конденсатору, где его температура снижается и фреон снова становится жидкостью. Конденсаторы устанавливают вне машинного зала, чтобы выводить тепло за пределы ЦОДа. В чиллерных системах охлаждение нагретого раствора происходит в чиллерах, которые также размещают за пределами серверных помещений. Так охлаждается и дата-центр «Берзарина». В дата-центре используется классическое расположение серверных шкафов, которое образует две климатические зоны внутри серверной комнаты. Два ряда стоек расположены передней частью друг к другу. Холодный воздух поступает из-под фальшпола, и серверы забирают его оттуда. Так образуется так называемый «холодный» коридор. С обратной стороны стойки выбрасывается воздух, который нагрелся в процессе охлаждения серверов. Это — «горячий» коридор. В нем находятся фанкойлы, которые забирают отработавший горячий воздух. Дежурный системный инженер получает информацию о температурах в серверной комнате каждые 30 секунд. Если температура повышается, раздается аварийный сигнал. Инженеры измеряют температуру оборудования бесконтактными инфракрасными пирометрами и сообщают клиенту о проблеме.
Но инфраструктура дата-центров касается не только внутреннего устройства, но и взаимодействия с внешним миром. Скорость обмена информацией между серверными стойками в пределах одного дата-центра достигает единиц и десятков терабит в секунду. Друг с другом же дата-центры способны общаться на скорости в сотни гигабит в секунду. Что где-то в тысячу раз быстрее, чем скорость подключения у вас дома.
Итак, сложная архитектура, размеры и поддержка отличают дата-центр от стандартной серверной комнаты на 10 стоек, для которой порой достаточно примитивного воздушного охлаждения и простой маршрутизации.
Одна из обязанностей провайдеров дата-центров — безотказная работа 24/7/365. Поэтому ЦОДы проектируются и обслуживаются так, чтобы им не грозили ни внеплановые отключения энергии, ни природные катаклизмы. На стабильность работы влияют и проектировка помещений, и квалификация людей, отвечающих за пожарную безопасность, электропитание, и мониторинг инфраструктуры вместе с ее своевременным обслуживанием.
ЦОДы подключены к городской или магистральной сети электроснабжения. Чтобы клиенты дата-центров не стали жертвой внеплановых отключений или мелких сбоев в электропитании, в схему электроэнергии обязательно входят источники бесперебойного электропитания и дизель-генераторы (ДГУ) мощностью до 2-х мегаватт каждый. Обычно они собраны в кластеры мощностью в десятки мегаватт и всегда готовы к быстрому запуску. Все системы жизнеобеспечения ЦОД резервируются: каждый элемент имеет от одного до нескольких дублей. Это сделано как для предотвращения отключения дата-центра при поломке одной из них, так и для возможности планового обслуживания систем ЦОД без последствий для оборудования. Если город внезапно обесточится, источники бесперебойного питания будут обеспечивать ЦОД электричеством в течение времени, достаточного для запуска ДГУ. Для использования генераторов хранится запас топлива, которого хватает на 10-48 часов работы в зависимости от конкретного дата-центра. При необходимости более длительной работы ДГУ дозаправляются. Дата-центр, даже лишенный основного источника электропитания, может функционировать неограниченно долго, пока ликвидируются причины отключения электричества.
В качестве дополнительной меры повышения безопасности ЦОДы рекомендуют крупным клиентам распределять свою инфраструктуру географически — арендовать серверы в разных регионах. Это позволяет сохранить работоспособность сервиса, даже если один из ЦОДов будет физически уничтожен. Такая судьба, впрочем, дата-центры настигает редко — в сейсмоопасных зонах их обычно не строят, а от сгорания их спасают эффективные, как правило, автоматизированные системы пожаротушения.
Большая часть систем пожаротушения направлена на снижение содержания кислорода в горящих помещениях. Есть методы тушения мелкодисперсной водой, которую также называют «водяным туманом», но сейчас это редкая и дорогая технология — во всем мире лишь один поставщик такого решения. Также распространены методы тушения аэрозолем и порошком. При попадании на раскаленную поверхность они образуют пенный слой, который препятствует проникновению кислорода и развитию пожара. Но такие способы пагубны для незащищенного оборудования: они окисляют металл и выводят серверы из строя, даже если они не охвачены огнем. Еще для устранения пожаров используют тушение газом Хладон-125, который поглощает кислород и тем самым останавливает пожар.
10 марта 2020 года в Страсбурге полностью сгорел дата-центр крупнейшего европейского хостинг-провайдера OVH. Причиной аварии считают плохое обслуживание источника бесперебойного питания. Кроме того, были выявлены проблемы и в конструкции дата-центра. В сгоревшем ЦОДе нагретый воздух со всех этажей поднимался вверх по башне в центре здания. Такая архитектура помогала экономить электричество, но, попав внутрь башни, пламя быстро охватило все помещения. Огонь в ЦОДе площадью 500м2привел к «падению» миллионов сайтов, среди которых большинство относилось к домену .fr. Для провайдера такого уровня потеря помещения и оборудования не столь критична. Но с репутационным уроном им предстоит справляться еще долго.
В этом же году горел дата-центр Ogden американской компании WebNX. Причиной возгорания стал генератор. После прекращения электроснабжения городом были запущены генераторы, поломка одного из которых и привела к пожару. Прибывшие пожарные тушили возгорание водой, что привело к поломке даже уцелевшего в огне оборудования. Тем не менее последствия оказались не такими серьезными, как в Страсбурге.
В 2018 году крупный британский банк TSB переносил записи клиентов на новую инфраструктуру. При этом были проверены все дата-центры, кроме одного. Случилось то же самое, что и со студентом, который выучил почти все билеты. В этом ЦОДе произошел сбой, из-за которого миллионы клиентов на время потеряли доступ к своим учетным записям, а некоторые получили доступ к чужим счетам. На устранение последствий банку пришлось потратить около 500 млн долларов.
Опасность может подстерегать и за пределами ЦОДа, ведь он соединен с операторами связи оптоволокном, которое может как деградировать, так и испортиться из-за случайного разрыва или действий злоумышленников. Проверка целостности всех волокон проводится круглосуточно каждые 15 секунд. В случае обнаружения неполадок инженеры немедленно получают информацию о типе дефекта, времени обнаружения и местоположении аварии с точностью до нескольких метров. После этого авария на линии устраняется за 8-10 часов.
Что касается кибератак, то дата-центры предлагают услуги бэкапа данных, чтобы помочь клиенту восстановить ПО в случае нештатной ситуации. При этом большое внимание уделяется тому, чтобы избежать несанкционированного доступа, — уровни доступа к железу и ПО строго разграничены, а физическую защиту обеспечивают десятки камер и цифровых замков, а также вооруженная охрана. В совокупности это называется СКУД - системы контроля и управления доступом. В наши дни с кибератаками помогает бороться даже машинное обучение — если поведение клиента сильно отличается от обычного, алгоритм сообщит об этом сотрудникам. И они смогут проверить, столкнулся ли ЦОД с хакерской атакой. Персональные данные хранятся в ЦОДе с учетом требований 152-ФЗ «О защите персональных данных», в котором прописаны требования к защите и шифрованию личной информации. Среди них обязательная аутентификация при обработке персональных данных, установка серверов в защищенных помещениях и использование допущенных антивирусных программ. Для того, чтобы сетевой сервис не лег от наплыва запросов, так называемых DDoS-атак, дата-центры предоставляют услуги фильтрации трафика. Таким образом, если слои защиты увидят в запросах намек на DDoS, такой трафик просто не дойдет до IP-адресов клиента.
Крупные операторы дата-центров предлагают большой спектр услуг для разных потребностей бизнеса. Самая базовая — colocation, размещение оборудования клиента в защищенных со всех стороны стенах ЦОД. Помимо этой услуги, есть те, что можно поделить на три уровня:
Долгое время услугами дата-центров пользовались представители крупного и среднего бизнеса. Но в условиях цифровизации вычислительные мощности нужны и небольшим компаниям, в том числе стартапам, — они арендуют выделенные и облачные серверы, приобретают SaaS-продукты. Получают все большую популярность PaaS-решения, где обслуживанием инфраструктуры занимается провайдер. Рынок дата-центров растет и представлен несколькими крупными поставщиками услуг ЦОД. Выбирая между ними, бизнесу не приходится переживать о безотказной работе сервисов.
Может показаться, что рынок ЦОД очень устоявшийся и особых новшеств ждать не стоит. Однако, возможно, к большим изменениям приведет широкое распространение, серверов, использующих процессоры с архитектурой ARM. Они потребляют меньше энергии и менее склонны к перегреву. Это позволит сэкономить на электроэнергии и охладительном оборудовании. К примеру, немногим менее половины новых серверов Amazon составляют серверы на процессорах с архитектурой ARM. Это дает надежду на удешевление услуг дата-центров, построенных на новых технологиях.
Как показывает финансовая статистика, доход поставщиков услуг ЦОДов в 2020-ом году вырос на четверть по сравнению с 2019-ым годом. А значит, компании будут заинтересованы в инвестициях в новые дата-центры и в новые серверные технологии.
Богдан Сиротич