Появились новые детали о прошлогоднем пожаре в дата-центре OVHcloud в Страсбурге. Из доклада, подготовленного французским Бюро по расследованию и анализу промышленных рисков (Le bureau d’enquêtes et d’analyses sur les risques industriels, BEA-RI), стало известно, что за час до инцидента в зале электропитания, откуда позднее и распространился огонь, возле одного из инверторов были зафиксированы высокие показатели влажности.
Точку в вопросе о причинах случившегося должно поставить руководство OVHcloud, которое обещало представить соответствующий отчет в 2022 году, но к середине июня все еще его не опубликовало. Задержку в компании объясняют юридическими моментами и ″вовлеченностью в вопрос французских властей и страховщиков″.
Поскольку официальных разъяснений нет, специалисты BEA-RI заявили, что пока не станут делать собственных заключений о причинах пожара. Они пояснили, что целью расследования было извлечь уроки из произошедшего и повысить безопасность подобных объектов. В рамках подготовки отчета инспекторы побывали в дата-центре OVH 11 марта 2021 года, то есть на следующий день после пожара. Помимо интервью во время этого визита были проведены беседы с сотрудниками OVH, поставщиком ИБП для дата-центров облачного провайдера, одним из судебных экспертов и представителями Strasbourg Electricité Réseaux, компании-дистрибьютора электроэнергии в Страсбурге.
В итоге получился 43-страничный доклад на французском языке, выдержки из которого в переводе на английский публикуют Data Centre Dynamic (DCD) и The Register. Он во многом повторяет неутешительные выводы из более раннего отчета от пожарной службы департамента Нижний Рейн (Les sapeurs-pompiers du Bas-Rhin), тушившей дата-центр OVH. Кроме того, в документе BEA-RI содержатся кадры с камер наблюдения в момент начала пожара, планы объекта OVH, и приводится подробная хронология событий в ночь на 10 марта, когда все и произошло.
Огонь вспыхнул на первом этаже дата-центра SBG2 в двух помещениях, где находились батареи и источники бесперебойного питания, необходимые для работы серверов. После того, как в 00:35 сработала пожарная сигнализация, охранники заметили густой черный дым, поступавший из одного из помещений зала электропитания. В соответствии с порядком реагирования, сотрудники связались с пожарно-спасательной службой и провели эвакуацию к 00:42.
Первые пожарные прибыли на место в 00:59, но по целому ряду обстоятельств не смогли предотвратить распространение огня на остальную часть SBG2 и соседнее здание. Полностью взять пожар под контроль удалось только к 06:45 утра, а окончательно огонь потушили в 10:02. Пожарные покинули место происшествия еще через восемь часов, в 18:13 вечера.
«Хотя пожар обошелся без человеческих жертв, он нанес значительный материальный и финансовый ущерб, полностью разрушив здание SBG2 и частично — SBG1. Сервисы OVH, работу которых обеспечивал страсбургский дата-центр, были прерваны для значительной части клиентов компании. По данным из открытых источников, во время происшествия были недоступны около 3,6 млн сайтов, связанных с 464 тыс. доменных имен… Группа экспертов, назначенная Страсбургским судом, отвечает за оценку общего ущерба, причиненного пожаром, и выводы комиссии на данный момент неизвестны. Однако, исходя из опыта, можно предварительно подсчитать, что прямые убытки OVH измеряются миллионами евро только за компонент недвижимости, без учета технического или коммерческого ущерба, нанесенного клиентам компании», — говорится в докладе о масштабах случившегося.
Как и пожарные департамента Нижний Рейн, инспекторы BEA-RI перечислили несколько факторов, которые способствовали распространению пожара и тяжести его последствий. Среди них — конструктивные особенности зданий и системы вентиляции дата-центров OVH, отсутствие на объекте автоматической системы пожаротушения, длительное время, которое потребовалось для полного отключения ЦОД от электроснабжения из-за отсутствия общего рубильника отключения питания.
Ситуацию также усугубило отсутствие у оператора собственных средств тушения — у OVH не оказалось ни собственного запаса воды, ни насосов для перекачки воды из Рейнского канала (фр. canal du Rhône au Rhin). К тому же, возможности местной сети пожаротушения были ограничены: доступный спасателям пожарный гидрант имел недостаточную производительность — менее 60 м3/ч. С учетом быстрого и неблагоприятного развития инцидента пришлось запросить поддержку пожарного судна EUROPA, которое прибыло на место в 3:00 утра и сыграло решающую роль в ликвидации возгорания, сказано в документе BEA-RI.
Непосредственно перед пожаром дата-центр OVH работал в штатном режиме, а его электрооборудование регулярно проходило техническое обслуживание. Инспекторы выяснили, что в дни, предшествовавшие инциденту, одному из инверторов во втором помещении зала электропитания потребовалось ТО из-за повторяющихся проблем с переключением в режим байпаса ″по необъяснимым причинам″.
В ночь на 10 марта, около 23:15, а затем в 00:30, датчики на инверторе показали аномальный уровень влажности. Пятью минутами позднее камеры видеонаблюдения запечатлели вспышки в двух помещениях, где и разгорелся пожар.
Кадры записи с камер видеонаблюдения в момент начала пожара
«Система видеонаблюдения и данные с панели пожарной сигнализации объекта показывают, что замыкание произошло на уровне ИБП2 и на уровне подключенных к нему батарей. ИБП и связанные с ним батареи не находились в одном помещении», — цитирует текст доклада The Register.
«Присутствие жидкости или влаги в электрическом устройстве способно вызвать внутреннее короткое замыкание и привести к наблюдаемой неисправности. Однако сами по себе эти факторы не определяют причину произошедшего сбоя», — заявили инспекторы. Они добавили, что не смогли установить, были ли зарегистрированные аномальные значения ошибкой измерения или пиком влажности, связанным, например, с присутствием жидкости.
«На данном этапе невозможно определить причину отказа на уровне ИБП, который можно было бы объяснить различными гипотезами (наличие жидкости или влаги из-за рядом расположенной системы охлаждения, неисправность, связанная с проведенным утром того же дня ТО, работа инвертора за пределами нормального рабочего диапазона и.т.д.)» - сообщили авторы доклада.
Однако в BEA-RI отметили, что проводимая в настоящее время судебная экспертиза должна позволить получить информацию о происхождении пожара. Инспекторы оставили за собой право позднее дополнить настоящий отчет в соответствии с выводами пока незавершенных экспертиз.
Эти и другие заключения, по всей видимости, повлияют на коллективный иск к OVHcloud, в котором пострадавшие клиенты с помощью юристов Ziegler & Associés рассчитывают добиться более справедливой компенсации за потерянные в пожаре данные. В конце мая представители юрфирмы сообщили, что начали отправлять официальные уведомления руководству OVHcloud об имеющихся к компании претензиях. В разбирательстве намерены участвовать 140 истцов, общий ущерб которых оценивается более чем в 10 млн евро.
