В дата-центрах OVHcloud, где все еще продолжаются восстановительные работы, снова побывали пожарные. Об очередном происшествии, которое, к счастью, обошлось без последствий, на своей странице в Twitter рассказал основатель и глава компании Октав Клаба (Octave Klaba). К слову, инцидент произошел 1 апреля. Если бы не крупный пожар, который ночью 10 марта полностью уничтожил один из дата-центров компании, можно было бы предположить чью-то неудачную шутку.
По данным портала Data Centre Dynamics, тревогу подняли охранники, которые в 6 утра совершали штатный обход дата-центра SBG3 и почувствовали в воздухе какой-то подозрительный запах. Источником оказалась система бесперебойного питания UPS11T3. Ее немедленно обесточили и вызвали пожарных.
Прибывшие на место огнеборцы не обнаружили ни задымления, ни возгорания. После осмотра и замеров температуры, которые тоже ничего не показали, бригада уехала. Правда, Октав Клаба сообщил, что спереди на вызвавшей подозрения UPS был обнаружен ″небольшой сгоревший фильтр″.
″Не стану делать никаких скоропалительных выводов. На предоставлении услуг инцидент не отразился″, - написал Клаба, а чуть позже добавил, что созвонился с поставщиком и попросил его проверить UPS.
В последний месяц пожарные стали частыми гостями OVH. Так, 20 марта они приезжали по поводу повторного задымления в аккумуляторной дата-центра SBG1, где находились неиспользуемые батареи. После инцидента было объявлено об отмене плана перезапуска SBG1 и переносе его серверов в другие дата-центры.
Хотя неисправность в системе бесперебойного питания с самого начала была названа наиболее вероятной причиной возгорания у OVH, окончательные выводы по этому поводу все еще не озвучены. Компания передала оборудование из сгоревшего дата-центра SBG2 на изучение полиции и страховым экспертам, а Октав Клаба пообещал рассказать о результатах расследования в ближайшие недели.
Пожары в дата-центрах нечасто, но все же бывают. Организация Uptime Institute, которая специализируется на разработке инструментов для оценки уровня надежности инфраструктуры ЦОД, располагает информацией о 25 подобных случаях, произошедших за многие годы. В большинстве своем эти возгорания были оперативно локализованы и устранены. Масштабные пожары с выходом огня из-под контроля, как у OVHcloud, в крупных дата-центрах происходят крайне редко, поскольку на таких объектах обычно соблюдаются строгие протоколы противопожарной профилактики и предотвращения распространения огня.
Что же пошло не так у OVHcloud и можно ли было предотвратить катастрофу в ее страсбургском ЦОД? Конечно, точно на этот вопрос можно будет ответить только после завершения всестороннего расследования, но основатель и исполнительный директор Uptime Institute Энди Лоуренс (Andy Lawrence) решил суммировать имеющуюся на данный момент информацию.
Наряду с неисправностью в системе бесперебойного питания, огонь мог вспыхнуть и по другим причинам. Ранее компания сообщила, что накануне днем как минимум в одной из систем UPS в дата-центре SBG2 проводилось техобслуживание, а значит, нельзя исключать, что к пожару привели проблемы, возникшие в результате этих работ.
Хотя так делать не рекомендуется, в некоторых случаях аккумуляторные шкафы (используемые с клапанно-регулируемыми свинцово-кислотными батареями VRLA) размещают рядом с UPS. Имело ли место подобное в SBG2, пока неизвестно, но если так, то от вспыхнувшего в UPS огня могли загореться аккумуляторы, что привело к стремительному распространению пожара.
Дата-центр SBG2 был построен в 2011 году, и в его конструкции башенного типа (tower design) используется ″автоматическая вентиляция″ на основе конвекционного охлаждения. Поступающий охлажденный воздух проходит через теплообменник в систему прямого жидкостного охлаждения, а нагретый воздух поднимается по башне в центре здания.
У OVHcloud есть еще четыре дата-центра, построенных по тому же принципу. В компании заявляют, что такая конструкция обеспечивает экологическую безопасность и энергетическую эффективность ЦОД. Однако после пожара стали высказываться опасения, что конструкция работает, как дымоход. В случае возникновения пожара вентиляционные отверстия, пропускающие воздух снаружи, должны немедленно перекрываться. О недочетах дизайна SBG2 говорит и то, что соседний, более современный дата-центр SBG3 с обновленной конструкцией пострадал в меньшей степени.
По некоторым сообщениям, дата-центр SBG2 не был оснащен ни системой сверхраннего обнаружения пожара (very early smoke detection apparatus, VESDA), ни установкой газового или водяного пожаротушения. Вместо этого персонал ЦОД полагался на датчики дыма и огнетушители. Неизвестно, насколько достоверна эта информация. Большинство центров обработки данных оборудованы системами VESDA и установками пожаротушения. На других объектах OVHcloud они также присутствуют.
Основатель Uptime Institute воздержался от каких-либо выводов и подчеркнул, что только тщательный анализ первопричин покажет, что именно произошло и можно ли было предотвратить пожар у OVH.
