1. Статьи
Заметки пользователей
03.12.2018 08:30
PDF
6195
3

“Миран-2”: IT в контейнере

Во время своих недавних поездок по крупным межоператорским точкам в Санкт-Петербурге услышал от одного из представителей местного телекома фразу: "А что в этих дата-центрах смотреть? Они все одинаковы". Сложно не согласиться, ведь на первый взгляд каждый ЦОД похож на другой. Схожи системы охлаждения оборудования, пожарные системы и системы климата. Аналогичны друг другу системы мониторинга. Да и где здесь взяться разнообразию, когда все должно быть выполнено по стандарту качества, отклониться от которого, значит не соответствовать определенным требованиям безопасности. Но, несмотря на все это,  дата-центры разнятся. От некоторых из них так и веет большими деньгами и новейшим оборудованием, как от "девятки". Коридоры других пропитаны историей, а третьи держатся и развиваются лишь за счет неуемной энергии их создателей. Нередко весомую роль при строительство ЦОД и его развитии играет то, какие технологии сейчас в моде. Так, например, произошло со вторым дата-центром "Миран".

"Строительство нового дата-центра, в компании задумывали в 2012 году. Тогда был тренд на модульные ЦОД и мы также пошли по этому пути. Кроме того, на концепцию и архитектуру дата-центра влияние оказало то, что здание под размещение инфраструктуры нам пришлось арендовать. Приходилось биться за каждый метр, именно поэтому использовалась архитектура, которая растет вверх", –  рассказывает главный инженер "Миран" Виталий Николаев.

"Миран-2" находится в пяти минутах ходьбы от первого дата-центра. Когда попадаешь внутрь здания "Миран-2", видишь ряды контейнеров, установленных на металлической конструкции. Выглядит несколько необычно по сравнению с теми дата-центрами, где я бывал раньше.

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

Строительные работы в здании "Миран-2" начались в 2013 году. Здание полностью подготовили: завели внешнее электропитание и соорудили два вспомогательных модуля – офисный модуль и сервисный модуль, где располагается узел связи.

"Первый модуль в коммерческую эксплуатацию мы запустили в 2014 году. На сегодня же в здании располагается три серверных модуля, два из которых делались на заказ. В модуле располагаются стойки максимального размера – 47 юнитов и 1200 мм глубиной. В первом модуле все сделано по классической схеме. В двух других серверных модулях, которые выполнялись на заказ, фальшпол не носит технологический характер с точки зрения охлаждения. Снизу располагается лишь система электропитания. Вся СКС и кондиционирование располагается сверху.

Однако, при всех преимуществах модулей мы не учли один очень существенный нюанс. Если взглянуть на коридор в серверном модуле, то видно, что его ширины достаточно для обслуживания стойки. Но поскольку у нас коммерческий объект, то нередко случается так, что сразу несколько представителей клиентов вынуждены работать на стойках в одном коридоре. В таком случае возникает ситуация, когда одному приходится освобождать коридор, чтобы смог пройти другой. Из-за этого были негативные отзывы. Однако, мы это учли и при проектировании остальных залов избежали этого момента", – рассказывает Виталий Николаев.

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

Каждый серверный модуль оборудован независимой системой пожарной сигнализации и автоматического газового пожаротушения серверного и энергетического блока, что обеспечивает повышенную степень безопасности.

Система видеонаблюдения дата-центра обеспечивает непрерывную запись с более 40 различных камер, хранение видеоархива, в соответствие со стандартом безопасности PCI DSS, составляет более 100 дней.

Над первыми двумя модулями располагается энергоблок и внешние модули кондиционирования. Все питание сводится в энергомодуль, где располагаются аккумуляторы, ИБП, автоматика, климат, а оттуда расходится на два щита, и дальше уже "разбегается" по стойкам. Здесь также контролируются все параметры. В "Миран-2" установлены более современные распределительные щиты, нежели в первом дата-центре. Входящее напряжение анализирует промышленный контроллер, и, в случае проблем, переводит питание на дизель-генератор.

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

"В "Миран-2" создана выделенная система секционирования. То есть, вся нагрузка распределена равномерно. Как айтишная, так и технологическая. Это позволяет нам безопасно выводить ту или иную секцию на плановый ремонт. Благодаря этому, здесь проводить плановые ремонтные работы гораздо проще, чем в первом ЦОД. Большие планово-предупредительные работы мы проводим раз в год: протягиваем контакты, делаем необходимые замеры. Мелкие  оперативные обслуживания проводятся по мере необходимости.Визуальные же осмотры оборудования проводятся каждый день.

Также, раз в месяц мы проводим легкое тестирование ИБП и тестирование аккумуляторных стеллажей. Раз в квартал проводится полный инструментальный анализ аккумуляторных батарей. Это инспектирование, замеры. Каждая батарея пронумерована и ее параметры контролируются. Если что-то не так, происходит оперативная замена. У нас стоят свинцовые аккумуляторы и если одну батарейку вовремя не отловить, она быстро утянет за собой другие, а это уже серьезные траты", – поясняет главный инженер "Миран".

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

Поэкспериментировав с модульными технологиями, при строительстве нового зала в "Миран" решили вернуться к классической схеме. Наиболее современный зал дата-центра устроен по принципу "холодный-горячий коридор". Источники бесперебойного питания расположили в машинном зале, дабы избежать лишних капитальных затрат. ИБП охлаждаются с помощью  прецизионных кондиционеров.

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

"В этом зале каждый электрощит отвечает за свою группу стоечных блоков. Каждый автомат оснащен контроллерами, отслеживающими потребление. Контроль мощности позволяет обеспечить надзор и выдачи рекомендации по поводу загрузки стойки. Изначально, питание на стойке настроено и отбалансировано, но в процессе эксплуатации состав оборудования меняется, что приводит к изменению нагрузки и разбалансировке.

Инсталляторы же оборудования зачастую не обладают необходимыми знаниями в области электрооборудования. Они классные специалисты в IT, но именно в этом случае им приходится помогать. Мы фиксируем разбалансировку и оповещаем клиента, а затем совместно решаем, что можно переключить, и делаем баланс. Также мы предупреждаем клиента о том, что нагрузка на его стойку выросла до критической точки, что может повлечь за собой серьезные проблемы, которые необходимо предупредить. Наш принцип – это зарабатывать вместе с клиентом, а значит у него не должно быть проблем", – рассказывает Виталий Николаев.

Примечательно, что одной из причин отказа от дальнейшего применения модулей и переход на строительство классического машинного зала в "Миран-2", стало окно в переговорной комнате. Оно выходило на помещение, где планировали строить новый машинный зал. Модульные конструкции смотрелись бы не так красиво, как вид на ряды новеньких стоек.

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

В "Миран–2" есть небольшое помещение и для клиентов.

“Миран-2”: IT в контейнере

За всем, что происходит в дата-центре и за всеми показателями системы наблюдают из комнаты диспетчеризации.

"Система диспетчеризации представлена в двух ипостасях. Изначально, когда мы проектировали площадку,  использовали SCADA. Это часто используемая система мониторинга, но при работе с ней сталкиваешься с рядом неизбежных проблем – отсутствием  поддержки мобильных платформ и работы с тонкими клиентами. Когда мы начали ее активно разворачивать, столкнулись со всеми этими ограничениями. В результате, наши инженеры написали ряд библиотек, которые позволили с помощью стандартных продуктов оперировать промышленными протоколами, использовать мультиплатформенные базы и опросники, а также позволили работать с мобильными устройствами. В итоге, мы начали применять еще одну систему диспетчеризации. То есть, на этом объекте у нас их теперь сразу две", – рассказывает Виталий Николаев.

“Миран-2”: IT в контейнере

“Миран-2”: IT в контейнере

После прогулки по "Миран–2" в очередной раз убеждаюсь, что не все дата-центры одинаковы. А значит,  предстоящая поездка в еще один питерский гигант Linxdatacenter явно не будет напрасной. Отчет оттуда мы обязательно опубликуем, а пока для наглядности можно посмотреть небольшой обзорный ролик о "Миран-2".

3 комментариев
Оставлять комментарии могут только авторизованные пользователи
Robot_NagNews
Robot_NagNews
Материал: Во время своих недавних поездок по крупным межоператорским точкам в Санкт-Петербурге услышал от одного из представителей местного телекома фразу: “А что в этих дата-центрах смотреть? Они все одинаковы”. Сложно не согласиться, ведь на первый взгляд каждый ЦОД похож на другой. Однако это не совсем так, ведь нередко весомую роль при строительство ЦОД и его развитии играет то, какие технологии сейчас в моде. Так, например, произошло со вторым дата-центром “Миран”, где мы побывали. Полный текст
serega197
serega197
Всё красиво, но опытным взглядом сразу выхватываешь не уложенные патчкорды, неровно уложенные кабеля, натяжки, времянки , которые обязательно превратятся постоянно висящие концы.Ну а красная изолента на скрутке-это что-то.Миллионный объект, а монтировали как обычно...(джамшуты?)
Умник
Умник

2008 год. Sun.