Фотоэкскурсия в ЦОД "Оверсан-Меркурий"



Центры обработки данных появляются на столичном рынке регулярно - несмотря на кризис, потребность в быстром интернет-доступе и непрерывности ведения бизнеса никуда не улетучивается. Наоборот, все больше компаний начинает не просто арендовать стойки, а осуществлять масштабные проекты по работе в киберпространстве. Именно для этого предназначен новый ЦОД от компании "Оверсан" под названием "Оверсан-Меркурий" - мы посетили его в первый день официального открытия, хотя к работе он был готов еще осенью прошлого года.





Космическая тематика здесь везде - к примеру, на входе нас встречает коридор, где представлены бюсты выдающихся деятелей космической отрасли СССР, начиная с Королева.


Интересное соседство гарантирует ЦОДу спокойствие при любых обстоятельствах

Расположенный на востоке столицы центр обработки данных, благоразумно отнесенный подальше от бензоколонок, жилых зданий и всех сооружений, которые могут представлять для него хоть какую-либо опасность, занимает площадь в несколько сотен квадратных метров и соответствует требованиям Tier III международного стандарта ANSI TIA/EIA-942.

Услуги нового ЦОДа вполне разнообразны. Кроме стандартного размещения оборудования, чем могут заниматься специалисты заказчика, есть возможность организовать защищенные решетками места для отдельных стоек с оборудованием (стандартное требование финансовых организаций). В части сетевых услуг обеспечивается безопасная передача трафика — IPSec/VPN, обнаружение и предотвращение атак — IDS/IPS, межсетевой экран — Firewall, хранение данных — SAN, резервное копирование данных — Backup, виртуальная сеть — IP/MPLS. Есть возможность оказания услуг по организации каналов связи (прокладка ВОЛС, аренда «темных волокон», построение защищенных VPN-каналов). Интересно, что защита от DDoS-атак мощностью до 6 Гбит/с будет включена в базовый тариф услуг по умолчанию - за дополнительный уровень безопасности нужно будет доплачивать только в том случае, если атака превысит подобные пороговые значения.
Следующий ЦОД, который хотят построить в "Оверсан", скорее всего, будет строится исключительно под виртуализацию. Вполне возможно, этот ЦОД будет уже в Европе, поскольку проблема России - возможность быстрого изъятия правоохранительными органами из ЦОДа практически любой информации. Те клиенты, которые хотят, чтобы их не тревожили, выбирают хранилища для своих данных и сервисов за границами России.


Основная гермозона ЦОДа - место для 200 стоек.


20 стоек из тех 70, что смонтированы, уже сданы коммерческим клиентам, а еще по 30 ведутся переговоры.


Стойка, где располагается оборудование, "присматривающее" за всеми нормативными параметрами работы ЦОДа.


Наполнение уже арендованных стоек



ЦОД состоит из двух основных гермозон. Первая - с воздушным охлаждением, где могут быть установлены около 200 стоек, в том числе 50 стоек с высокой мощностью, рассчитанных на электрическую нагрузку и тепловыделение до 30 кВт. Нагрузка стандартной стойки – 7 кВт. Применяются стойки для оборудования APC NetShelter SX48U. По запросу клиентов стойки могут оборудоваться управляемыми системами распределения питания (PDU) производства APC. Параметры питания контролируются в реальном времени. Также возможна комплектация стойки собственным KVM-переключателем с поддержкой удаленного доступа для удобного и оперативного мониторинга серверов, и многие другие опции.


Держатели для СКС пока либо пусты, либо не заполнены полностью.


Температура всегда стандартна


Жизнеутверждающие таблички

Монтаж кабельной сети в дата-центре осуществляется индивидуально в соответствии с пожеланиями клиента. Сотрудники дата-центра обладают полным спектром измерительного и эталонного оборудования компании FLUKE Networks и имеют сертификаты от компаний Nexans и Systemax.

По требованию клиента может быть предоставлен вывод информации о состоянии конкретного юнита или стойки (к примеру, нарушение электропитания, повышение температуры и т.д.). Правда, вывод сигнала вовне по радиосигналу с мобильного модема (к примеру, SMS-алерты), установленного прямо на стойке сделать не получится - помещение экранировано для получения разрешительных документов на работу с персональными данными, здесь даже мобильные телефоны не ловят. Но сделать индивидуальные уведомления все-таки возможно - уже в стадии проработки контракт с "ВымпелКомом", который предоставит для этого определенный пул номеров и SIM-карты для мобильных модемов.


Поднимаем фальшпол - его минимальная несущая способность составляет 1200 кг/кв.м, высота – 70 см.


Вся разводка под фальшпотолом уже проведена

Здесь и электропитание и сетевые кабели - стойки можно спокойно монтировать.


Желтые трубы - это системы пожаротушения. Кроме того, на несколько квадратных метров приходится минимум один датчик движения и датчик задымления.


Вторая гермозона пока пустует

Для систем сверхвысокой нагрузки используются стойки с жидкостным охлаждением мировых лидеров Schaefer и Knuerr, подключенные к внешним чиллерам GeoClima совокупной мощностью более 4 мВт. Стойки рассчитаны на работу с оборудованием высокой плотности, в частности, высокопроизводительными блейд-серверами и поддерживают электрическую нагрузку уровня до 30 кВт на каждую.
Однако, вторая гермозона пока пустая - здесь будет находится 48 стоек с водяным охлаждением. Уже есть договоренность о поставке шкафов, но пока нет клиентов, готовых разместить там свое оборудование или арендовать юниты. Это помещение планируется для большого проекта со значительным количеством blade-серверов (к примеру, для виртуализации) и высокой энергетической плотностью. Сюда очень подойдут, к примеру, новые серверы HP, которые позиционируются, как "green IT" - среди прочих интересных особенностей там есть датчик, который самостоятельно регулирует систему охлаждения в зависимости от нагрузки оборудования.

Технические специалисты и инженеры осуществляют комплексный мониторинг всех систем жизнеобеспечения дата-центра, оборудования, сетей и каналов связи, поддержку инфраструктуры и клиентского оборудования 24х7х365. Обслуживание и мониторинг всех систем производится из выделенного командного центра (NOC), инженеры которого приступают к разрешению проблемных ситуаций немедленно с момента регистрации заявки. Предельное время решения проблемных ситуаций составляет 4 часа.
Несмотря на пока что слабую загрузку ЦОДа, наблюдение за оборудованием осуществляется в круглосуточном режиме - 7 человек днем (инженеры NOC, специалисты по работе с серверным оборудованием, старший и дежурный инженеры дата-центра) и четверо ночью.


Сетевое ядро ЦОДа - помещается в нескольких стойках. Здесь же находится тестовый участок сети, куда включается любое оборудование перед установкой на "боевое" дежурство


"Сейчас мы вам покажем наши игрушки"


Система защиты от DDoS


"Железо" от HP и Cisco


Управление вводом электропитания


Распределительный щит

Сеть передачи данных построена на оборудовании Cisco Systems. Отказоустойчивое ядро сети составляют коммутаторы Catalyst 6509NEB и маршрутизаторы серии GSR 12406. Системы безопасности реализованы на базе высокопроизводительного межсетевого экрана Cisco ASA5580 с пропускной способностью в 20 Гбит/с и системы предотвращения атак IPS 4270, выявляющей все известные виды атак.
Независимые оптические магистрали, ведущие к основным российским узлам связи ОАО ММТС №9 и ОАО ММТС №10, обладают общей пропускной способностью в 50 Гбит/с и имеют возможность наращивания до 400 Гбит/с, что обеспечивает надежную связность с сетью Интернет. Ширина канала на каждую стойку может достигать 10 Гбит/с. Управление системой передачи данных осуществляется сотрудниками, имеющими сертификаты Cisco Systems. Процент успешной доставки пакетов – 99%, задержка передачи пакетов от порта клиентского оборудования до порта оператора связи не превышает 30 мс.


В каждом помещении - связь по IP-телефонам


А также системы контроля доступа и ручные извещатели о пожаре


ИБП в боевой готовности


Собирают такие штуки в России, как оказывается


Но нагрузка на них пока невелика


Хотя батареи заряжены полностью

К каждой гермозоне полагается отдельный энергоцентр - отсек с источниками бесперебойного питания и аккумуляторными батареями, которые берут на себя нагрузку на время переключения между вводами энергопитания и резервными генераторами, нормативный старт для которых осуществляется автоматически за 60 секунд после отключения питания. Кроме того, здесь находится система кондиционирования для поддержки оптимальной температуры в помещении на уровне в 18-20 градусов - именно в этой ситуации срок жизни аккумуляторных батарей будет максимальным.

Электроснабжение дата-центра обеспечивается двумя независимыми вводами от трансформаторных подстанций (первая категория надежности по ПУЭ). Стабильность подачи питания поддерживается ИБП производства компании AEG и дизель-генераторными установками FG Wilson. Надежность питания оборудования в стойке гарантируется двойным независимым электроснабжением. Схема резервирования питания – N+1. Доступность электропитания – 99,982%.


Залежи аккумуляторных батарей - просили ходить осторожно и ничего не трогать, поскольку все под напряжением

Электрическую емкость удалось получить за счет индивидуальных договоренностей с теми компаниями, которые находятся поблизости от ЦОДа. Но процесс это небыстрый - на это уходит 8-9 месяцев только переговоров, а еще техническое обеспечение ситуации (прокладка кабеля и процесс согласования). Вдобавок к текущим 5 Мегаваттам, в "Оверсан" пытаются получить дополнительную энергетику на будущие проекты и как резерв для текущего ЦОДа.


"Вот она моя любимая - система пожаротушения двойного пуска"


ТТХ баллонов

Для гермозон смонтирована система пожаротушения двойного пуска - то есть может заполнить весь объем помещения инертным газом два раза подряд (хотя, на самом деле, достаточно и одного). После сигнала загорания у персонала есть 30 секунд (для этого включается ревун и звуковое напоминание), чтобы покинуть гермозоны - далее система включается автоматически. Но если при ее работе открыть любую дверь, то работа прекращается и запускается заново уже в ручном режиме. Системы пожаротушения зарезервированы и подключены к источникам бесперебойного питания.


Система на боевом взводе


В отдельных нишах запасные баллоны на всякий случай

У каждого баллона массой по 180 кг каждый (полезная нагрузка - 52,7 кг) есть два пиропатрона - магистраль ведет либо в одну, либо в другую гермозону: переключение осуществляется в зависимости от сигнала системы. Сейчас они не подключены - система дорогая, а нагрузка пока невелика. Подключение будет проведено в самое ближайшее время.


На всякий случай есть и вот такие методы борьбы с огнем - но это на крайний случай

Большинство ЦОДов сейчас использует только ручной режим запуска - перестраховываются, поскольку автоматика, бывает, и сбоит. После поступления сигнала тревоги стойки обычно просматриваются с помощью камер видеонаблюдения и, при необходимости, включается пуск инертного газа.


Охранное оборудование

За каждой гермозоной присматривает автоматика - в комплекте обычно Сигнал-20П (SMD) - прибор приемно-контрольный охранно-пожарный, предназначен для контроля 20 шлейфов сигнализации со всеми видами охранных и пожарных извещателей. Имеет технологический шлейф для контроля условий запуска пожаротушения. Повышенная помехоустойчивость за счет селекции входного сигнала по длительности и фильтрации наводок 50 Гц. Чуть правее С-2000 - пульт контроля и управления. Может отображать на ЖКИ и хранить в энергонезависимом буфере все происходящие в системе события. И внизу РИП-12 - источник вторичного электропитания резервированный.
Основное наполнение охлаждающей системы - несколько тонн этиленгликоля. В сочетании с водой он образует растворы, замерзающие при температурах значительно ниже 0˚С. Например при соотношении воды и этиленгликоля 1:2 раствор замерзает при -70˚С, а смесь 60 % этиленгликоля и 40% воды замерзает при -45 °С.


Этиленгликоль высшего сорта отгружается в стандартных бочках с массой нетто около 250 кг. Он не имеет запаха, но обладает сладковатым вкусом. Кроме того токсичен.


Четыре чилера поставили на открытом воздухе, огородив "загончик" по периметру

Четыре чилера размещены на воздухе (по одному на каждую гермозону и еще два запасных), что в холодную зиму позволяет экономить до 75% объема электричества, по отношению к средненормативному, которое обычно пускается на систему охлаждения. Все дело в оснащении дополнительными воздухо-водяными теплообменниками, предназначенными для использования наружного воздуха в процессе работы на охлаждение. Такой режим, называемый режимом непосредственного охлаждения (работают только вентиляторы с плавной регулировкой скорости вращения) или Free Cooling`ом, может использоваться как вспомогательный, то есть, одновременно с работой компрессоров, или как основной, если позволяет температура наружного воздуха (если температура раствора, возвращаемой в систему, выше, чем температура наружного воздуха). Причем, режим непосредственного охлаждения обеспечивает значительное повышение коэффициента полезного действия системы - до 10 раз по сравнению с обычными холодильными машинами, работа которых основана только на использовании компрессоров. Каждый из них работает по пять часов, автоматически заменяя друг друга. Летом их нагружают обслуживанием тепловых пушек в гермозонах - вполне с этой задачей справляются.


Везде камеры - правда, аналоговые, не цифровые

Сам дата-центр находится на круглосуточно охраняемой территории с контролем доступа на базе персональных бесконтактных идентификационных карт и кодовых замков. Применяется шлюзовая система прохода. По периметру и внутри дата-центра (для контроля за работами с оборудованием) расположены камеры непрерывного наблюдения с возможностью видеозаписи; объект оборудован охранной сигнализацией с датчиками проникновения и движения.

Комплекс безопасности дата-центра включает в себя систему контроля и управления доступом (СКУД), построенную на базе компонентов TAC, I/NET SEVEN и системы видеонаблюдения. Доступ в дата-центр осуществляется по принципу escorted access с авторизацией по proximity-картам.


На входе - тотальный контроль


На каждые несколько квадратных метров приходится несколько датчиков движения, датчик дыма и динамик внутренней системы трансляции

Физический доступ к размещённому в технической зоне серверному и телекоммуникационному оборудованию осуществляется только в сопровождении персонала дата-центра. Вход сотрудников клиента в помещение дата-центра осуществляется только по спискам, заранее согласованных со службами дата-центра или по пропуску, заранее заказанному авторизованным лицом компании клиента. Персонал клиента имеет доступ к оборудованию только в строго определенных случаях.

Фотоэкскурсия в ЦОД "Оверсан-Меркурий"22

Комментарии: (22) комментировать

Zaqwr:

Гость_Сергей_*:

Оставить комментарий:

Обсудить на форуме

Представьтесь:
введите буквы с картинки в форму:
Ваш комментарий: