1. Статьи
Заметки пользователей
16.01.2018 11:50
PDF
14938
6

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

У нас, в редакции Nag.ru, в силу профессии есть неплохая традиция: заглядывать в гости к операторам связи, общаться с интересными людьми, и широко открытыми глазами изучать телекоммуникационную инфраструктуру, которая открывается нашему взору. И вот, в обычный серый вторник, коллективным разумом, с чашками кофе в руках, мы решали: к кому бы в гости нагрянуть теперь? На ум пришел "провайдер для интернет-провайдеров" – MSK-IX. А почему бы и нет? Раз мы рассказываем о провайдинге, нужно рассказать и том, кто делает жизнь провайдеров проще. Тем паче, что компания имеет точку присутствия в Екатеринбурге. Туда мы и решили наведаться.

Однако звонок в MSK-IX опередил наши устремления, а гостеприимные ребята из Москвы пригласили нас в столицу посетить ЦОД, имеющий историческое значение для всего российского интернета, а также мельком глянуть на их новый объект, расположенный в легендарном здании ММТС-9. Разумеется, мы согласились, и вот я уже мчусь в златоглавую в гости к MSK-IX.

MSK-IX ведет свою историю с 1995 года, когда представители шести провайдеров договорились о создании точки взаимного обмена IP-трафиком, чтобы объединить российский интернет-сегмент. Спустя несколько недель на телефонной станции М9 на улице Бутлерова заработал первый коммутатор Московского Internet eXchange. И вот, спустя более двадцати лет, MSK-IX – это крупнейшая в России пиринговая сеть, предоставляющая нейтральную платформу Internet eXchange для обмена IP-трафиком между сетями и глобальную распределенную сеть DNS-серверов для поддержки корневых доменных зон. Состав участников насчитывает более 500 компаний – это операторы связи, социальные сети, поисковые системы, видеопорталы, провайдеры облачных сервисов, корпоративные и научно-образовательные сети.

В гостях у MSK-IX: "Курчатник" – дата-центр с историей
География присутствия MSK-IX

Москва встретила снегом и бесконечно длинным метро, а MSK-IX уютным офисом, в котором комфортно и так спокойно, что хочется задержаться здесь подольше.

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

И даже как-то слишком малолюдно для столь крупной компании. Это потому, что основной состав сотрудников трудится непосредственно на объектах инфраструктуры MSK-IX, куда мы в итоге и отправились.

"Курчатник"

Один из первых узлов MSK-IX располагается на территории Института атомной энергии им. И. В. Курчатова, в здании, имеющем поистине историческое значение для сегмента мировой информационной паутины, который сейчас принято называть российским.

Именно здесь в 1990 году несколько научных сотрудников института основали компанию "Релком", под патронажем которой в дальнейшем была организована первая российская компьютерная сеть между научными учреждениями Москвы, Ленинграда и Новосибирска.  Чуть позже, именно здесь произошло первое для России зарубежное соединение с компьютером в Хельсинкском университете. В том же году "Релком" и зарегистрировал для СССР домен верхнего уровня .su.

"Релком" до сих пор живет и процветает в этом здании, оказывая здесь, в собственном ЦОД, услуги по размещению серверных стоек. MSK-IX их ближайший сосед, чей ЦОД располагается в соседнем помещении.

Курчатовский институт объект режимный. Просто так сюда не попасть. Нужно заблаговременно заказать себе пропуск, который на входе, в духе советских времен, тебе из маленького окошка подает суровая женщина, судя по всему, работающая тут без малого лет пятьдесят. Ты получаешь свою мятую бумажку с датой входа и проходишь небольшой фейс-контроль у местной службы безопасности.

К слову, очень занимательно наблюдать за этой временной коллизией, которая возникает, когда идешь на объект, где ну прям перед тобой практические передовые технологи, а где-то там, на проходной, до сих пор советский дух и мятые квиточки вместо пропуска, выписанные вручную. Ну ладно, не будем отвлекаться на рассуждения.

С безопасностью в "Курчатнике", как его ласково называют ребята из MSK-IX, все в полном порядке. Здесь организована трехуровневая система контроля доступа, что является основным требованием при лицензировании ЦОД. Даже лифты в корпусе, где располагаются центры обработки данных, оснащены электронными замками, и без специального ключа невозможно попасть на нужный тебе этаж, не говоря уже о допуске непосредственно в помещение дата-центра.

Скажу честно, хоть я человек и не слишком искушенный, но масштабы одного из самых старых дата-центров MSK-IX произвели на меня впечатление. Просторное помещение, где ровными рядами выстроились серверные стойки, по периметру окружено мощными кондиционерами.

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

Кондиционеры потребляют от 25 до 30 киловатт электроэнергии. Они поддерживают в помещении дата-центра температуру на уровне +20-25 градусов.

Сверху от шкафов в кондиционеры поступает горячий воздух, затем проходит через сито охлаждения и снизу подается на оборудование. Мощности местных кондиционеров хватает не только, чтобы поддерживать приемлемую температуру внутри ЦОД, но обеспечивать холодным воздухом узел Курчатовского института.

Клиентам здесь предоставляется широкий перечень услуг: интернет, колокейшн и аренда телекоммуникационных шкафов. В ЦОД расположен один большой клиент, арендующий множество шкафов. Для него выделена отдельная секция. Клиенты, арендующие по одной стойке, сконцентрированы в другой части помещения дата-центра.

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В "Курчатнике" присутствует много именитых компаний. Например, еще с "бородатых девяностых" здесь располагается стойка корневого сервера DNS F-Root. Эти серверы хранят информацию о самом высшем уровне доменных зон. Сотрудники MSK-IX не занимаются обслуживанием этих стоек. Эта работа ведется удаленно их западными коллегами. Присутствие здесь столь серьезного узла лучшее доказательство надежности дата-центра.

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

Четыре шкафа арендует Технический центр интернет, обслуживающий Главный реестр и систему регистрации доменов .RU, .РФ, .SU, .ДЕТИ, .TATAR. Также ТЦИ обеспечивает бесперебойную работу доменной адресации российского сегмента сети Интернет в глобальной сети. Одна из арендуемых стоек хранит информацию о всех российских доменах. Ее "зеркало" находится в дата-центре в Санкт-Петербурге. Это сделано с целью обеспечения постоянной доступности, для резервирования данных.  

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

Венец же всего этого телекоммуникационного пейзажа – это одно из ядер MSK-IX. Второе находится на М-9, что обеспечивает полное резервирование сети оператора. Клиенты, которые подключены к инфраструктуре MSK-IX, приходят и сюда, и на "девятку". Если что-то случается на одном из узлов, всю работу берет на себя другой.

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

Работа устроена по принципу, так называемого механизма двойного ядра. К ядру подключаются коммутаторы, поэтому именно здесь коммутируется весь трафик клиентов. Именно сюда он приходит со всех узлов, где имеются клиентские включения, что обеспечивает их постоянную и непрерывную работоспособность. Каждый узел клиента включен в оба ядра, что обеспечивает надежность всех площадок MSK-IX. Поскольку MSK-IX присутствует в 16 дата-центрах столицы, сюда сходятся линии связи со всей Москвы.

В Курчатовском дата-центре установлена система пожаротушения на основе хладона. При срабатывании датчиков, газ вытесняет кислород из помещения и огню попросту нечем питаться. Такая система полностью безопасна для оборудования, но представляет опасность для людей.

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

Поэтому пожарная система не сработает пока в помещении находятся люди. Если же людей в помещении нет, пожарная станция подает сигнал на первый патрон, после чего начинается подача газа в систему.  

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

"Курчатник" не попадает под категорию Tier III из-за отсутствия дизельной электростанции рядом с ЦОД, чего требует международная аттестация. В свое время его дизельгенератор попросту не разрешили поставить на территории Курчатовского института. Но о надежности электроснабжения здесь говорит само местоположение объекта. Курчатовский институт обладает статусом оборонного объекта, поэтому надежность электроснабжения здесь имеет первостепенное значение.

Непосредственно же система электроснабжения дата-центра устроена следующим образом.  Высокое напряжение с ТЭЦ приходит на два трансформатора через специальные распределительные устройства, расположенные на территории института. Если питание пропадает на одном из кабелей (магистраль 1), питание переключается на второй трансформатор. На нем установлена система АВР (автоматический код резерва). Сами источники бесперебойного питания в момент пропажи электричества начинают работать от аккумуляторов, пока не сработает АВР. В итоге, потребитель даже не чувствует перепадов электричества.

Аккумуляторы и несколько ИБП находятся в подвале здания. Там сформирована целая энергосистема, позволяющая предотвратить любые проблемы с электроснабжением. Аккумуляторы разделены на несколько отсеков. Они подключены последовательно по нескольким группам.

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

Благодаря разделению на небольшие комнаты, кондиционерам удается поддерживать благоприятную температуру для работы аккумуляторных батарей, которые здесь проживают достаточно долгий век, работая по восемь лет.

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

Бесперебойники и кондиционеры подключены параллельно по двум линиям.

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

Как уже отмечалось, в случае аварии на одной линии происходит автоматическое переключение на другую, что позволяет безболезненно и незаметно пережить перебои с электричеством.

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

За работой всей этой сложной телекоммуникационной системы, благодаря современным средствам мониторинга, удается следить силами всего нескольких сотрудников. Мониторинг позволяет оперативно отслеживать состояние всех систем в дата-центре. При этом показание некоторых приборов все равно дополнительно собирают вручную.

В гостях у MSK-IX: "Курчатник" – дата-центр с историей
Весь мониторинг умещается здесь на нескольких экранах

В гостях у MSK-IX: "Курчатник" – дата-центр с историей

Хочется сказать, что, несмотря на солидный возраст дата-центра, здесь стоит современное оборудование, работающее безупречно. За все годы работы "Курчатника", здесь произошло считанное количество аварий, да и те остались незамеченными для клиентов MSK-IX.

Наша экскурсия по историческому памятнику для всего рунета, подошла к концу. Впереди поход на знаменитую "девятку", где, скажу я вам по-секрету, все выглядит еще круче.

6 комментариев
Оставлять комментарии могут только авторизованные пользователи
Robot_NagNews
Robot_NagNews
Материал: "Провайдер для интернет-провайдеров" MSK-IX в минувшем декабре пригласил корреспондента Nag.ru к себе в гости. Нам удалось побывать в Курчатовском дата-центре, имеющим историческое значения для всего российского сегмента сети. Полный текст
apple
apple
ВестКолл в Санкт-Петербурге тоже очень любит гостей :) Тем более что нам есть чем похвастаться в своем ДЦ, расположенном на Васильевском острове. Вскоре будет запущена новая, четвертая очередь. Так что welcome :)
Navu
Navu
1 час назад, apple сказал:

Так что welcome :)

Если Вы представитель организации - бросьте письмо на navu@nag.ru.

Обсудим. :)

YuryD
YuryD

 Красиво конечно, но виды внутри стоек не впечатляют аккуратностью монтажа, даже силового. Мой энерговвод в здание выглядит как на картинке каталогов шкафов.

Дима Григорьев
Дима Григорьев
В 17.01.2018 в 21:44, YuryD сказал:

 Красиво конечно, но виды внутри стоек не впечатляют аккуратностью монтажа, даже силового. Мой энерговвод в здание выглядит как на картинке каталогов шкафов.

а вы покажите как оно у вас =)

YuryD
YuryD

 У меня плотность поменьше в шкафах с оптикой, а в электрике здания оба ввода переделали 3 года назад - там круто, однотипные автоматы, шины, красота - как в каталоге.