Единый центр управления сетью: версия «Мегафона»

Операторы связи переходят на новые модели управления своими сетями. И если раньше централизованным был исключительно мониторинг, то сейчас к этому добавляется возможность полноценного управления как на магистральных линиях связи, так и на отдельных сегментах подсетей в самых разных регионах России. Нам удалось побывать на экскурсии в одном из таких объектов – едином центре управления сетью "Мегафона" в Санкт-Петербурге.

Единый центр управления сетью в "Мегафоне" запустили в апреле 2015 года. Со слов руководителей центра, он является крупнейшим и одним из самых современных в своём роде как в России, так и в мире. ЕЦУС (такую аббревиатуру имеет центр, в международной терминологии — GNOC) создали за год, вложив в проект более миллиарда рублей — в основном в техническое обеспечение.

Раньше мониторинг сети выполняли многочисленные подразделения "Мегафона" в разных городах. Специалисты на местах контролировали инфраструктуру лишь внутри своего региона. В случае возникновения глобальных сбоев необходимо было скоординировать работу нескольких подразделений, что негативно сказывалось на эффективности и времени разрешения инцидентов и аварий. Теперь их фактически собрали в одно подразделение, которое полностью управляет сетью и координирует действия полевых инженеров и подрядных организаций на местах.

У ЕЦУС — две площадки: собственно, в Санкт-Петербурге, а также в Самаре. Первая курирует сети на Северо-Западе, в центре, на Волге и на Урале, а вторая – на юге, Кавказе, в Сибири и на Дальнем Востоке.

На вопрос о том, почему в качестве базы для центра были выбраны именно эти города, в "Мегафоне" отметили, что этому способствовали учебные заведения, способные обеспечить приток свежих кадров, а также большое количество профессиональных специалистов. Кроме того, в Самаре располагается крупнейший ЦОД "Мегафона", который сертифицирован по TIER III. Помимо этого, там очень большой объем корневого оборудования, центр управлению магистральной сетью. А Санкт-Петербург — город, с которого началась история развития компании. Здесь работают опытнейшие инженеры, многие из которых в компании с момента основания. Кроме того, в Петербурге установлены сервисные платформы, предоставляющие уникальные услуги.

Структура ЕЦУС

Сам центр представляет собой пункт удаленного управления. Оборудование установлено по всей сети "Мегафона", а два центра получают к нему удаленный доступ. В штатном режиме каждая из площадок делит рабочую нагрузку пополам. В ведении каждой из них находится более 50 тыс. базовых станций, более 450 ключевых элементов сети, более 100 MSC и MGW и, примерно, по 35 млн абонентов.

Единый центр управления сетью включает в себя четыре основных компонента.

Network resource inventory — система учета данных сети. Ежедневно все сети передачи данных и обеспечения связи (не только мобильные) сканируются, аккумулируется актуальная информация об их инвентарном состоянии.

Fault management — система аналитики и реагирования на проблемы и сбои в работе. С её помощью на основании данных, полученных из Network resource inventory, собирается информация о событиях в сети, включая сбои и отклонения в работе. Так, в зависимости от масштаба аварии ей присваивается категория от 1 до 5. К примеру, когда на базовой станции выходит из строя кондиционер, инцидент получает первый уровень, так как базовая станция может продолжительное время работать и без него. Если же в целом регионе пропадает связь, инцидент получает третий уровень. Это означает, что ситуация имеет повышенный приоритет и на её устранение следует бросить дополнительные силы. Пятый уровень присваиваются авариям, которые приводят к отсутствию связи во всей стране, однако таких инцидентов в истории компании не было.

Trouble Ticketing — единая система работы с инцидентами и координации плановых работ. С её помощью осуществляется реакция на события и сбои. В частности, планируются работы, отдаются указания полевым командам и т.п. Плановые работы, такие как замена оборудования, выполняются тоже через неё.

Performance management — техническая статистика. Она позволяет видеть сводные параметры работы сети в реальном времени и наглядном виде, причем на любом уровне – отдельного региона, города или конкретной базовой станции. Если какие-то параметры находятся вне нормальных значений, система обращает внимание на нестандартную ситуацию. В дальнейшем это позволяет специалисту заблаговременно принять нужное решение, в том числе до того, как произошел сбой.

В случае чрезвычайных ситуаций или форс-мажора одна из двух площадок ЕЦУС может забрать весь функционал другой и продолжить наблюдение за всей сетью оператора. По времени это занимает около 15 минут. При этом наличие двух центров не предполагает постоянного двойного резервирования, когда в нормальной ситуации задействуется 50% ресурсов, а остальные стоят наготове на случай сбоя. Инженеры работают с высокой нагрузкой и в нормальных ситуациях, поэтому при выходе из строя одной из площадок может увеличиваться время реагирования на события.

ЕЦУС изнутри

Центр управления, в котором нам удалось побывать, расположился в кирпичном здании на 16-й линии Васильевского острова Санкт-Петербурга. Ранее этот объект принадлежал компании "Петерстар". Потом и её, и дом, возведённый в первой половине 1990-х, приобрёл "Мегафон".

На входе в питерский ЕЦУС установлен жёсткий пропускной режим. Здание оборудовано системой контроля доступа по карточкам, есть пост охраны, которая может заблокировать помещения и выявить людей, проникших на объект незаконно.

Ну, а поскольку мы на объекте вполне легально, нас проводят в центральный диспетчерский пункт - рабочий зал на 52 рабочих места. Здесь располагаются сотрудники группы мониторинга, сотрудники техподдержки, главный оперативный дежурный, который руководит оперативной работой. На входе нас встречает директор ЕЦУС Валентин Полозенко.

Центральный элемент зала — огромная видеостена длиной 29 метров. Технически она представляет собой несколько пластиковых экранов, на которые проецируется изображение со светодиодных проекторов. По словам Валентина Полозенко, если бы такую площадь покрыли мониторами, они излучали бы столько тепла, что в помещении получилась бы настоящая сауна. А так, нет нагрева, не выгорают пиксели и т.д.

Если бы такую площадь покрыли мониторами, они излучали бы столько тепла, что в помещении получилась бы настоящая сауна.

На видеостене отображаются основные параметры работы сети. Также здесь идет видеотрансляция из аналогичного зала в Самаре. В верхнем углу расположена интегральная карта России и точек обмена трафиком, показывающая состояние сети по всем регионам страны разными цветами: "зелёный" - всё хорошо, "жёлтый" - есть отдельные инциденты, "красный" - серьёзная авария.

По словам представителей компании, основная задача видеостены — возможность мгновенно оценить состояние сети и отдельных компонентов. Оператор буквально с одного взгляда может оценить ситуацию и понять, в чем проблема. Ну, а получить детальную информацию и принять меры он может уже на своем рабочем месте.

Справа от видеостены установлен отдельный монитор, на который выводится трансляция информационного канала "Россия 24". Это сделано для того, чтобы сотрудники могли оперативно узнать о важных событиях в стране. Это, например, могут быть стихийные бедствия, техногенные аварии, явления внеземного происхождения (как это было с падением метеорита в Челябинске). Впрочем, собственные системы мониторинга срабатывают куда быстрее. Об этом говорит аномальная активность абонентов в конкретных точках, а также аварийные сообщения от сетевого оборудования.

По словам Валентина Полозенко, в ЕЦУС используется самое надёжное оборудование и программное обеспечение. Ну, а самыми крупными поставщиками являются IBM, Hewlett-Packard, NEC. По словам представителей "Мегафон", они выбирали лучшее из существующего на рынке, включая программные продукты. "Самописные" решения в центре не используются. Российское ПО есть, но его доля невелика.

"К сожалению, у отечественных программных решений пока не тот уровень, чтобы гарантировать нужные нам возможности по надежности и масштабированию, - отмечает Валентин Полозенко. – Нам бы не хотелось ходить в кастомизированные уникальные решения, которые потом будет очень дорого поддерживать и развивать. Эксклюзивность и кастомизация не являются для нас приоритетом. Скорее наоборот, мы выбираем коммерческие решения, подходящие под сценарии работы компании".

Рабочие места сотрудников центра располагаются амфитеатром перед видеостеной. На первой линии находятся специалисты, которые отвечают за мониторинг и управление сетью. Рабочие места чётко разделены. Кто-то отслеживает работу ИТ-платформы, кто-то — роуминг, сеть и пр. На второй линии располагаются сотрудники, отвечающие за мониторинг базовых станций. Третий ряд — инженеры, которые усиливают работу других сотрудников в дневное время, поскольку большая часть событий на сети происходит именно в это время. В центре третьего ряда располагается рабочее место главного оперативного дежурного. На последнем ряду сидят инженеры, осуществляющие техподдержку высокого уровня. Они помогают в решении технических вопросов, с которыми не справились специалисты контактного центра. При этом они находятся в том же информационном поле и могут оценить состояние сети. Здесь же находятся профильные эксперты.

Для комфортной атмосферы в зале поддерживается нужный микроклимат, специальные шумоподавляющие потолки и люстры снижают уровень шума и приглушают разговоры. Провода и кабели убраны под пол и не мешаются под ногами. У сотрудников — специальные анатомические кресла, которые уменьшают усталость. Плюс, рядом с залом есть комната отдыха, где можно отвлечься и расслабиться.

По одному направлению всегда работает несколько специалистов, так что один может отойти с рабочего места. Рядом с комнатой отдыха есть несколько переговорных комнат и конференц-зал с изменяемым расположением стен. Это позволяет быстро создать отдельные комнаты, например, для экспертов, обсуждающих пути решения той или иной проблемы.

Стоит также заметить, что для управления конечным инфраструктурным оборудованием для сотрудников предусмотрен отдельный защищенный канал удаленного доступа. Предусмотрена система перекрестного мониторинга, которая может уведомить дежурного в случае, если сотрудник допустит какие-либо ошибки. Параллельно с этим имеется возможность оперативного отката настроек оборудования до последней рабочей версии.

Главное отличие центра управления сетью "Мегафона" от аналогов заключается в том, что инженеры, которые находятся на дежурстве, могут не только наблюдать за сетью, но и в режиме реального времени устранять на ней неполадки. Благодаря применению передовых разработок сотрудники могут перенаправить трафик в обход порванной оптической линии, диагностировать деградацию скорости доступа в интернет на определённых участках и т. п. Всё это позволяет существенным образом улучшить общее качество работы сети и её сервисов.

В настоящее время за сутки ЕЦУС обрабатывает более 13 млн сообщений о состоянии сети и решает около 4 тыс. инцидентов - именно столько аварий на сетях случается за день. Всего под управлением ЕЦУС находится 300 тыс. элементов сети во всей стране. 99% из них — это проблемы, которые не влияют на сервис. К примеру, вышел из строя кондиционер, пропало питание или нарушен кабель. Параллельно с этим проходят 100 запланированных работ по модификации и расширению сетей.

"В основном инциденты случаются в переходные сезоны, когда температура колеблется от минус 1 до плюс 1 градуса по Цельсию, - рассказывает Валентин Полозенко. - Ледяной дождь, наледь на проводах, провода оттягиваются и рвутся. Вторая причина - строительство дорог и их расширение. Оптические кабели зарыты в землю, но не всегда компании, проводящие ремонт, тщательно изучают документы. В результате они цепляют кабели экскаватором. Специально никто ничего не портит. Бывают, правда, акты вандализма, когда кто-то раскапывает кабель, чтобы его украсть. Сейчас такое происходит редко, потому что оптический кабель ценности не представляет и продать его некому".

Запуск ЕЦУС позволил увеличить скорость реакции на 60%. Выросла и скорость устранения инцидентов. Однако, точных цифр в "Мегафоне" не раскрыли, отметив, что всю статистику получат к апрелю 2016 года.

Люди

В общей сложности в двух городах, где располагается ЕЦУС "Мегафона", работает более 500 сотрудников. При этом все они имеют инженерные специальности. Средний возраст – 25-30 лет: они должны разбираться в современных технологиях, кроме того, работа требует большой сосредоточенности. Возможно, именно по этой причине 40% сотрудников – женщины.

"У нас работают исключительно инженеры. Причём команда собрана из специалистов из самых разных регионов. Для этого была реализована специальная мотивационная программа", - говорит Валентин Полозенко.

К слову, сам директор ЕЦУС из Нижнего Новгорода.

Величину средней зарплаты специалистов центра в "Мегафоне" раскрывать наотрез отказались. Штат укомплектован, но периодически на рекрутинговых сайтах можно встретить объявления о найме.

Переход к управлению сервисами

В заключении нашей экскурсии Валентин Полозенко поделился видением будущего ЕЦУС "Мегафона". По их мнению, существующий центр будет постепенно преобразован в центр мониторинга и эксплуатации сервисов (SOC).

В компании уже готовятся к тестовым испытаниям систем нового поколения, которые позволят собирать информацию о проблемах в обслуживании каждого абонента. Ключевыми параметрами станут обрывы связи, недоступность мобильного доступа, отказ в обслуживании на стороне клиента. Предполагается, что все эти данные будут собираться, аккумулироваться и отображаться в операционном зале. При этом уровень качества обслуживания будет выделяться цветом, чтобы оператор мог мгновенно оценить ситуацию.

Главное отличие от существующих принципов работы — не оценка работы оборудования сети, а оценка тех событий, которые происходят у конкретного абонента. Такой подход должен привести к существенному росту качества обслуживания и доступности сервисов. В частности, он позволит лучше контролировать качество связи в местах скопления большого количества людей, таких как вокзалы, аэропорты, стадионы и т.п. Новая система позволит повысить восприятие качества обслуживания самим клиентом. В настоящий момент эту схему уже осваивают европейские и азиатские операторы.