1. Статьи
Заметки пользователей
16.08.2010 10:42
PDF
27839
37

Канал связи для спасателей СШГЭС: хроника событий глазами участника

Авария на Саяно-Шушенской ГЭС — индустриальная техногенная катастрофа, произошедшая 17 августа 2009 года. В результате аварии погибло 75 человек, оборудованию и помещениям станции нанесён серьёзный ущерб. «Авария уникальна, — сказал, в частности, министр РФ по делам гражданской обороны, чрезвычайным ситуациям и ликвидации последствий стихийных бедствий С. К. Шойгу. — Ничего подобного в мировой практике не наблюдалось». Сегодня, в преддверии годовщины этих событий, публикуем рассказ человека во многом способствовавшего ликвидации последствий этой катастрофы. 

17.08.2009.

8.30

Понедельник, утро, начало новой трудовой недели. Около 9.00 услышал - на СШГЭС что-то бабахнуло. Всерьез никто новость не воспринял. К 10.00 уже знали, что ГЭС встала всерьез и надолго, под угрозой остановки алюминиевые заводы в Саяногорске и Красноярске и прочее, прочее, прочее...

Канал связи для спасателей СШГЭС: хроника событий глазами участника

14.00

После обеда звонок из московского офиса - нужен канал до СШГЭС для МЧС. Ближайшая точка ТТК - Абакан, а дальше - оптика энергетиков (130 км). Понятно, что контакты с энергетиками у нас налажены, созвонился с ними, через 15 минут они подтвердили, что готовы с нами сотрудничать по этому вопросу. А вопросов (особенно в первые часы) было много. (За непосредственную реализацию ПМ у нас отвечает отдел из двух девушек, я же по большей части одним глазом слежу за тем как они справляются. Подключаюсь к процессу только в случае необходимости. В данный момент такой случай и был):

  1. То что нужен канал - понятно, но куда? Там же все затоплено! Нет, не все, затоплен только цоколь и 1 этаж АБК (ЛАЦ с системами передачи, АТС стояли в цоколе, это все знают, кто следил за этими событиями). Верхние этажи сухие, штаб был там;
  2. Какая нужна скорость, интерфейс? Скорость - стандартно, двушка, интерфейс - наверное эзер, но точно неизвестно. Хорошо, предлагаю делать сразу два канала - один Е1 и второй - с эзером, к тому моменту пока соберем будет видно, какой пригодится. В идеале – соберем два, будет резерв;
  3. Проработать схему организации связи. Разумеется, за организацию магистральных каналов отвечал московский офис, и справился с задачей безукоризненно - и решение по каналам разработали и успели его согласовать и сформировать каналы за несколько часов. Наша задача - последняя миля. В тот вечер в голове у меня была каша - полной схемы организации связи я так и не составил - связь по мобильнику в тот день была отвратительнейшей - сеть перегружена, а если соединение установлено, но качество плохое и ограничение по времени разговора было.

18.00

К вечеру (нашему) уже были выработаны основные варианты организации каналов. От Абакана до ОРУ-500 на СШ ГЭС системы передачи работали исправно, на самой СШ ГЭС - оборудование вышло из строя, но оптический кабель уцелел. Решено, временный ЛАЦ организовать на кроссе АТС (туда проще было подать электропитание через окно).

20.00

Намечены основные способы организации канала, работа по организации канала начнется с утра.

18.08.2009


Утром (8.00) приступили к работе. Решено - гоним из Абакана 2 Е1, один из них конвертим в эзер. В качестве конвертора - 26-я циска. По счастливой случайности нашлась с Е1 на борту (вернее, осталась с тех времен, когда ТТК всех по Е1 подключал). На последней секции от ОРУ-500 до ЛАЦ СШ ГЭС - пара каких то PDH мультиков. Собственно и все - дальше только все включить и настроить. И включили и настроили.

К 12.00 местного связь установили. Канал собрали менее чем за 24 часа с момента первого звонка. Можно ставить плюсик себе в актив - организовал такое дело, не выходя из офиса. Ай да молодец.

Канал связи для спасателей СШГЭС: хроника событий глазами участника

15.00

Через 3 часа канал упал - зависла циска. Перегрузили, все встало на место. Инцидент взяли на заметку, но особого внимания не придали. МЧС-свцы сказали, что это по их вине – они что-то с циской пытались делать в то время. Сказали им чтобы больше так не делали.

20.00

Инцидент повторился и на этот раз – без чьего-либо участия. К этому времени я уже успел довольным добраться до дома, но пришлось вернуться в офис. Собрали штаб у технического, решили, что так дело не пойдет. Надо обеспечить качественный канал. Для этого:
1. Выезжаем с бригадой на место, доводим до ума существующий канал и организовываем новый;
2. Ввиду полного дефицита оборудования на месте аварии, берем все что нужно (и в запас на всякий случай) из своих загашников. В загашниках нашлась 28-я циска, комплект медиаконверторов на 80 км, одноглазых SFP на 40 км (весьма нетипичное для нас оборудование), хороший ИБП на 2 кВт, патчи нужной длины и с нужными разъемами, коммутаторы (DES-3028).


Короче, план такой - основной канал явно сбоит из-за питания и на 99% из-за плохого заземления. Оборудование заземлить и обеспечить качественным ЭП. Организовать резервный канал по темным волокнам (их наличие я выяснил еще днем, заодно и длины пролетов узнал), и не двушку, а минимум сотку эзера. Сделать автоматическое резервирование каналов на 28-й циске. План одобрили. Пока ждали машину, на столе собрали схему для теста совместимости и работоспособности всего оборудования, проверили, все ок. (Бригада у нас собралась – ого-го… Три руководителя подразделений, опыта не занимать. С одной стороны – с избытком, Абаканская бригада и сама справилась бы с поставленной задачей, но по большому счету мы только и ждали предлога для выезда. Да и неизвестно еще, какие могли возникнуть сюрпризы при выяснении обстановки на месте. А сюрпризы были.)

22.00

Загрузились и в путь.

19.08.2009

В Абакан приехали в 6 утра, там нас уже ждал местный ЭТЦ в полном составе, встретились с коллегами энергетиками, скоординировали свои действия следующим образом: делимся на 2 бригады, одна начинает собирать канал из Абакана, вторая с СШ гЭС, определили место стыка, еще раз проверили длины пролетов, наличие патчей, сверили номера волокон, проверили приборы и вперед.

08.00

Наша бригада поехала на ГЭС. У нас еще была задача и основной канал до ума довести. Поскольку я отвечал за общее руководство этим мероприятием, мой телефон не умолкал. На ГЭС нас ждали сильно. В первую очередь, как оказалось, им нужен был наш бесперебойник, а не наш канал (хотя он тоже им нужен был позарез). Ирония судьбы - ГЭС без надежного электроснабжения. Бесперебойник у них был, но старенький и слабый. А МЧС-овцам от него много чего надо было запитать. Скрипя сердцем дали им свой, но в Москву сообщили - без своего бесперебойника не можем гарантировать качественной связи (вечером нам его все же вернули). Ну да ладно, мы еще не приступили к выполнению своей основной задачи.

12.00

Первым делом, поставили свою 28-ю, заземлили, запросили перерыв связи, перекинули на нее канал, освободили 26-ю. Начали собирать резервный канал. Первым делом пробросили оптический патч из ЛАЦа в кросс (30 м кабель ростов в воде и машинном масле, покореженные двери, выдавленные окна, перевернутые стойки). Патч добросовестно уложили в гофру. Подготовили оборудование для приемки второго канала. (Вот тут-то все самое интересное начало происходить. Изначально, резервный канал организовывался как альтернативный, т.е. тот, что сделаем первым, тот и будет работать. Нужды делать два канала, один из которых будет в горячем резерве, не было – мили с таким резервированием на моей практике не встречались. Однако, как то само собой стало понятно – нужен горячий резерв. МЧС-совцам нужна была 100% гарантия работоспособности канала, вечером в 20.00. Свою спутниковую станцию в качестве резерва они использовать не могли – ей мешали горы, вынос на открытое пространство тоже не помог – до штаба в качестве продления они сделали радиоканал, который был крайне нестабилен. Был еще один вариант – мы со своим каналом были там не первыми. К тому времени подтянул свой канал и наш основной конкурент. Вот только МЧС-совцы не горели желанием его использовать – у них свой опыт работы с магистральщиками. Дали нам время до 18.00 – поднять резерв. После 18.00 – если не поднимаем резерв, отбирают у нас 28-ю, и перенастраивают ее на… Чем бы закончился для нас такой исход, я думаю объяснять не надо)

14.00

Бригада из Абакана уже собрала первую секцию канала (80 км), мы только приступили – поехали по трассе кроссировать волокна (несмотря на применение одноволоконной схемы, кроссировали 2 волокна – на всякий случай). Участок за участком скроссировали вторую секцию.

17.00

Приехали в точку стыка, монтируем оборудование, подключаем линию. Не поднимается. Затухание по 1330 на пределе. Перекур 5 минут. Лихорадочно ищем решение проблемы. Должно работать. Есть предложение собрать дополнительную секцию, Рядом есть комплект оборудования на 20 км. Комплект оборудования есть, но нет времени – резервный канал должен быть собран к 18.00.

17.45

Канал поднялся. SFP нам попались умные. Они запомнили последнее включение (тестовое) на короткое расстояние и понизили уровень передачи. И 5 минут доводили уровень передачи до приемлемого.

Канал связи для спасателей СШГЭС: хроника событий глазами участника

К 18.00 оба канала были приняты в работу. Настроили схему с горячим резервированием, между делом замониторили все оборудование, вплоть до бесперебойника.

20.00

Сеанс ВКС министра с первыми лицами. Так вон оно что, вот для чего резервирование нужно было…

21.00

Уставшие и довольные возвращаемся в Абакан. Устраиваемся в гостиницу, 100 грамм, анализ событий, делимся впечатлениями. Единодушно считаем, что в обычных условиях за такой срок подобную задачу выполнить было бы невозможно – на согласования и получение доступа ушли бы месяцы, если не годы..

37 комментариев
Оставлять комментарии могут только авторизованные пользователи
Robot_NagNews
Robot_NagNews

Материал:

Авария на Саяно-Шушенской ГЭС — индустриальная техногенная катастрофа, произошедшая 17 августа 2009 года. В результате аварии погибло 75 человек, оборудованию и помещениям станции нанесён серьёзный ущерб. «Авария уникальна, — сказал, в частности, министр РФ по делам гражданской обороны, чрезвычайным ситуациям и ликвидации последствий стихийных бедствий С. К. Шойгу. — Ничего подобного в мировой практике не наблюдалось». Сегодня, в преддверии годовщины этих событий, публикуем рассказ человека во многом способствовавшего ликвидации последствий этой катастрофы.

 

Полный текст

Гость Alex
Гость Alex

Здорово. Вот это работа!

Гость mcdemon
Гость mcdemon

Афигхеть О_О

Janus
Janus

Горы мешающие спутнику - это круто. "И даже вынос на открытую площадку не помог". Видимо очень крутые горы :)

Требование горячего резерва, когда свой радиоканал куда-то там то потухнет то погаснет - нахер не нужное извращение.

Гость Mimohodom
Гость Mimohodom

Это на каком же градусе спутник висит МЧС-овский?

Mikler
Mikler

Приятно на фото Маком-MX :) E1 похоже через него. Правда CPU старый но там новый и не нужен.

Зачем же вы ему вентиляцию не оставили...

vsn
vsn
Горы мешающие спутнику - это круто.
Однако факт есть факт. Горы там действительно крутые. Первые сеансы они действительно через спутник устанавливали - если кто помнит - картинка там была еще та. Рядом с АБК они сигнал не смогли поймать, на удалении - потребовалось продление. По меди продление сделать не получилось - не нашлось приличного DSL модема. После того как был поднят первый канал, от спутника сразу отказались.

А резервирование - на моей памяти это единственная миля которая была сделана по таким требованиям. Причину резервирования я уже объяснил (если что, следующим утром туда ВВП наведывался и как раз по этому каналу общался с центром)

Приятно на фото Маком-MX :) E1 похоже через него.
Я если честно даже внимания не обращал на марку мультиплексора :) К нашему приезду он уже работал.
witch
witch

к счастью(хоть и звучит иронично) когда наступает ЧП связисты всегда умеют быстро собраться, договорится(известная способность русских - договариваться :) ), и продумать действия. опять-же смекалки нам не занимать.

Молодцы!

Janus
Janus

Вот я и говорю, что требование резерва - фуфло.

Не резервирование им надо было требовать постфактум, а ловить профилактически на очке тех кто сам себе ремонтные работы заказывал и оплачивал до того как...

Невыполнение своих обязанностей одними ведет к неразумной загрузке других работой по обеспечению связью первых.

 

"Был еще один вариант – мы со своим каналом были там не первыми. К тому времени подтянул свой канал и наш основной конкурент. Вот только МЧС-совцы не горели желанием его использовать – у них свой опыт работы с магистральщиками. Дали нам время до 18.00 – поднять резерв. После 18.00 – если не поднимаем резерв, отбирают у нас 28-ю, и перенастраивают ее на… Чем бы закончился для нас такой исход, я думаю объяснять не надо)

"

Чем? Очень даже надо объяснять. Или не писать вовсе. Когда два тела спят - они ведь связью не пользуются и Россия не рушится!

Или они спят по очереди? ;)

Если бы для проезда этих тел дорогу всем остальным не перекрывали, чтобы организовать "резервную милю" для быстрой доставки к пункту назначения, то в стольной пробок бы помене было. И больше бы НИЧЕГО не поменялось!

 

Что было бы сделано мычиэсом?

Оно село бы на конкурента, которого:

1. типа терпеть не может.

2. у которого канал без резерва.

Так и у вас был бы без резерва! При прочих равных вы выигрываете по пункту №1.

nuclearcat
nuclearcat
Первым делом, поставили свою 28-ю, заземлили, запросили перерыв связи, перекинули на нее канал, освободили 26-ю.
После 18.00 – если не поднимаем резерв, отбирают у нас 28-ю,
В первую очередь, как оказалось, им нужен был наш бесперебойник, а не наш канал (хотя он тоже им нужен был позарез). Ирония судьбы - ГЭС без надежного электроснабжения. Бесперебойник у них был, но старенький и слабый. А МЧС-овцам от него много чего надо было запитать.

 

Супер...

Ребята хорошо сработали, а у МЧС, как показали и пожары - способность только люксовые тачки покупать, а для работы ничего нет.