1. Статьи
Заметки пользователей
14.03.2012 14:52
21092
56
14.03.2012 14:52
PDF
21092
56

Рунет магистральный. Перепрошивка. Часть 2: Сколько вешать в граммах?

Автор: Janus&Co

В рамках простой модели Кирвана как «чёрного ящика», к которой прилагался живой вменяемый продаван, история взаимоотношения компаний, статистика проблем на Сети магистрала и относительная прогнозируемость его поведения, на сетевом уровне в среднем по больнице можно было рассматривать магистрала как «дырку в Сеть» определенной ширины в текущий момент времени с планами по её расширению, и ожиданиям по изменению тарифа в соответствии с привычным трендом.

Раньше (когда деревья были большими, а трава зеленой) в стране был хотя бы один магистрал (не обязательно один и тот же в каждом регионе, а в некоторых даже два одновременно), пусть и с чуть более высокими ценами, которого можно было спокойно считать дыркой в Инет, за которой все проблемы решаются достаточно оперативно, и ограничиться этим уровнем представления о внешнем мире связности.

Обычно эту нишу занимал ТТК, пока не стал «таким же как все».

При наличии светлого пятна на общем фоне можно было перерулить трафик с возникшего узкого места, чтобы хотя бы частично снять остроту проблемы, и ждать пока глюк починят или он сам рассосётся.

К сожалению, офисные войны бьют не только по интерфейсу продаж. Точно так же, если не сильнее, это сказывается на технических подразделениях, судьба которых внешнему миру заметна менее, зато необычное поведение Сети, оставшейся без опытных нянек, видно невооруженным глазом половине Рунета.

Исключения в отдельных городах, которым повезло с подводом больших канальных ёмкостей и узлами, построенными с запасом по мощности на несколько лет вперёд, лишь подтверждают это правило.

Сейчас простого представления «дырка, ширина, цена» стало недостаточно и Интернет от российских магистралов напоминает б/у авто без документов и без гарантии. Такой автомобиль требует расширенной диагностики при покупке и регулярных (не менее раза в квартал) техосмотров с использованием дефектоскопа.

«Пока есть покупатели, интересующиеся не качеством колбасы, а вопросом «скока в ней грамм», - будут и продавцы, торгующие не связностью, а байтами на развес». (EVD)

Пинги и трейсы в контрольные точки не утеряли своей актуальности, только стоит помнить, что это весьма косвенные показатели качества сети. Также нужно учитывать, что с внешних лукинглассов обычно идут мелкие пакеты, и возможность варьировать их размер есть далеко не всегда.

У мелких пакетов есть одно важное свойство: у них гораздо меньше вероятность попасть под полисер, шейпер и прочие неожиданности, нежели у больших. Поэтому нередко получается, что криминала не видно, а комфорт у юзера пропал. Из невесёлого общения с коллегами:

«Стандартная картинка, появляющаяся с регулярностью раз в неделю, – это когда часть абонентов взрывается на форуме по поводу плохой связи то к одному, то к другому ресурсу. И вроде все как всегда, за дыркой в интернет следим, полок не допускаем, но клиенты с каждым разом все сильнее вонзают вилы в операторское тело со словами «раньше была связь, а сейчас одно подобие».

Еще один абзац-зарисовка. Клиент нынче пошел другой, у нас даже присказка в городе есть: «Привыкайте иметь не одну пару обуви, не одни брюки, не один телевизор в квартире и не одного провайдера» (с) Sharada (и это было сказано еще осенью 2008 года). Так вот, при проблемах с доступом к нужному ресурсу, доступ сразу проверяется через другого оператора, и там все работает. Стандартная отмазка – проблема у поставщика или у самого ресурса – не работает».

Так что лучше всего сеть проверяется органолептическими методами – хомяки чувствуют своими глазками то, что 32-х байтный пинг не замечает. Хомячкам надо верить, а таких продвинутых, как Mantyr (http://forum.nag.ru/forum/index.php?showuser=61391), брать на работу или хотя бы давать им бесплатный доступ в Инет – окупится сторицей.

Ещё бы магистралы наконец поняли, что их стандартные отмазки или еще более красноречивое отсутствие ответов ТОЖЕ НЕ РАБОТАЮТ – проблемы есть и их придётся решать. А страусиная политика прятать голову в песок приведёт лишь к накоплению критической массы проблем вплоть до возникновения классической революционной ситуации. Котёл уже кипит и некому приподнять крышку. Сегодня еще можно решить проблемы «сверху», не дожидаясь, когда их начнут решать «снизу»…
Полноценно Сеть проверяется только генерацией реального профиля трафика с пакетами разной величины и потоком, желательно, от 100 метров до гига. Для этого подошли бы, например, Нетпроб, Висла или Аксидиан. Однако есть очевидная засада: мало иметь подобную железку у себя – тест требует ответного пробника. Решение хорошо подходит для больших корпоративных сетей, чтобы автоматом отслеживать соблюдение SLA на ip vpn или EoMPLS магистралами: ставишь пробник в каждом офисе, настраиваешь на инициацию теста по расписанию или на автоответ и имеешь возможность посмотреть на качество трансмиссии между любыми своими двумя точками.

Согласятся ли магистралы для демонстрации качества поставить пробники внутри своей сети и разрешить к ним доступ своим клиентам – не знаю. Можно обойтись без них по принципу «помоги соседу, чтобы помочь самому себе»: договориться группой операторов на совместное использование зондов. Входной билет – поставить пробник у себя. При достаточном числе участников можно будет видеть качество магистралов без их участия. Крупные российские контент-ресурсы, скорее всего, тоже не откажутся установить по несколько зондов – они не менее вас заинтересованы, чтобы ваши пользователи имели к ним качественный доступ.

Скажу по секрету, что Нетпробы давно стоят в Синтерре и используются для обслуживания клиентов по госзаказу.  Дело пошло настолько успешно, что на последних тендерах наличие средств контроля SLA и удалённого доступа клиента к системе сбора статистики с пробников стало практически безусловным требованием заказчиков.

В публичный открытый доступ Синтерра это вряд ли даст, но кто мешает операторам, подключенным к МФ, требовать показать товар лицом на регулярной основе: сделали для госухи и корпоратов – ничто не мешает расставить еще три десятка зондов в районе крупных транзитных узлов и разрешить им автоответ пробникам, установленным у вас, а также дать доступ к статистике тестов между этими «возле узловыми» пробниками или даже возможность запуска тестовых потоков между ними.

Затраты – копеечные. Организационные проблемы прав доступа и ограничения тестовой нагрузки – решаемые. Конкурентное преимущество – очевидное! Сами они еще долго будут думать делать – не делать, давать – не давать, зачем им это нужно, стоит ли заморачиваться и какой это принесет эффект. При наличии трёх десятков запросов дело быстро сдвинется с мёртвой точки. Это выгодно и вам и им! Вам нужны объективные данные качества покупаемого вами товара, ныне отсутствующие, а им – частично перевести клиента на самообслуживание, как банки, переложить на вас часть своей работы по мониторингу их магистральной сети.

Мир, дружба, жвачка? Пошла реклама Мегафона-Синтерры? Нет. Реклама возможности!

Вряд ли кто по первой части может заподозрить авторов в излишней любви к российским магистралам. Есть проблемы – мы их показываем, может быть даже в излишне жестких формулировках. Редкие возможности «дружить за» тем более должны быть расписаны.

Кто первый их реализует в интересах клиентов – того и тапки! Остальным придётся догонять.

Только ждать ли нам воплощения идеи нагрузочного тестирования профилем трафика, близким к реальному, от компании, у которой ЛГ второй год погоду на Марсе показывает?

Полезное правило ОПГ «каждый участник должен иметь ЛГ» родилось не от хорошей жизни, а от суровой практики «что-либо скрывает тот, кому есть что скрывать».

На заре ОПГ в РТКомме были закрыты пинг и трейс – известно кем и зачем, т.к. даже вывод из-под шейперов icmp убирал безумную девиацию задержки, но явные доказательства существования удлинённых аж до Шатов петель было невозможно не заметить. Закрыть show ip bgp на тот момент тупо не хватило технической грамотности – там эти петли были видны в полный рост с характерным локалпрефом 301, но мало кто их там искал – квалификация обоих сторон оставляла желать лучшего.

В ответ ТТК пускал свой исходняк на РТК через «сильно» удлинённые буфера, пакеты так явно, как в шейпе противника, не терялись, они просто долго шли, но сессии скачки тяжелого контента не могли разогнаться.  Метод не такой грубый как шейп и потому менее действенный. Если бы еще объем контента у ТТК на тот момент был больше на порядок и составлял половину или хотя бы треть от мощности ДЦ РТК – их действие было бы замечено и два ковбоя договорились бы не в 2008, а в 2004 году.

А вы думали, что ТТК в 2004 был белым и пушистым и не ходил за гранью дозволенного интернет-полиси?! Сама же идея «шейпить» была подсмотрена и украдена у обидевшегося на ОПГ Зенона. Вот кто показал молодым отморозкам, как правильно изготовить боевой топор! J Историю, как Релком с Демосом несколько лет не брали в пир Глобал, наверное, никто не помнит – поверьте, всё было не на пустом месте: было у кого учиться «дружить против».

Против локалпрефа клиенты из загашников откопали управление входящим с помощью морспецификов. Последний всплеск шейперомании отмечен у РТК/РТв 2008. Однако использование морспецификов всё еще в ходу. Пора бы и от этого наследия прошлого, лишь ломающего рутинг и приводящего к локальным разрывам связности, отказаться…

Чей ЛГ сейчас вызывает вопросы? Однозначно Мегафона. Неужели им есть что скрывать? Не знаю. Смотрим только факты:

1.Серые адреса на внутренней сети.

Что это? Попытка в зародыше исключить возможность DDOS по борде? Или кривые руки? Не знаю. Но при серых адресах клиенту невозможно сделать пинг или трейс до узла магистрала, вызывающего подозрения на наличие проблемы – наблюдаем выливание с грязной водой ребенка. У клиентов отобрали полезную опцию траблшутинга.

2. Отсутствие мнемонических поименований узлов, показывающих географическую привязку.

Лень? Или попытка скрыть, что часть трафика из Мск шла в Сибирь (как сейчас не проверял) удлинённым маршрутом через ЮФО, кажется через Ростов?

3.От узла клиента до апстрима МФ один хоп. Или ни одного. Кривая реализация? Глюки оборудования? Или полное сокрытие внутренней топологии? Зачем, что это даёт и от чего спасает?! Не понимаю.

Все остальные магистралы своих клиентов обеспечили качественным ЛГ? Кто из магистралов что в этой области не доделал или сделал неправильно – доставайте свои наблюдения и на форум: страна должна знать своих героев! А им придётся нас рано или поздно услышать.

Для начала им следовало бы посмотреть на ЛГ Телии или хотя бы Ретна (второе многим Вера не позволит), насколько там разлапистое множество точек, из которых можно посмотреть что, как и куда ходит. Да у Голды их, помнится, пяток был – эти, скорее всего, по мере запуска полноценной магистрали в регионы (а не как сейчас кусочно-рваным покрытием) будут добавлять новые точки. А остальные?

Реализовав минимально необходимый набор доступных в ЛГ точек (Мск, Спб, Ростов, Воронеж, Краснодар, Саратов, Волгоград, Ярославль, Нижний Новгород, Самара, Волгоград, Уфа, Казань, Пермь, Екатеринбург, Челябинск, Сургут, Тюмень, Омск, Нск, Барнаул, Красноярск, Иркутск, Чита, Хабаровск, Владивосток) можно получить отсрочку для спокойного развёртывания системы «нагрузочного тестирования», пока клиенты будут радоваться полезному и простому инструменту.

Ну неужели добавка в ЛГ двух с половиной десятков точек – это сложная задача?

Что скажете, господа Магистралы?!

Предположим, что все описанные выше технические средства, предназначенные для того, чтобы заглянуть «по другую сторону интерфейса» по мановению волшебной палочки завтра стали доступны. Насколько станет и станет ли от этого проще и легче жить?

Станет. Но ненамного. Стоит ли из-за малости напрягаться и ломать копья?

Стоит, потому что «дорога длиной в тысячу шагов начинается с первого шага и должна быть пройдена шаг за шагом», а «под лежачего мужика вино не течет». Надо вставать и идти. На пути анализа «чёрного ящика» лежит много очевидных открытий, ведущих к ДРУГИМ выходам из ситуации.

Свежий вопрос из зала:

«Региональному оператору нужно мониторить все ключевые ресурсы, плюс мониторить появление этих ресурсов, плюс, делать это через всех своих аплинков, потом полученные кубики складывать в заданные по ширине каналы? Это очень не просто, и не всегда технически решается. А можно как-то иначе?»

Простой ответ - нельзя. Если те, кто должен следить за качеством своей связности и загрузкой магистральной Сети, этого не делают, то вам придётся следить за ними вместо них.

Сложный ответ "можно" состоит из двух половинок.

Первая: Кирваны, кто не может следить за своей Сетью и оперативно расшивать узкие места, должны отказаться от продолжения навязывания своей сложной услуги доступа в Инет и сосредоточиться на предоставлении простой услуги – транспорта.

Вторая: те, кто на основе арендованного транспорта будут сами строить свой Инет для своих клиентов, не просто должны, а обязаны ознакомиться с опытом Кирванов, чтобы не только взять у них лучшее, но главное, чтобы не повторять чужих ошибок и, следя сейчас за чужими Сетями, учиться следить за своим Интернетом к тому моменту, когда вы соберете его из конструктора. И чтобы те, кто воспользуется вашим сервисом, никогда не сравнивали его качество с тем ужасом, что наблюдался в октябре-ноябре прошлого года у одной из самых мной уважаемых компаний.

Понимаю, что сложный ответ устроит не всех. И очень надеюсь, что те, кто не станет строить свой Инет, смогут помимо связности от Кирванов воспользоваться на разумных условиях результатами  труда своих более безбашенных коллег, вынужденных по тем или иным причинам рискнуть и первыми пойти по весьма тернистому пути.

Кто скажет: «мы не можем ждать милостей от магистралов, взять их у них – наша задача!»?

В нынешних условиях никто кроме вас!

Тут полагается налить и поднять тост за «безумство храбрых», которые решают задачи, не зная, что у этих задач решение отсутствует.

А весь мой текст, кажущийся излишне подробным и после прочтения крайне очевидным, – ровно для безбашенных: описание как есть, что происходит, почему так получилось. Описание чужого опыта – ведь должны среди вас быть мудрые, которые умеют учиться на чужих ошибках!

Если кому-то стало скучно – просто перейдите на другую страничку, для этого нужен лишь один клик мыши.

56 комментариев
Оставлять комментарии могут только авторизованные пользователи
Robot_NagNews
Robot_NagNews

Материал:

В рамках простой модели Кирвана как «чёрного ящика», к которой прилагался живой вменяемый продаван, история взаимоотношения компаний, статистика проблем на Сети магистрала и относительная прогнозируемость его поведения, на сетевом уровне в среднем по больнице можно было рассматривать магистрала как «дырку в Сеть» определенной ширины в текущий момент времени с планами по её расширению, и ожиданиям по изменению тарифа в соответствии с привычным трендом.

 

Полный текст

Урал ТТК
Урал ТТК

«Обычно эту нишу занимал ТТК, пока не стал «таким же как все»

 

И чем вам ТТК не угодил - отличная компания сам в ней работаю. Смотрю на ситуацию изнути, и не вижу серьезных проблем, а если они и есть, то решаются достаточно оперативно.

Pal__74
Pal__74

отличная компания сам в ней работаю.

 

Как посмотришь работные сайты, такое впечатление, что в УралТТК народ раз в полгода меняют стабильно.

А нач. отдела оперативного управления раз в два месяца :) Даже у Росов нет такой текучки...

rm_
rm_

Автору очередные аплодисменты стоя.

netime
netime

«Обычно эту нишу занимал ТТК, пока не стал «таким же как все»

 

И чем вам ТТК не угодил - отличная компания сам в ней работаю.

Обычный совок телеком. а так да "отличная компания"

Janus
Janus

Уважаемый УТТК!

Во-первых: передавайте личный поклон Ковалёву.

Во-вторых: прочитайте 29-31 странички треда "xyz упал", от 5-7 октября 2010г.

А потом тщательно вспомните, что было в этих же числах в следующем году :(((

Подсказка: оно продолжалось с 1 октября по 15 ноября 2011.

После этого аргументы про "отклонению к совершенству" трефовых не принимаются.

secandr
secandr

ТрансТелеком был очень даже интересной конторой. Дорогой, но качественной. Сапорт, который моинторил оборудование и пытал клиентов при каждой перезагрузке маршрутизатора, комерсы через которых можно было пробить любой заказ, любую хотелку.

 

А потом всех уволили. Сапорт заменили роботом рассылающим письма. Комерсов видимо тоже поприжали. Транс стал неповоротливым и унылым по соотношению цена\качество.

 

Говорю как клиент с 2000г.

Pal__74
Pal__74

Еще УТТК неплохо бы сменить обязательное уведомление об изменениях аннонсируемых сетей (причем уведомление факсом!) на автоматический апдейт фильтров с базы райпа, как это сделано у всех вменяемых магистралов.

А то даже уже не совок, а каменный век получается... :)

vIv
vIv

Я уже давно говорю, что установка у себя на сети пробника QCheck оператору обойдётся бесплатно, а юзерам даст возможность без паранои и подозрений нажать кнопочку "Всё в порядке?" и увидеть успокаивающую зелёную лампочку. Ну, это если всё в порядке, конечно... Но для этого надо, чтобы какое-то время техподдержка на все вопросы типа "а вот мне кажется..." настоятельно рекомендовала поставить себе клиента QCheck и не фантазировать. Ну это про своих прямых клиентов. А вот договориться с пиринг-соседями и обменяться адресами этих пробников, - уже шаг дальше.

mantyr
mantyr

Собственно для меня десяток точек в LG это скорее негативный момент, ибо ручками проверять и сравнивать мне не хочется.

Janus&Co, вы сейчас описываете по своей сути нечто вроде LG.v2 (я про систему нагрузочного тестирования). Я бы предложил помимо всего этого переделать LG следующим образом:

1. сделать к нему удобное API

2. предусмотреть формат некой агрегации статистических данных на каждом таком LG куда бы входило:

а) с кем узел пирится, какие данные по нагрузке, ошибкам и тестам нагрузки

б) кто может подтвердить данные (LG узлы которые участвовали в нагрузочном тестировании от других операторов)

3. прокачать систему что бы такие отчёты можно было брать тоннами, от раз в 10 секунд до 100 раз в секунду по необходимости. Я уже не говорю о том что бы поставить публичный аналог netflow для трансляции ошибок всем желающим.

* Понятно что у операторов часто LG стоит не там где можно развернуть нечто существеннее и быстрее.

 

Конечно хотелось бы что бы операторы честно указывали что за хопы у них в сети:) Выдавали цифровую карту каналов:) Но вы ведь понимаете, что это не реально, стратегические данные, часто значение которых хуже чем то что играет в воображении.

 

---------

 

Для этого подошли бы, например, Нетпроб, Висла или Аксидиан.
Я уже давно говорю, что установка у себя на сети пробника QCheck оператору обойдётся бесплатно

Вы нас лампочками не запугивайте:) Нам Open Source подавай, данные которые можно посчитать и проверить в ручном, полуавтоматическом и автоматическом режиме.

Часто важно знать не что сломалось, а где сломалось - у магистрала, у сети оператора, у твоего доступа к сети оператора и так далее... Каждый тесты пишит сам под свои конкретные нужды, а провайдерам (в том числе магистральным) следовало бы дать побольше данных для анализа всем желающим. Не маловажна работа и над написанием некоего стандарта описывающего порядок выдачи и перечень таких данных, что бы можно было брать их у разных операторов и сравнивать в достоверной форме.

 

Хм...

 

Таёшь публичные Full View BGP источники... говорят в рассылке quagga.net упоминался один, но мне о нём пока ничего не известно, других источников через поиск найти не удалось. Помнится года четыре назад на просторах форума упомянался некий агрегационный сервис который собирал Full View от всех желающих для мониторинга. Может кто напомнит что это был за проект и жив ли?