Яндекс – найдется все! Такой слоган избрали в компании, выйдя с рекламой на экраны телевизоров в далеком 2000 году. Тогда, когда интернет для многих еще был этакой «terra incognita». Сейчас, когда Яндекс обрабатывает более 100 млн. запросов в день, любые проблемы в доступности поискового сервиса для пользователей сразу приобретают известность и попадают в ТОП событий дня. Последняя крупная авария, несмотря на то, что произошла под вечер пятницы 19 августа, быстро привлекла внимание СМИ и заполнила новостные ленты: РБК, Лента и другие. «Телеком блог» предположил аварию на «одном из дата-центров», а Маркер так и вообще поспешил разразиться бредом, иначе и не назвать, про «основной канал доступа в интернет». В любом случае нельзя отрицать, что перед выходными Яндексу «везет» уже не в первый раз. По версии самой компании авария связана «из-за проблемы с маршрутизацией в сети», что вероятно соответствует правде:
В Яндексе используются протоколы маршрутизации – внутренний протокол OSPF и внешний протокол BGP. Из-за ошибки информация обо всех внешних маршрутах оказалась во внутренних таблицах маршрутизации. Это примерно на три порядка больше маршрутов, чем обычно. Протокол OSPF не рассчитан на такое количество. В результате у всех маршрутизаторов кончилась память, и они перестали работать.
Естественно, влияние Яндекса на Рунет бесспорно. У многих начальная страница браузера установлена на этот сайт. Поэтому когда пользователям выдается ошибка, многие обращаются к своим провайдерам с проблемой, «почему у меня не работает интернет». Впрочем, это не единственное, что показывает авария. Как крупный генератор контента, «падение» сервиса оказывает сильное влияние на профиль трафика в сети. Давайте поглядим на аварию с этого ракурса. На момент начала аварии, примерно в 17.00 или немногим ранее, утилизируемая полоса на основной точке обмена трафиком (Internet Exchange, IX), в Москве, на MSK-IX, составляла порядка 430G (Gbps). С момента аварии потеря в объеме данных составила примерно 20G. Получается, что доля трафика Яндекса в общем объеме составляла 4.65%. На второй крупной точке обмена трафиком, в Санкт-Петербурге, SPB-IX, потеря трафика составляла 5.36% (~1.5G) в общем объеме от 28G.
Статистика MSK-IX по данным на 20.08.2011 17:10
Но гораздо увлекательнее посмотреть на региональные точки обмена трафиком. В свое время, с декабря 2007 года Яндекс (AS13238) активно развивался, выходя за пределы МКАД и второй столицы, северной. Компания присутствует на IX в крупных городах России. К примеру, в Новосибирске (NSK-IX), Екатеринбурге (EKT-IX) и Самаре (SMR-IX) потери в объеме трафика по результатам аварии составили 28.57%, 25.93% и 41.18% соответственно. А вот в Ростове-на-Дону объем трафика снизился на 700M (Mbps), что при общей полосе на начало аварии в 850M говорит о заметной доле Яндекса на RND-IX в 82.35%. То есть, фактически без Яндекса этой точки обмена нет. По текущим ценам на IP-транзит в Ростове-на-Дону затраты в месяц на порт емкостью 700М оцениваются в 210-245 тыс. рублей.
Статистика RND-IX по данным на 20.08.2011 17:05
Естественно, объем трафика, «гуляющий» сейчас на RND-IX, небольшой. Что такое полоса 1G для взаимодействия между сетями операторов по меркам области? Копейки. Тем не менее, нам важен факт, который показывает значительное влияние Яндекса на точки обмена трафиком, особенно в регионах. И есть предположение, что это влияние, имея в виду не один Яндекс, а контент в сумме, и не только на IX, а интернет вообще, - в дальнейшем будет увеличиваться.
Тенденция, когда пользователь «выбрал из каталога, нажал и смотрит», ведет к увеличению доли видео трафика, который по природе своей статичен и ассиметричен. Сидя за экраном телевизора больше смотрят, чем создают, даже несмотря на то, что YouTube в свое время показал такое чрезвычайно удивительное явление, как пользователей–производителей контента. Сейчас большинство контент-провайдеров сделали выбор в пользу прямого распределения видео, от сервера к клиенту. Вероятность появления симметрии при дистрибуции видео-онлайн мала. Однако глядя на такие приложения как PPLive и PPStream, не говоря уже о Adobe Flash Cirrus, где тоже задействованы элементы peer-to-peer (P2P), исключать полностью этот сценарий нельзя. И все-таки пока, в ближайшие годы, асимметрия предполагается явная. Все дело в защите и монетизации контента, а также доверии «бонз» от индустрии развлечений.
Понятно, что «тяжелый» трафик формируется не только видео. Обновления программного обеспечения, графика, музыка, игры, социальные сети – все это, и еще много другое представлено в интернете. Но, несмотря на «безграничность» и глобальность интернет, ключевая роль в различных сегментах будет принадлежать ограниченному ряду игроков. Сколько «выдержит» Рунет социальных сетей? Основная масса пользователей сразу назовет Вконтакте и Одноклассники. Кто-то добавит в список LiveJournal, Facebook, Twitter и LinkedIn, а еще где-то с трудом вспомнят о профессионалах и «бюрократах», то есть Регионалочку.
Какая часть контента будет отвечать за наиболее крупную долю трафика? В исследовании Cisco VNI Usage Study приведен пример, когда в Северной Америке в 2010 году доля в 29% от общего объема трафика 100 крупнейших сайтов приходилось на первые десять. В Азии это значение составляло порядка 42%, а в Латинской Америке 36%. По данным Arbor Networks, тенденция к укрупнению контента стала ярко заметна уже в 2009 году. Если в 2007 году 50% трафика приходилось на более чем тысячу ASN, то к 2009 году уже на 150 ASN.
Презентация ATLAS Internet Observatory: 2009 Annual Report на NANOG47
Бурный рост трафика, в виду нарастающих объемов, особо заметный в последние годы: требует расширения емкости портов на магистрали. При этом если предполагать увеличение доли видео, суточный профиль потребления трафика будет меняться в сторону значительного роста объема в часы пик, то есть говоря привычным для телевидения термином - в прайм-тайм. Когда основная масса пользователей приходит с работы и смотрит фильмы у телевизора в гостиной, играет в игры, общается с друзьями, - и все это через интернет. Растущий разрыв между пиковой и средней загрузкой будет уменьшать утилизацию портов, а значит играть на увеличение доли затрат на магистраль в общей структуре расходов. Впрочем, дело здесь не только в деньгах. Иногда, а лучше сказать зачастую, магистраль просто «не поспевает» за ростом трафика.
Итак, мы имеем четыре составляющие для развития региональных точек обмена трафиком: кто и что будет отдавать, кто будет потреблять и причинно-следственную связь. Как видно по Красноярску, где на один город размещаются сразу две (!) точки обмена трафиком, KRS-IX и Sibir-IX (бывшая KR-IX), сумма пиков значений по которым уже сегодня превышает 22G – потребность в точке обмена есть, и время, увеличивая эти нужды, пока работает на развитие модели IX. Правда, нельзя забывать, что ценность Internet Exchange, завися от количества участников, маршрутов, их уникальности и объемов, растет до определенного значения по экспоненте. Самый трудный этап – это пройти вначале критическую точку, или как говорит Питер Нортон на DrPeering, - «запустить горб». Как вы думаете, что мешает это сделать по другим городам России?
Материал:
Яндекс – найдется все! Такой слоган избрали в компании, выйдя с рекламой на экраны телевизоров в далеком 2000 году. Тогда, когда интернет для многих еще был этакой «terra incognita». Сейчас, когда Яндекс обрабатывает более 100 млн. запросов в день, любые проблемы в доступности поискового сервиса для пользователей сразу приобретают известность и попадают в ТОП событий дня.
Полный текст
Развитию региональных точек обмена трафиком мешает конкурентная борьба и невозможность договориться кто кому говорит ку три раза платит.
Одно дело Москва (Питер и др. миллионники, тот же Красноярск), где многие провайдеры сидят по разным районам и не планируют пересекаться в обозримом будущем (более терпимо смотрят на то, как развивается сосед на другом конце города) и совсем другое дело город 100т населения.
"Прежде чем что-то продать, надо что-то купить" (кот Матроскин). Я считаю IX это вполне себе коммерческое предприятие, которое может, и должно получать доход и прибыль. Так что вопрос, кто-кому платит, можно решать созданием площадки, независимой, или "не совсем" зависимой, от операторов доступа. Давайте представим, что договорились. Организовались. Состыковались и ... и чего? Что будем гонять, то есть пропускать?
В Ростове, на RND-IX, между операторами, три из которых держат первые позиции по абонентской базе, последовательно, Спарк, ЦТС и ЮТК - объем трафика составляет 150М. И это еще не известно, сколько в этих 150M составляет доля CDN NGENIX. Как видите, это просто копейки. Разделите 150M пропорционально на операторов, и из-за такой мелочи не каждый оператор даже средней руки будет заморачиваться.
Приведу другой пример из своей практики. Год 2008, начало весны, Краснодар. ТТК с РТ цены еще не опустили, безлимитка для физика или юрика была нонсенсом. Поэтому полосы на магистрали мерили хорошо если 10-ками М(ЮТК отдельная песня). Между двумя операторами, магистраль у которых была примерна по емкости равна и составляла порядка 30М, был пиринговый стык на 2М. Мне показывали утилизацию этого порта,- она стремилась к нулю.
PS: Кстати, в том же Красноярске операторов никак не больше, во всяком случае не на порядок точно, чем к примеру, в Ростове. И если брать в обсуждение, то конечно не города 100 тыс. населения :)
Координация и пиринг по "серым" сетям плюс ретрекер - и можно планировать много гиг ;)
Их нет на RS.
Позиция такая - да, мне будет лучше - но и конкуренту тоже! А вдруг ему будет лучше, чем мне? Да ну нафиг!
Расшарить свой DC++ и на абонентов конкурента? В сад! Я лучше пущу в свой DC++ москвичей! Или питерцев, если ближе.
Вот так и растут эксченджи Питера и Москвы...
Всё правильно.
Специально посчитал трафик с адресов конкуретнов во внешке. Сильно менее 1% получилось, даже всплески до 100М не доходят.
Ну и нафига местный IX может быть нужен?
Исполняют правила опэгопников?
Так эти двое в соответствии с оными могли бы локальный пир поднять, пока их паханы все под единую аску закосят.
Может такой пир есть, но мы его не видим?
Фсё, что может быть пропущено мимо магистрала, долно быть пропущено мимо магисрала ;)
Называется "пропущенный трафик" © Клава Маус.
И какие после это претензии к магистралам, что они видите ли трафик провов, не пирящихся в одном городе, гоняют через Мск или Нетод?!
Получается, что на опэгопников молиться надо - за то, что отличаются по менталитету от общесреднего по стране (хорошо не то, что у тебя корова хорошо доится, а что у соседа сдохла) и хоть как-то замыкают траф внутри России.
Почему до сих пор не молимся?! На каком таком основании???!!! :)))
Вы бы попробовали линк поднять и подержать его пару месяцев.
Делать же выводы на основании петлевого обмена... ну по крайней мере несерьезно :(
Нет там его. Да и Ростелек там присутствует ASкой Ростовэлектросвязи, у которой нет клиентов.
[root@web ~]# traceroute aaanet.ru
traceroute to aaanet.ru (80.80.111.254), 30 hops max, 60 byte packets
1 10.39.192.254 (10.39.192.254) 0.021 ms 0.006 ms 0.006 ms
2 77.233.3.249 (77.233.3.249) 1.058 ms 1.049 ms 1.035 ms
3 94.25.13.249 (94.25.13.249) 1.024 ms 1.507 ms 1.498 ms
4 95.167.93.158 (95.167.93.158) 19.658 ms 33.521 ms 33.520 ms
5 m10-cr01-po11.msk.stream-internet.net (212.188.41.57) 23.729 ms 23.307 ms 23.313 ms
6 ss-crs-1-be7.msk.stream-internet.net (195.34.59.205) 44.692 ms 53.343 ms 49.164 ms
7 m9-crs-1-be9.msk.stream-internet.net (195.34.59.250) 44.017 ms 39.967 ms 53.774 ms
8 vsd-cr01-te1-1.vor.stream-internet.net (195.34.53.170) 53.609 ms 44.215 ms 39.608 ms
9 o7-cr01-te1-1.kam.stream-internet.net (195.34.53.162) 40.096 ms 48.449 ms 39.409 ms
10 o2-cr01-te1-1.shakhty.stream-internet.net (195.34.53.158) 49.007 ms 53.819 ms 53.887 ms
11 a51-cr01-te1-4.rostov.stream-internet.net (212.188.1.230) 49.246 ms 39.670 ms 53.868 ms
12 comstar-cts-a51-cr01.rostov.stream-internet.net (212.188.16.34) 39.769 ms 54.480 ms 49.290 ms
13 s0-ats32.aaanet.ru (213.27.31.99) 40.414 ms 54.437 ms 40.045 ms
14 ns.aaanet.ru (80.80.111.254) 49.981 ms 49.976 ms 54.489 ms