vk_logo twitter_logo facebook_logo googleplus_logo youtube_logo telegram_logo telegram_logo

Что показывает Яндекс? 13

Дата публикации: 26.08.2011
Количество просмотров: 13776

Яндекс – найдется все! Такой слоган избрали в компании, выйдя с рекламой на экраны телевизоров в далеком 2000 году. Тогда, когда интернет для многих еще был этакой «terra incognita». Сейчас, когда Яндекс обрабатывает более 100 млн. запросов в день, любые проблемы в доступности поискового сервиса для пользователей сразу приобретают известность и попадают в ТОП событий дня. Последняя крупная авария, несмотря на то, что произошла под вечер пятницы 19 августа, быстро привлекла внимание СМИ и заполнила новостные ленты: РБК, Лента и другие. «Телеком блог» предположил аварию на «одном из дата-центров», а Маркер так и вообще поспешил разразиться бредом, иначе и не назвать, про «основной канал доступа в интернет». В любом случае нельзя отрицать, что перед выходными Яндексу «везет» уже не в первый раз. По версии самой компании авария связана «из-за проблемы с маршрутизацией в сети», что вероятно соответствует правде:

В Яндексе используются протоколы маршрутизации – внутренний протокол OSPF и внешний протокол BGP. Из-за ошибки информация обо всех внешних маршрутах оказалась во внутренних таблицах маршрутизации. Это примерно на три порядка больше маршрутов, чем обычно. Протокол OSPF не рассчитан на такое количество. В результате у всех маршрутизаторов кончилась память, и они перестали работать.

Естественно, влияние Яндекса на Рунет бесспорно. У многих начальная страница браузера установлена на этот сайт. Поэтому когда пользователям выдается ошибка, многие обращаются к своим провайдерам с проблемой, «почему у меня не работает интернет». Впрочем, это не единственное, что показывает авария. Как крупный генератор контента, «падение» сервиса оказывает сильное влияние на профиль трафика в сети. Давайте поглядим на аварию с этого ракурса. На момент начала аварии, примерно в 17.00 или немногим ранее, утилизируемая полоса на основной точке обмена трафиком (Internet Exchange, IX), в Москве, на MSK-IX, составляла порядка 430G (Gbps). С момента аварии потеря в объеме данных составила примерно 20G. Получается, что доля трафика Яндекса в общем объеме составляла 4.65%. На второй крупной точке обмена трафиком, в Санкт-Петербурге, SPB-IX, потеря трафика составляла 5.36% (~1.5G) в общем объеме от 28G.

Статистика MSK-IX по данным на 20.08.2011 17:10

Но гораздо увлекательнее посмотреть на региональные точки обмена трафиком. В свое время, с декабря 2007 года Яндекс (AS13238) активно развивался, выходя за пределы МКАД и второй столицы, северной. Компания присутствует на IX в крупных городах России. К примеру, в Новосибирске (NSK-IX), Екатеринбурге (EKT-IX) и Самаре (SMR-IX) потери в объеме трафика по результатам аварии составили 28.57%, 25.93% и 41.18% соответственно. А вот в Ростове-на-Дону объем трафика снизился на 700M (Mbps), что при общей полосе на начало аварии в 850M говорит о заметной доле Яндекса на RND-IX в 82.35%. То есть, фактически без Яндекса этой точки обмена нет. По текущим ценам на IP-транзит в Ростове-на-Дону затраты в месяц на порт емкостью 700М оцениваются в 210-245 тыс. рублей.

 

Статистика RND-IX по данным на 20.08.2011 17:05 

Естественно, объем трафика, «гуляющий» сейчас на RND-IX, небольшой. Что такое полоса 1G для взаимодействия между сетями операторов по меркам области? Копейки. Тем не менее, нам важен факт, который показывает значительное влияние Яндекса на точки обмена трафиком, особенно в регионах. И есть предположение, что это влияние, имея в виду не один Яндекс, а контент в сумме, и не только на IX, а интернет вообще, - в дальнейшем будет увеличиваться.

Тенденция, когда пользователь «выбрал из каталога, нажал и смотрит», ведет к увеличению доли видео трафика, который по природе своей статичен и ассиметричен. Сидя за экраном телевизора больше смотрят, чем создают, даже несмотря на то, что YouTube в свое время показал такое чрезвычайно удивительное явление, как пользователей–производителей контента. Сейчас большинство контент-провайдеров сделали выбор в пользу прямого распределения видео, от сервера к клиенту. Вероятность появления симметрии при дистрибуции видео-онлайн мала. Однако глядя на такие приложения как PPLive и PPStream, не говоря уже о Adobe Flash Cirrus, где тоже задействованы элементы peer-to-peer (P2P), исключать полностью этот сценарий нельзя. И все-таки пока, в ближайшие годы, асимметрия предполагается явная. Все дело в защите и монетизации контента, а также доверии «бонз» от индустрии развлечений.

Понятно, что «тяжелый» трафик формируется не только видео. Обновления программного обеспечения, графика, музыка, игры, социальные сети – все это, и еще много другое представлено в интернете. Но, несмотря на «безграничность» и глобальность интернет, ключевая роль в различных сегментах будет принадлежать ограниченному ряду игроков. Сколько «выдержит» Рунет социальных сетей? Основная масса пользователей сразу назовет Вконтакте и Одноклассники. Кто-то добавит в список LiveJournal, Facebook, Twitter и LinkedIn, а еще где-то с трудом вспомнят о профессионалах и «бюрократах», то есть Регионалочку.

Какая часть контента будет отвечать за наиболее крупную долю трафика? В исследовании Cisco VNI Usage Study приведен пример, когда в Северной Америке в 2010 году доля в 29% от общего объема трафика 100 крупнейших сайтов приходилось на первые десять. В Азии это значение составляло порядка 42%, а в Латинской Америке 36%. По данным Arbor Networks, тенденция к укрупнению контента стала ярко заметна уже в 2009 году. Если в 2007 году 50% трафика приходилось на более чем тысячу ASN, то к 2009 году уже на 150 ASN.

Презентация ATLAS Internet Observatory: 2009 Annual Report на NANOG47

Бурный рост трафика, в виду нарастающих объемов, особо заметный в последние годы: требует расширения емкости портов на магистрали. При этом если предполагать увеличение доли видео, суточный профиль потребления трафика будет меняться в сторону значительного роста объема в часы пик, то есть говоря привычным для телевидения термином - в прайм-тайм. Когда основная масса пользователей приходит с работы и смотрит фильмы у телевизора в гостиной, играет в игры, общается с друзьями, - и все это через интернет. Растущий разрыв между пиковой и средней загрузкой будет уменьшать утилизацию портов, а значит играть на увеличение доли затрат на магистраль в общей структуре расходов. Впрочем, дело здесь не только в деньгах. Иногда, а лучше сказать зачастую, магистраль просто «не поспевает» за ростом трафика.

Итак, мы имеем четыре составляющие для развития региональных точек обмена трафиком: кто и что будет отдавать, кто будет потреблять и причинно-следственную связь. Как видно по Красноярску, где на один город размещаются сразу две (!) точки обмена трафиком, KRS-IX и Sibir-IX (бывшая KR-IX), сумма пиков значений по которым уже сегодня превышает 22G – потребность в точке обмена есть, и время, увеличивая эти нужды, пока работает на развитие модели IX. Правда, нельзя забывать, что ценность Internet Exchange, завися от количества участников, маршрутов, их уникальности и объемов, растет до определенного значения по экспоненте. Самый трудный этап – это пройти вначале критическую точку, или как говорит Питер Нортон на DrPeering, - «запустить горб». Как вы думаете, что мешает это сделать по другим городам России?

От редакции: если у вас есть чем поделиться с коллегами по отрасли, приглашаем к сотрудничеству
Ссылка на материал, для размещения на сторонних ресурсах
/articles/article/20985/chto-pokazyivaet-yandeks-.html

Комментарии:(13) комментировать

8 сентября 2011 - 0:46
Robot_NagNews:
#1

Материал:
Яндекс – найдется все! Такой слоган избрали в компании, выйдя с рекламой на экраны телевизоров в далеком 2000 году. Тогда, когда интернет для многих еще был этакой «terra incognita». Сейчас, когда Яндекс обрабатывает более 100 млн. запросов в день, любые проблемы в доступности поискового сервиса для пользователей сразу приобретают известность и попадают в ТОП событий дня.

Полный текст


8 сентября 2011 - 13:27
Tosha:
#2

Развитию региональных точек обмена трафиком мешает конкурентная борьба и невозможность договориться кто кому говорит ку три раза платит.

Одно дело Москва (Питер и др. миллионники, тот же Красноярск), где многие провайдеры сидят по разным районам и не планируют пересекаться в обозримом будущем (более терпимо смотрят на то, как развивается сосед на другом конце города) и совсем другое дело город 100т населения.


8 сентября 2011 - 19:46
diper:
#3

"Прежде чем что-то продать, надо что-то купить" (кот Матроскин). Я считаю IX это вполне себе коммерческое предприятие, которое может, и должно получать доход и прибыль. Так что вопрос, кто-кому платит, можно решать созданием площадки, независимой, или "не совсем" зависимой, от операторов доступа. Давайте представим, что договорились. Организовались. Состыковались и ... и чего? Что будем гонять, то есть пропускать?

В Ростове, на RND-IX, между операторами, три из которых держат первые позиции по абонентской базе, последовательно, Спарк, ЦТС и ЮТК - объем трафика составляет 150М. И это еще не известно, сколько в этих 150M составляет доля CDN NGENIX. Как видите, это просто копейки. Разделите 150M пропорционально на операторов, и из-за такой мелочи не каждый оператор даже средней руки будет заморачиваться.
Приведу другой пример из своей практики. Год 2008, начало весны, Краснодар. ТТК с РТ цены еще не опустили, безлимитка для физика или юрика была нонсенсом. Поэтому полосы на магистрали мерили хорошо если 10-ками М(ЮТК отдельная песня). Между двумя операторами, магистраль у которых была примерна по емкости равна и составляла порядка 30М, был пиринговый стык на 2М. Мне показывали утилизацию этого порта,- она стремилась к нулю.

PS: Кстати, в том же Красноярске операторов никак не больше, во всяком случае не на порядок точно, чем к примеру, в Ростове. И если брать в обсуждение, то конечно не города 100 тыс. населения :)


8 сентября 2011 - 20:10
Прохожий:
#4

Просмотр сообщенияdiper (08 сентября 2011 - 18:46) писал:

В Ростове, на RND-IX, между операторами, три из которых держат первые позиции по абонентской базе, последовательно, Спарк, ЦТС и ЮТК - объем трафика составляет 150М.


Координация и пиринг по "серым" сетям плюс ретрекер - и можно планировать много гиг ;)


8 сентября 2011 - 21:28
VVG:
#5

Просмотр сообщенияdiper (08 сентября 2011 - 18:46) писал:

ЦТС и ЮТК


Их нет на RS.


9 сентября 2011 - 11:44
Tosha:
#6

Просмотр сообщенияПрохожий (08 сентября 2011 - 19:10) писал:

плюс ретрекер - и можно планировать много гиг


Позиция такая - да, мне будет лучше - но и конкуренту тоже! А вдруг ему будет лучше, чем мне? Да ну нафиг!

Расшарить свой DC++ и на абонентов конкурента? В сад! Я лучше пущу в свой DC++ москвичей! Или питерцев, если ближе.

Вот так и растут эксченджи Питера и Москвы...


9 сентября 2011 - 14:51
UglyAdmin:
#7

Всё правильно.
Специально посчитал трафик с адресов конкуретнов во внешке. Сильно менее 1% получилось, даже всплески до 100М не доходят.
Ну и нафига местный IX может быть нужен?


10 сентября 2011 - 1:09
Janus:
#8

Просмотр сообщенияVVG (08 сентября 2011 - 20:28) писал:

Просмотр сообщенияdiper (08 сентября 2011 - 18:46) писал:

ЦТС и ЮТК


Их нет на RS.


Исполняют правила опэгопников?
Так эти двое в соответствии с оными могли бы локальный пир поднять, пока их паханы все под единую аску закосят.
Может такой пир есть, но мы его не видим?


10 сентября 2011 - 1:16
Janus:
#9

Просмотр сообщенияUglyAdmin (09 сентября 2011 - 13:51) писал:

Всё правильно.
Специально посчитал трафик с адресов конкуретнов во внешке. Сильно менее 1% получилось, даже всплески до 100М не доходят.
Ну и нафига местный IX может быть нужен?


Фсё, что может быть пропущено мимо магистрала, долно быть пропущено мимо магисрала ;)
Называется "пропущенный трафик" © Клава Маус.

И какие после это претензии к магистралам, что они видите ли трафик провов, не пирящихся в одном городе, гоняют через Мск или Нетод?!
Получается, что на опэгопников молиться надо - за то, что отличаются по менталитету от общесреднего по стране (хорошо не то, что у тебя корова хорошо доится, а что у соседа сдохла) и хоть как-то замыкают траф внутри России.
Почему до сих пор не молимся?! На каком таком основании???!!! :)))

Вы бы попробовали линк поднять и подержать его пару месяцев.
Делать же выводы на основании петлевого обмена... ну по крайней мере несерьезно :(


10 сентября 2011 - 13:05
VVG:
#10

Просмотр сообщенияJanus (10 сентября 2011 - 00:09) писал:

Может такой пир есть, но мы его не видим?



Нет там его. Да и Ростелек там присутствует ASкой Ростовэлектросвязи, у которой нет клиентов.

[root@web ~]# traceroute aaanet.ru
traceroute to aaanet.ru (80.80.111.254), 30 hops max, 60 byte packets
1 10.39.192.254 (10.39.192.254) 0.021 ms 0.006 ms 0.006 ms
2 77.233.3.249 (77.233.3.249) 1.058 ms 1.049 ms 1.035 ms
3 94.25.13.249 (94.25.13.249) 1.024 ms 1.507 ms 1.498 ms
4 95.167.93.158 (95.167.93.158) 19.658 ms 33.521 ms 33.520 ms
5 m10-cr01-po11.msk.stream-internet.net (212.188.41.57) 23.729 ms 23.307 ms 23.313 ms
6 ss-crs-1-be7.msk.stream-internet.net (195.34.59.205) 44.692 ms 53.343 ms 49.164 ms
7 m9-crs-1-be9.msk.stream-internet.net (195.34.59.250) 44.017 ms 39.967 ms 53.774 ms
8 vsd-cr01-te1-1.vor.stream-internet.net (195.34.53.170) 53.609 ms 44.215 ms 39.608 ms
9 o7-cr01-te1-1.kam.stream-internet.net (195.34.53.162) 40.096 ms 48.449 ms 39.409 ms
10 o2-cr01-te1-1.shakhty.stream-internet.net (195.34.53.158) 49.007 ms 53.819 ms 53.887 ms
11 a51-cr01-te1-4.rostov.stream-internet.net (212.188.1.230) 49.246 ms 39.670 ms 53.868 ms
12 comstar-cts-a51-cr01.rostov.stream-internet.net (212.188.16.34) 39.769 ms 54.480 ms 49.290 ms
13 s0-ats32.aaanet.ru (213.27.31.99) 40.414 ms 54.437 ms 40.045 ms
14 ns.aaanet.ru (80.80.111.254) 49.981 ms 49.976 ms 54.489 ms


Обсудить на форуме

Оставлять комментарии могут только зарегистрированные пользователи

Зарегистрироваться