vk_logo twitter_logo facebook_logo googleplus_logo youtube_logo telegram_logo telegram_logo

#281 P2P и загрузка бэкбонов

Дата публикации: 27.08.2006
Количество просмотров: 8805

Разное.

Начали приходить письма по теме покупки|продажи небольших домашних сетей и уже зрелых Ethernet-провайдеров. В общем, ситуация конечно тривиальна - вопрос, как обычно, лежит в плоскости соотношения цены и качества. Политика и принципы в реальном бизнесе очень гибки.

Однако есть и интересные особенности. Обобщать еще рано, маловато материалов (традиционно их жду на этот ящик). Но вот письмо, суммирующее негативный опыт:

В вопросах покупки сетей, как больших, так и небольших не сложилось достаточно устойчивого мнения "да - покупать" или "нет - не покупать". Такие провайдеры, как Корбина, к примеру, принципиально не покупают небольшие сети. И я с ними согласен.

Путь развития небольшой нелегальной сети в Москве. Примерно в 1996 году группа единомышленников решила создать сеть - было проштудировано множество различной доступной литературы, поняты принципы построения, закуплено оборудование (тогда еще коаксиал и платы "NE-2000 совместимые"). Все концентраторы/коммутаторы вешаются по квартирам или в отгороженных частях общих коридоров. Лицензий, понятное дело - никаких.

1998 год. с развитием технологий параллельно с коаксиалом в отдельно взятом здании прокладывается витая пара. Интернета для всей сети пока нет.

1999-2000 год. единомышленники изыскали способ заработать - продавать Интернет через свой Ethernet. Закупается простенький сервер, на нем поднимается FreeBSD. Сервер ставится в чьей-то квартире или в чьем-то коридоре.

2001 год. Расцвет "бизнеса" без фирмы и без лицензий - абонентов становится порядка 70. Проводов, естественно, становится вагон. В сети - зоопарк из Acorp, 3COM, D-Link и прочих. Сервер нужен мощнее, желательно - не один, чтоб еще там файлы хранить. Ставить сервера некуда - никому из них не нужен шумящий и потребляющий большое количество энергии сервер в квартире. Решено использовать служебное этажное помещение. В экстренном порядке перекладывается проводка в это помещение. Проводов не хватает - 90% абонентов сидит на скрутке. Все кабельные трассы забиты - провода новых абонентов прокладывают с боями.

2002 год. Одному из наших единомышленников приходит в голову идея легализоваться. Остальные его идею охаивают - "Ты что? Тебе так плохо что-ли?". Абонентов становится более сотни. В сети растет зоопарк. Подключают второй, третий дом. Сеть начинает лагать.

2004 год. Абонентов уже под 200. Сеть лагает постоянно, единомышленники не вылазят с чердаков. Паяют, ваяют. Зоопарк менять не собираются - не на что. Абоненты подключаются по одному раз в 2-3 месяца. Появляются первые ADSLщики (здесь имеются ввиду провайдеры). Конкуренция дикая. Наши сетевики работают на пределе. Постепенно всем это надоедает.

2005 год. Бум подключений к ADSL, Центелу и прочим. Тарифы безлимитные. Наши единомышленники мечутся - кому бы продаться. Грозы потихоньку убивают оборудование. Зоопарк - на месте.

Наши дни. Никому ничего не надо. В результате летней грозу отваливаются два дома - подключать назад их некому. В душе у многих ностальгия по былым временам. Легализоваться сегодня не получится - выход на рынок безумно дорогой.

Путь легальных небольших сетей отличается только количеством абонентов и тем, что многие из них все время работали на пределе рентабельности. Им было не по средствам брать дорогое оборудование Cisco или 3COM. Сеть так же лагает.

Пример из бизнеса. Есть в Москве сеть. 1400 абонентов, по оптике подключены большинство домов. Оборудование: на главных консолидационных точках Cisco, его успели поставить, пока не появился Стрим и была прибыль. А вот дальше - опять Acorp и прочий зоопарк.

Ищут кому бы продаться, так как на безлимитных тарифах много не заработаешь - абонентов маловато. Новые абоненты не приходят, так как часто ложится сеть. Круглосуточной техподдержки нет - и так работают на пределе рентабельности. Старые абоненты постепенно отключаются - уходят к тому же Стриму с его ТВ, Центелу, где качество связи получше и техподдержка круглосуточная, оплата по карточкам или через терминалы, а не налом в офисе. В общем, одни удобства.

Гендиректор и учредитель в одном лице хочет продаться подороже, а покупать за эти деньги никто его не хочет - оборудование старое, плохая репутация, да и еще масса причин.

Вот и получается, что в обоих случаях покупки:

  1. Перекладывать сеть, закупать новое оборудование.
  2. Перезаключать договора, либо заключать их вновь, потому как, у нелегала договоров вообще не было, а у легального репутация плохая - к нему пойдут второй раз с неохотой.
  3. При покупке легального провайдера обязательно что-нибудь нелицеприятное, да всплывет.

Вывод: покупать их не стоит. Получишь больше головной боли, чем если проложить все заново. В данный момент крупные провайдеры стремятся не только подключить как можно больше абонентов (к этому они стремятся всегда и всячески стимулируют потребителя), а зарабатывать на уже имеющейся базе, повышая качество и количество услуг - а новые абоненты сами придут.

Все истории реальные и про нелегала и про легального. Я в какой-то степени, в большей или в меньшей, был участником обеих.

Прислал Бабанин Роман, генеральный директор компании "Порт-22"

 

Ну позитивный опыт покупки - в одном из следующих обзоров...

 


Собор Святой Живоначальной Троицы лейб-гвардии Измайловского полка...

Пожар на фоне оптоволокна и прочих кабелей. Жуть, но хорошо хоть, что никто из людей не пострадал...


Ссылки, ссылочки и ссылища. В основном - по теме МРК "Связьинвеста".

Волга-телеком с предупреждением всего в две недели (и кажется в нарушение законодательства), объявил о повышении стоимости анлимитного доступа вдвое. И ничтоже сумняшеся принуждает абонентов явиться лично (с паспортом) в свой офис для перезаключения договора. Такой вот ласковый сервис от монополистов ADSL... И пока нет нормальных конкурентов - пользователям и возразить особенно нечего.

Конец бесплатного контента.
По мнению аналитиков, массовое появление легальных держателей "тяжелого" контента приведет к тому, что рынок условно бесплатных продуктов практически исчезнет.
Вроде бы и верно... Только если из понятия "интернет" исключить p2p. Впрочем, пока все это слова - тяжелый контент через STB (а по другому вроде как видео-бренды работать не хотят) "очень далек от народа" ©. Строго говоря, его вообще к Сети относить нельзя, и поэтому, извиняюсь за каламбур, соотносить с ней бессмысленно.

Немного смешного. "Конфискованные разъемы" - смотреть внимательно на картинку, они уже использованные.

Продвинутый абонент ходил перезагружать подвисший свитч?


Картина из жизни саппорта. Звонит тетенька - что-то не работает. Все остальное работает, а вот именно это - нет. Ее просят написать быстренько письмо на адрес поддержки...
Через неделю пришло.

письмо

Прислал Слава


Обновление в разделах:

P2P и загрузка бэкбонов

Статью предоставил Виктор С. Грищенко

Убьёт ли всеобщее P2P Сеть?

Новости последнего времени:

  1. Провайдеры пытаются глушить (шейпить) P2P, которое пожирает полосу (по некоторым сведениям, 30-70% траффика на магистралях ведущих ISP это BitTorrent)
  2. Создатели BitTorrent-клиентов разрабатывают методы шифрования траффика, чтобы обойти подавление; ведётся список "плохих" ISP
  3. Создатель протокола BitTorrent Bram Cohen собирается продавать оборудование для кэширования BitTorrent; очевидная цель - заработать на провайдерах, желающих разгрузить магистрали
  4. Японцы, хорошо развившие FTTH (оптику в дом), испытывают перегрузку магистралей; рассматривается даже возможность введения платы за траффик

Налицо некоторый кризис. Примерно понятно, что в дальнейшем потребление тяжёлого контента будет нарастать. Хотя бы потому, что это интересно потребителю. В моду прочно вошёл подкастинг (аудиоблоги), на очереди - влоги (vlogs, видеологи). Интересующиеся могут, например, прослушать и просмотреть выступление в защиту нейтральности Сети в блоге изобретателя Всемирной Сети Тима Бернерса Ли. (Лично мне очень понравилось вот это выступление Гая Кавасаки. Живое видео по информативности и лёгкости восприятия бьёт и слайды и транскрипт, да и подготовленный текст в большом проценте случаев.) На сегодня, для раздачи такого контента потребителям есть три популярных решения, одинаковых по своей сути: Youtube, Google Video, Akamai. Google вот строит новый датацентр в Даллесе, штат Орегон - неподалёку от гидроэлектростанции строятся два ангара размером с футбольное поле - и эти ангары будут набиты серверами под завязку! К каждому ангару прилагается четырёхэтажный холодильник. Решение интересное и масштабное, но не очень красивое. Есть предположение, что для раздачи тяжёлого контента будет использоваться также и BitTorrent: например, Opera уже включила BT-клиент в состав браузера. Таким образом, понимать миссию P2P, как исключительно передачу пиратских фильмов - неправильно. Более того, если доверять теории Одлыжко (Content is not king), а также теории Длинного Хвоста, по которой процветает тот же Амазон, стыренная продукция Голливуда по значимости сильно уступает (уступит) менее хитовым экземплярам мультимедийного контента - вопрос в возможностях технологии. ("Менее хитовые" - это не только влоги, но и такой контент локального значения, как, например, видео с вечеринок, интересное разве что участникам, да ещё тем, кто не смог быть.)

Проблема в том, что P2P начисто убивает маленький коммерческий трюк провайдеров - oversubscribing, а именно - обыкновение нарезать 100 Mbit на 100 полос по 10Mbit каждая. В случае с траффиком Web это работало по понятным причинам. P2P же клиент может отправлять и принимать байты круглые сутки. Кроме того, P2P не любит асимметричных линков, и вообще - создаёт совсем другую картину траффика. Если отказаться от oversubscribing полностью, получим либо обидно узкие клиенские полосы, либо нереальные требования к бэкбонам. Что, если все клиенты будут пользоваться P2P постоянно? Короче, есть ли решение, помимо подавления P2P?

Рассмотрим такое решение, как локализация P2P-траффика. Локализация достижима двумя способами:

  1. через более продвинутые P2P-алгоритмы, либо такую топологию сети, которая подталкивает P2P клиента к скачиванию от локальных пиров
  2. через кэширование P2P-траффика

Технически вариант (2) прост, рассмотрим вариант (1). Если у пользователей симметричные линки, а полоса до "близких" пиров на порядок шире, чем до "дальних", то жадный алгоритм (тот же BitTorrent) будет отдавать предпочтение "ближним" пирам, минимизируя "дальний" траффик. Вопрос: насколько схожи интересы пользователей? Если каждому нужны свои особенные файлы - ни кэширование ни локализация не сработают. Если всем нужно одно и то же - сработают идеально.

Рассмотрим модель сферической сети в вакууме (т.е. для одной условной планеты в космосе :) ). Сеть из N=108 пользователей с теми самыми симметрическими линками. Сеть состоит из 4-х уровней: LAN, MAN, ISP, DFZ. На каждом уровне раздув составляет x100: в LAN 100 юзеров, в MAN 100 LAN и т.д., N=1004.

Каждый пользователь имеет 100Mbit/s до пользователей в той же LAN, 10Mbit end-to-end в MAN, 1Mbit в ISP, 100Kbit по планете. Легко разчесть, что траффик, поднимаемый каждым следующим уровнем, в 10 раз больше: если LAN имеет 100Mbit/s-абоненту-свитч и поднимает 1Gbit/s, то MAN имеет аплинк 10Gbit/s, а ISP 100Gbit/s. Вся сеть верхнего уровня (DFZ) держит 10Tbit/s - это достижимо либо гигабитными линками от каждого ISP к каждому либо, согласно теории scale-free сетей, там образуется ~10 хабов-тяжеловесов Tier-1, каждый из которых имеет сеть, в сумме тянущую терабит. Цифры, как видим, большие, однако записывать их в научную фантастику уже поздновато.

Предполагается, что P2P алгоритмы столь хороши, что если файл попадает в LAN/MAN/ISP, то его дальнейшее распространение внутри (практически) не требует внешнего траффика.

Теперь рассмотрим распределение популярности файлов. Чтобы не быть голословным, я вытянул с ThePirateBay первые 1000 страниц торрентов из категории "Video", отсортированных по количеству скачиваний. Распределение популярности  отображено слева, в лог-лог координатах. По горизонтали - log2(количество скачиваний торрента), по вертикали - log2(количество таких торрентов).

Как оказалось, распределение соответствует распределению Ципфа (~1/x). По той же кривой распределена частота использования слов в языке, популярность тагов/блогов/много чего ещё, см. теорию Длинного Хвоста (Long Tail). Т.о. подобный результат вполне ожидаем.

Разделим торренты на четыре категории:

  1. нелокализуемые
  2. ISP-локализуемые
  3. MAN-локализуемые
  4. LAN-локализуемые
Критерий локализуемости: если торрент востребован, как минимум, 1% пользователей (грубо, 1 в каждой LAN), то считаем его LAN-локализуемым. Если 1 в MAN, т.е. 10-4N скачиваний - то торрент MAN-локализуемый и т.д. Конечно, тут я пренебрегаю всем, чем можно, но нас интересует не число, а порядки - модель всё равно условная. Количество торрентов, принадлежащих к каждой из категорий, равно площади под кривой Ципфа на отрезке, скажем, от x1=10-4N до x2=10-2N (для MAN-локализуемых). А это ~∫1/x dx ~ log x| = log x2 - log x1 = log 100*x1 - log x1 = c, т.о. считаем, что ~1/4 торрентов принадлежит к каждой из категорий. Соответственно, количество траффика (байт) в некоторой категории, предполагая одинаковый размер торрентов и учитывая их разную популярность, это: ∫1/x x dx ~ … ~ 100*x1 - x1. Т.е. количество байт в каждой следующей категории в 100 раз меньше: MAN-локализуемый траффик равен 1% LAN-локализуемого, ISP-локализуемый - 1% MAN-локализуемого, нелокализуемый - 1% ISP. То же относится и к кэшированию - это просто другой метод локализации - менее красивый, зато более пригодный для сетей с асимметричными клиентскими линками.

Итак, при разумной топологии сети и всеобщем P2P нагрузка на бэкбоны будет довольно мала - на несколько порядков меньше, чем в том случае, когда то же видео раздаёт Google со своих площадок (уж в этом-то случае траффик пробежится по всем бэкбонам). Более того, какую площадку Google ни построй, доставка от него видео на 100 или даже 10Mbit крайне маловероятна в обозримой перспективе. А локализованный P2P траффик такие скорости дать может (по крайней мере, в представленной модели :) ). Таким образом, в перспективе, P2P - друг провайдера (а также пользователя и малого производителя).

Подытожу, как по идее должна измениться топология сети, чтобы от WWW/клиент-серверно-ориентированной стать P2P-ориентированной:

  1. от асимметричных линков перейти к симметричным (ADSL сасёт)
  2. иметь достаточную пропускную способность по горизонтали, на каждом уровне (сасут большие L2-сети, например ATM, с центральным IP-маршрутизатором; там вся нагрузка ляжет на центр)
  3. QoS - это лишнее, однако каждый даунлинк должен иметь гарантированную порцию аплинка, на каждом из уровней (чтобы один активист не выел всю трубу)
Конечно, возможен некоторый тяжёлый переходный период, наподобие World Wide Wait 90-х, однако, как видим, всё может устаканиться ко вполне разумной и стабильной картине. Злоупотребления же такими мерами, как введение платы за траффик (там где её уже нет), согласно теории того же Одлыжко о flat rates, приведут лишь к подавлению спроса и отставанию развития инфраструктуры. Ведь пользователь, приучивший себя экономить траффик, нисколько не заинтересован проапгрейдить канал, например.

Замечание: при чтении статьи обязательны поправки на местные реалии :)

Материал по установке IP-видеокамеры

Местное Товарищество Собственников Жилья одного из домов (попадающего в поле действия нашей компьютерной сети) владеет эксклюзивным правом использовать землю во дворе для парковки своих автомобилей. Не довольные тем, что жители соседних домов разделяют это право вместе с ними, жильцами из ТСЖ было принято решение установить шлагбаум.

Дабы это устройство не было разрушено наглыми соседями, решили обезопасить его охранной камерой. Упираясь в бюджет 5000 рублей, и уже имея готовую Ethernet-инфраструктуру в данном доме, было принято решение об установке элементарной "IP-мыльницы" от D-Link – DCS-900.

Сам D-Link позиционирует ее как исключительно офисную камеру. Не забывая об этой исключительности, боялись, что сложно будет подобрать для нее термокожух. Но все обошлось - спас отечественный производитель… Кожух был подобран идеально.

Забавный вышел момент. Продавая термокожух, продавец посоветовал залепить изолентой индикаторы на камере, дабы избежать бликов от стеклянной крышки на записи.

Хотя в родном софте для камеры (запись и мониторинг) есть опция "Led OFF" (красиво, конечно, работать с админкой такой камеры, да вот только "camera reboot" после настройки какого-нибудь контраста или банальной цветности утомляет – впрочем, как известно, те же 604-ые маршрутизаторы от данного производителя болеют теми же симптомами)

P.S. В первое утро хулиганов мы не застали, но интересные кадры все же были. "Детка, сделай это быстро, пока никто не видит" (900 кб)

Прислал Андрей Лугачев, замдиректора ООО "ЛанСпектр" , г. Томск

Аврал от Интерры

Во второй половине дня пропало соединение с одним из дальних узлов оптической магистрали. Выехавшая бригада обнаружила поверженные столбы и повреждённую в двух местах оптику.

Прислал Денис А.Перминов, системный администратор ООО "Интерра", г.Первоуральск

Материал "Ужастик от Бенет" убран по просьбе автора, Антона Меллера (г. Челябинск).


Анонс

  • Продолжение статьи о коммутаторах, уже сверстано;
  • Биологическая атака на кабель;
  • Выгодно ли покупать небольшие сети? (продолжаю сбор статистики, жду писем);
  • Послегрозовой ремонт управляемых коммутаторов;
  • Традиционный пункт - ссылки на интересные места Сети. Присылайте письма - они очень нужны для обзоров. Обязательно сообщайте, нужна ли Ваша подпись, ссылка, или лучше обойтись без нее;
  • В "ужастиках" - Понятие локальных сетей в отделении Сбербанка.
Долгострой:
  • Пример настройки сервера для терминирования PPPoE (перенесен в долгострой);

От редакции: если у вас есть чем поделиться с коллегами по отрасли, приглашаем к сотрудничеству
Ссылка на материал, для размещения на сторонних ресурсах
/articles/reviews/15586/p2p-i-zagruzka-bekbonov.html

Обсудить на форуме

Оставлять комментарии могут только зарегистрированные пользователи

Зарегистрироваться