Автор статьи Уильям Нортон (William B. Norton), перевод Дмитрия. Оригинал - можно найти тут.
Новая пиринговая интернет-экосистема возрождается из пепла, оставшегося после краха телекоммуникационного сектора США в 1999-2000 годах. Глобальные поставщики транзитного трафика обанкротились, а многие операторы, озабоченные ранее только захватом доли рынка (не считаясь с расходами), теперь вынуждены тщательно рассчитывать свои бизнес-модели, пишет Уильям Нортон (William B. Norton), сооснователь компании Equinix, одного из мировых лидеров на рынке дата-центров и точек обмена трафиком.
Ниже описана схема хаотичного развития пиринговой экоситемы в последнее время, построенная на базе четырехлетних исследований. Дается определение пиринговой интернет-экосистемы, как набора автономных интернет-регионов со своими собственными группами участников обмена трафиком, каждая из которых имеет особенности, определяющие их пиринговую политику.
Вместе с тем, большая часть документа посвящена развитию американской пиринговой интернет-экосистеме и ее значительным изменениям в последнее время, которые оборачиваются серьезными финансовыми потерями для Tier 1 ISP.
Глобальная пиринговая экосистема интернета.
Описание эволюции американской пиринговой экосистемы требует введения ряда терминов и определений. Интернет состоит из миллионов устройств (маршрутизаторы, серверы, рабочие станции и т.д.), управляемых большим количеством операторов, поставщиков информации и конечных пользователей. Все они будут называться "интернет-игроками" ("Internet players"). Эти "игроки" являются независимыми (но связанными) членами системы, которую мы будем называть "экосистемой". Каждый игрок имеет вполне определимую роль, связанных с ней набором побуждений и соответствующим поведением.
Определение: Пиринговая экосистема интернета состоит из сообщества свободно присоединенных операторов, которые сотрудничают между собой, используя связанные сети.
В мире существует много пиринговых экосистем интернета, состоящих из своих собственных операторов, осуществляющих доступ к глобальной сети в конкретном интернет-регионе. Существуют значительные различия между региональными пиринговыми экосистемами интернет. А глобальная пиринговая экосистема может быть смоделирована как набор связанных пиринговых экосистем интернет-регионов.
Оператор для предоставления доступа к интернет, должен сам иметь доступ к глобальной сети. Достигается это на базе транзитных или пиринговых отношений, а также на их комбинации, в пределах интернет-региона.
Определение: Интернет-регион - это часть интернета, определяемая, как правило, географическими границами, в которой пиринговая интернет-иерархия может быть отображена нижеследующим рисунком.
Каждая пиринговая экосистема состоит из трех общих классов интернет-игроков: операторы первого яруса (Tier 1), операторы второго яруса (Tier 2) и поставщики информации. Каждый из игроков в пределах своего класса имеет похожий на других уровень влияния, сходные мотивацию и поведение. Рассмотрим поближе игроков каждого класса.
Региональные провайдеры Tier 1.
Определение "Tier 1 ISP" часто используется не совсем правильно и требует отдельной формулировки.
Определение: региональным оператором 1 яруса (Tier 1 ISP) является такой провайдер, который имеет доступ ко всей региональной таблице маршрутизации исключительно через пиринговые взаимоотношения. Региональный Tier 1 ISP находится на вершине иерархической структуры, поскольку не должен оплачивать транзит трафика. Все остальные провайдеры вынуждены покупать транзит трафика у оператора 1 яруса либо напрямую, либо косвенно, через посредников. Такое определение Tier 1 ISP очень важно, поскольку позволяет показать мотивацию пиринговых отношений.
Нижеследующий рисунок иллюстрирует позицию Tier 1 ISP и хорошо отображает три основных вида соединений: нисходящий транзитный канал связи для транзитных потребителей, пиринговые взаимодействия и магистраль, соединяющая маршрутизаторы ядра разных операторов. Рассмотрим каждое из них поближе.
Транзитное соединение для транзитных потребителей подключается либо напрямую к маршрутизатору ядра, либо, что бывает значительно чаще, к одному из подчиненных маршрутизаторов. В любом случае, эти линии, как правило, называют "нисходящими потребителями" ("Downstream Customers").
Магистральная линия соединяет маршрутизаторы ядра региональных операторов 1 яруса. Эти маршрутизаторы ядра, а также соединяющие их линии, представляют собой ядро транзитной сети интернет-провайдеров Tier 1 и должны быть достаточно мощными, чтобы обеспечивать передачу больших объемов суммарного (пирингового и транзитного) трафика между ядром и конечными потребителями.
Региональный пиринговый обмен трафиком между операторами осуществляется, как правило, через полносвязную ячеистую сеть (full-mesh), в которую вовлечены все Tier 1 ISP региона. Каждое соединение в этой сети должно обладать достаточной полосой пропускания для двустороннего обмена трафиком между операторами. Все вместе это выглядит следующим образом.
Мотивация пирингового обмена трафиком между региональными Tier 1 ISP заключается в необходимости соединения друг с другом своих клиентов, поскольку исходя из своего определения, транзитный трафик они покупать не могут в принципе. Отношения же с провайдерами, не относящимися к Tier 1 ISP, равно как и с потенциальными клиентами и клиентами других операторов, не вызывают особого желания для организации совместного пиринга. Как будет показано далее, все пиринговые политики в некотором роде отражают отсутствие этого интереса со стороны Tier 1 ISP.
Все вместе, региональные операторы 1 яруса образуют кластер, обеспечивающий полноценный доступ ко всему интернет-региону.
Некоторые интернет-регионы столь велики, что требуют множественных пиринговых соединений для равномерного распределения нагрузки передачи трафика, предназначенного для разных точек приема. Более конкретно эту модель можно оценить на примере взаимодействий американских региональных Tier 1 ISP.
Вышеуказанные операторы имеют полносвязный пиринговый обмен друг с другом в 8 регионах США.
Определение: Tier 2 ISP называются операторы, покупающие и продающие транзитный трафик в пределах интернет-региона.
Модель обмена трафиком Tier 2 ISP во многом подобна модели Tier 1 ISP, но имеет дополнительную (одну или несколько) восходящую связь.
Так же, как и операторы 1 яруса, Tier 2 ISP продают своим клиентам транзит трафика, используя множество способов захвата части рынка. Это может быть облуживание районов, где возможности доступа еще недостаточно развиты, обеспечение связью сельских районов, концентрация усилий на нишевых услугах или определенных секторах промышленности.
Подмножество операторов Tier 2, взаимодействующие на разных рынках, имеют магистральные соединения, образующие их собственную базовую сеть. Ряд операторов Tier 2 работают в узких нишевых рынках и не имеют необходимости подключения к таким базовым сетям.
Tier 2 ISP имеют несколько побуждающих мотивом для пирингового обмена трафиком:
Прежде всего, это уменьшение затрат на оплату транзита. При добровольном обмене трафиком, операторы, как правило, делают это бесплатно. Пиринг в значительной мере снижает необходимые объемы транзита и уменьшает тем самым затраты оператора. Для всех компаний, не являющихся Tier 1 ISP, пиринговый обмен трафиком - один из самых легких способов экономии средств.
Трафик, передаваемый непосредственно от оператора к оператору имеет гораздо меньшее время задержки, нежели тот, что был транслирован через сети поставщиков транзита.
Многие операторы желают иметь больше контроля над маршрутами, по которым передается их трафик. Если производительность работы передающей системы перестанет устраивать оператора, а причина будет скрываться в неэффективности выбранного маршрута, пиринг позволит сформировать альтернативный маршрут.
Немаловажную роль играют и регулирующие ограничения. В США, например, специальный декрет запрещает местным телефонным компаниям связывать узлы базовых сетей за пределами географических границ, в которых они имеют разрешение работать. Этот факт делает невозможным выполнение условий большинства Tier 1 ISP при организации пирингового обмена трафиком. Поэтому местным телефонным компаниям для снижения расходов остается пока только использовать региональный пиринг. До тех пор, пока не изменится регулирующая среда.
Операторы Tier 2 создают пиринговые связи на базе открытых соединений, расположенных в конкретном регионе. Эти связи исторически требовали значительно меньше физических линий, чем пиринговые соединения Tier 1 ISP. В результате, такие пиринговые связи весьма эффективны экономически, связывая значительное количество потребителей и обеспечивая передачу значительных объемов суммарного трафика через каждый порт маршрутизатора. Как правило, Tier 2 ISP осуществляют пиринговый обмен только в тех регионах, где они продают свои услуги. Это создает немалое разнообразие пиринговых отношений в каждом регионе.
Количество и разнообразие операторов Tier 2 намного превосходит таковое для Tier 1 ISP. Для Tier 2 ISP характерны более широкие пиринговые политики, а, кроме того, операторы 2 яруса имеют альтернативу пиринговому обмену - транзит. Региональный пиринг для Tier 2 ISP выступает в качестве основного способа оптимизации организации маршрута для трафика. Несмотря на разнородность операторов 2 яруса, общность интересов подталкивает их к пиринговому сотрудничеству.
Взаимоотношения между операторами 1 и 2 ярусов строятся, зачастую, на конкурентной основе, поскольку и те и другие готовы снабжать крупных клиентов транзитным трафиком. При этом, Tier 2 ISP склонны умалчивать о том факте, что сами покупают "транзит". Поэтому, с точки зрения клиента, граница между Tier 1 и Tier 2 ISP практически незаметна.
Представляя Tier 2 ISP единой группой, необходимо показывать обмен трафика внутри этой группы, транзитный трафик, получаемый от других операторов, а также "транзит", предоставляемый клиентам.
Одним из важнейших игроков экосистемы глобальной сети являются контент-провайдеры. Контент-провайдерами называются все компании, предоставляющие интернет-сервисы, но не продающие "транзит" в пределах пиринговой экосистемы.
Крупные поставщики контента всегда покупали "транзит", чтобы обеспечить конечных пользователей своим контентом. Поэтому их роль и поведение во многом похожи на Tier 2 ISP, за исключением ряда моментов: не продают "транзит", сосредоточены на генерации контента и не стремятся управлять сетями, практически не занимаются анализом и оптимизацией своих пиринговых соединений.
Модель контент-провайдера довольно проста. Она представляет собой объект, имеющий одно или несколько восходящих транзитных соединений с глобальной сетью.
Отношения между контент-провайдерами характеризуются довольно просто: их по умолчанию не существует. Они либо конкурируют друг с другом, либо игнорируют себе подобных. Существует пара исключений, вроде бесплатного непосредственного обмена E-mail между операторами электронной почты или обмена данными через экстрасети в рамках некоторых интеграционных процессов, но ни один из этих вариантов не оказывает реального влияния на пиринговую экосистему.
Отношения между контент-провайдерами и любыми операторами также строятся по достаточно несложной схеме: все ISP выступают в этом случае продавцами, среди которых контент-провайдеры делают выбор, опираясь на большое количество параметров.
Пиринговая экосистема интернета.
Собирая воедино все вышеописанные модели, можно получить обобщенную картину пиринговой экосистемы интернета.
Группируя модели, с учетом деления основных игроков на Tier 1 ISP, Tier 2 ISP и контент-провайдеров, можно проследить относительные роли в иерархии обмена трафиком.
Одной из ключевых характеристик интернет-региона является соотношение между исходящим и входящим трафиком из других интернет-регионов. Вместе с тем, интернет-провайдер проникающий в "чужую" (например, иностранную) пиринговую экосистему занимает там положение уровня Tier 2, вне зависимости от того, какую роль он играет в своей пиринговой экосистеме.
Склонность к пирингу и пиринговая политика.
Можно обобщить некоторые моменты с помощью понятий "склонности к пирингу" и "пиринговой политики".
Определение: Склонностью к пирингу называется предрасположенность к пиринговому обмену или против него, оцениваемая по демонстрируемому поведению в пиринговой экосистеме.
Существует четыре общих класса склонности к пирингу, хорошо различаемые в рамках пиринговой экосистемы:
Открытый - готовность к пиринговому обмену с любым объектом без предварительных условий.
Выборочный - готовность к пиринговому обмену с учетом определенных ограничений и условий (например, оговаривается минимальный объем или соотношение объемов исходящего и входящего трафика). Пиринговая политика описывает эти ограничения, а их выполнение является необходимым условием пирингового обмена.
Ограничительный - отсутствие желания к пиринговому обмену. Условия, описываемые пиринговой политикой настолько трудны для реализации, что их можно считать неявным механизмом для предотвращения пиринга.
Беспиринговый - обозначает принципиальную неготовность к пиринговому обмену. Большинство операторов, попадающих в данную категорию, это контент-провайдеры, предпочитающие сотрудничество исключительно через транзитные соглашения.
Применяя вышеописанные определения на практике, можно заметить, что большинство Tier 2 ISP и часть контент-провайдеров склонны к открытому пирингу, и, зачастую, даже не имеют внятной пиринговой политики. Компания "Yahoo!", например, определяет свою пиринговую политику единственным словом: "Да!".
Некоторые Tier 2 ISP, особенно из тех, что присутствуют в нескольких интернет-регионах, имеют выборочную склонность к пирингу, поскольку ставят своей целью эффективное управление трафиком и гарантии равноценности пирингового обмена. Они могут строить пиринговую политику таким образом, чтобы быть уверенными в способности партнера поддерживать необходимый технический и операционный уровень.
Tier 1 ISP имеют вполне четкие склонности к пирингу, выраженные в ярко выраженной ограничительной пиринговой политике. Партнер по пирингу не приносит дохода, а тот объект, которому в пиринге было отказано, вполне может стать клиентом. Поэтому стимулов для увеличения числа партнеров по пирингу у Tier 1 ISP практически нет.
Теперь, когда мы обобщили некоторые понятия пиринговой экосистемы и получили представление о поведении игроков в ее пределах, можно рассмотреть поближе существенные изменения, что произошли недавно в американской пиринговой экосистеме.
Для того, чтобы показать развитие пиринговой экосистемы, будем оперировать обощенным представлением групп, демонстрировать пиринговый информационный обмен внутри этих групп и транзит между группами.
За последние несколько лет пять основных событий внесли решающий вклад в трансформацию амерканской пиринговой экосистемы:
Экономический крах телекоммуникационного сектора в 1999 - 2000 г.г. привел к банкротству нескольких операторов Tier 1, большого количества Tier 2 ISP и еще большего числа контент-провайдеров. Из-за этого, практически каждый игрок на рынке интернет-услуг стал уделять больше внимания оттачиванию своей бизнес-модели с целью получения как можно больше финансовой отдачи. Это, в свою очередь, увеличило интерес к пиринговому обмену трафиком.
Рост использования сетевого оборудования, побывавшего в употреблении (например, купленного при распродаже имущества обанкротившихся компаний), позволил операторам сократить расходы на организацию точек обмена трафиком. Банкротство поставщика восходящего трафика @Home заставило каждую американскую кабельную компанию заключать договоренности с несколькими Tier 1 ISP на предоставление резервных мультигигабитных каналов связи.
Пиринговый обмен данными между конечными пользователями набирает популярность по экспоненте. Как следствие резко возрастает трафик между провайдерами доступа к глобальной сети. Если раньше пользователи P2P-сетей вроде Napster обменивались файлами размером в районе 4 Мб, то теперь стало весьма популярным качать фильмы, размером более 700 Мб. Закачка может происходить много дней, но конечных потребителей это не смущает: оставляя процесс загрузки непрерывным на протяжении 24 часов сутки семь дней в неделю, клиенты предельно "забивают" сеть своего оператора, что приводит к большим затратам со стороны поставщика услуг. Особенно страдают от этого DSL-провайдеры.
Снижение цен на транзит совпало с падением стоимости транспортных услуг до точек обмена трафиком. Доход, который оператор мог извлекать из развернутого оборудования, уменьшился значительно. Это создало дополнительную мотивацию для пирингового обмена.
В результате всего вышеизложенного, в пиринговой экосистеме произошло три серьезных изменения.
Изменение 1: Кабельные компании включились в пиринговый обмен.
После банкротства @Home и подключения к мультигигабитным каналам Tier 1 ISP, кабельные компании, после несложного анализа, установили, что 40% от общего объема трафика предназначено для клиентов других кабельных операторов.
В результате этого анализа, для дальнейшей оптимизации маршрутизации кабельные операторы стали подключаться к точкам пирингового обмена трафиком между собой.
Кабельные компании со своим P2P-трафиком вносят существенные изменения в пиринговую экосистему, и вот почему:
Объемы трафика пирингового обмена между кабельными компаниями измеряются гигабитами в секунду, уступая только обмену трафиком между Tier 1 ISP. Совокупное число американских кабельных подписчиков составляет примерно 12 млн. человек, как это видно из таблицы ниже.
Кабельные компании в целом имеют открытую пиринговую политику и не интересуются продажей транзита ISP или контент-провайдерам. При этом, они работают в собственных, почти непересекающихся районах и почти не конкурируют друг с другом. Поэтому у них не существует экономических препятствий для пиринга с другими кабельными компаниями, Tier 2 ISP и контент-провайдерами.
Эффект файлообменной сети Kazaa. Пиринговый обмен позволяет кабельным компаниям заменить часть платного транзитного трафика бесплатным трафиком взаимообмена. Еще один любопытный эффект, отмеченный первоначально Эриком Тройером (Eric Troyer) из компании CableVision, заключается в нарастании объемов пирингового трафика. Объясняется этот факт оптимизацией процессов закачивания файлов из пиринговой сети, когда в качестве источника в первую очередь выбираются наиболее близкие компьютеры. Поэтому при работе файлообменной сети типа Kazaa, кабельные компании могут ожидать рост объемов трафика взаимообмена до 20%.
Влияние "кабельщиков" на пиринговую экосистему превосходит деятельность других поставщиков широкополосного доступа. Местные телефонные компании (и другие DSL-операторы) часто занимаются перепродажей транзита и поэтому не всегда имеют возможность заниматься пиринговым обменом. Проводя выборочную пиринговую политику они не так сильно изменяют пиринговую экосистему, как "открытые" кабельные компании.
Изменение 2: В пиринговый обмен включаются компании, предоставляющие доступ к широкомасштабному контенту.
Поставщики широкомасштабной информации (например, Yahoo!, Google, Microsoft, Amazon, Walmart.com, Apple, Electronic Arts, Sony Online) входят в пиринговую экосистему с огромными объемами трафика. Причины, побуждающие таких контент-провайдеров занимать в пиринге такую же позицию, как Tier 2 ISP выглядят следующим образом:
Возможность значительной экономии на транзитном трафике там, где можно обойтись пирингом. Улучшение качества обслуживания конечного пользователя. Необходимость реагировать на изменение расположения центров обработки информации и co-location, а также возможность получать транзитный и пиринговый трафик в одном месте.
Такие крупные игроки все еще приобретают транзит у Tier 1 ISP, но ведут открытую пиринговую политику с кем угодно. Соответственно, этот процесс несет серьезные изменения пиринговой экосистеме, поскольку:
Объем пирингового трафика исчисляется десятками гигабит в секунду, причем, ранее весь этот объем был доступен только через Tier 1 ISP. С ними активно сотрудничают контент-провайдеры. Эти крупные игроки активно развивают пиринговые отношения, пытаясь еще больше снизить свои расходы.
Изменение 3: Непосредственный пиринговый обмен между кабельными компаниями и поставщиками доступа к широкомасштабному контенту.
Пиринговый обмен между американскими кабельными компаниями и поставщиками широкомасштабного контента приводит к расположению наиболее популярной информации максимально близко от большинства широкополосных подписчиков. В результате возрастает производительность сети между потребителями, возрастает экономия от использования пиринга и все это вместе приводит к серьезным потрясениям экосистемы интернета. Именно этот пиринговый обмен можно показать как отдельный источник контента, поскольку он по ряду поведенческих параметров отличается от обычных контент-провайдеров.
Все это обозначает серьезный динамический сдвиг в пиринговой экосистеме, поскольку Tier 1 ISP теряют значительные объемы трафика из своего обменного цикла. Значимость Tier 1 ISP снижается. А вся иерархия превращается в сеть, для которой Tier 1 ISP необходим только в качестве маршрутизатора последней инстанции. Разумеется, трафик, который передается на большие расстояния или обходится слишком дорого, по-прежнему будет обрабатываться Tier 1 ISP, но помимо этих вариантов, операторы первого яруса утратили свое влияние на американскую пиринговую экосистему.
Итоги.
В ходе изложения текста был дан ряд определений, описывающих среду, в которой существует пиринговая интернет-экосистема. В этой экосистеме Tier 1 ISP обеспечивают транзит для всего интернет-региона, Tier 2 ISP покупают транзит у одного или более вышестоящих операторов и участвуют в пиринговом обмене, а контент-провайдеры традиционно просто покупают транзит. Было описано, как меняется вся эта экосистема из-за пиринговых отношений кабельных операторов и поставщиков широкомасштабного контента.
Были также описаны четыре категории пиринговой политики, отражающие разные виды склонности к пирингу. Было также показано, что серьезные изменения в пиринговой экосистеме приводят к трансформации склонности к пирингу у разных игроков, как это показано ниже.
Отсюда видно, что поставщики широкомасштабного контента постепенно мигрируют от полностью закрытой пиринговой политики к полностью открытом пирингу, в целях экономии средств на транзите, лучшего контроля над трафиком и обеспечения высокого качества обслуживания конечного пользователя. Для Tier 2 ISP пока ничего особо не меняется: они по-прежнему ведут либо полностью открытую, либо полностью закрытую пиринговую политику. Телефонные компании также делятся на две категории: одни готовы к выборочному пирингу, другие предпочитают только покупать и продавать транзитный трафик. Tier 1 ISP в основном ведут ограничительную политику с редкими исключениями в виде жестко ограниченного выборочного пиринга. Зарубежные операторы, как правило, после определенного периода, ведут открытую пиринговую политику с Tier 2 ISP.
