Узел агрегации

Для начала, небольшой рекламный спойлер:

Продолжается регистрация на традиционную, пятую по счету, Конференцию Российских Операторов Связи - КРОС-2010. Мероприятие пройдет 26-28 мая, недалеко от Екатеринбурга. Обсуждение всех вопросов, так или иначе связанных с конференцией, проводится в особой теме на нашем форуме.
Основное нововведение - участники, чьи доклады будут признаны наиболее интересными при голосовании на сайте, принимают участие бесплатно.
На сегодня зарегистрировалось 167 человек, 70 фирм, 40 городов России (от Владивостока до Гатчины, от Магадана до Минеральных вод) 

Направо пойдёшь - коня потеряешь;
налево пойдёшь - себя потеряешь;  
прямо пойдёшь - и себя и коня потеряешь.

Абсолютное большинство современных Ethernet-провайдеров строит «волокно до дома», или, по последней моде, FTTB. При этом, в больших домах нередко бывает 30-40 абонентов. Гигабита до них (т.е. по 25 мегабит на пользователя) более чем достаточно в настоящее время, да и на ближайшее обозримое будущее хватит. Даже при 100 мегабитных «локальных анлимитах», обычных сегодня в крупных городах России (а завтра, при неизменном тренде, и во всех остальных).

Хорошо, если оптика идет напрямую в крупные узлы, портов на 200-300 каждый (двухуровневая модель без уровня агрегации, рассмотренная в #351). Не то, чтоб расширение канала до подобных мест было простым, но оно технически тривиально - 10G, или несколько раз по 10G. А главное, легко оправдано с точки зрения экономики.

При этом суммарное количество абонентов подобной районной сети может дойти до 10 тысяч. Чтобы в этом случае обеспечить «честную» ширину канала, не меньшую, чем 25 мегабит, нужно аж 250 гигабит. Что далеко за гранью добра и зла практических потребностей.

Слава Кетле, абоненты разные. Поэтому на средний крупный узел вполне достаточно 10-20 гигабит. Соответственно, до среднего дома - должно хватить 100 мегабит. Плохо одно - законы статистики не работают на уровне нескольких домов и сотен абонентов. Местечковая компания тимуровцев юных гиков или удачное отсутствие конкурентов может катастрофически влиять на ситуацию. Особенно на фоне 30-ти гигабайтных HD-фильмов. О робких намеках на бытовое 3D-телевидение лучше просто не вспоминать...

На «двухуровневой» модели это грозит лишь расширением каналов до отдельных домов со 100 мегабит до гигабита (если так не было сделано сразу). Но с появлением узла агрегации, т.е. на «трехуровневой модели» (рассмотрена в #349) проблемы куда серьезнее. Впрочем, вариант колец (описан в #350) еще хуже. А это, учитывая непростую историю развития Ethernet-провайдеров, самые массовые варианты.

Стандартный анамнез.

Есть узел агрегации домов на 20-25, топология - звезда. Строения большие, абонентов много, торрент знают потребляют хорошо, поэтому стомегабитные линии до домов давно в прошлом. И вот гигабитный канал от edge до узла агрегации прочно «ложится на полку».

Случай пока не слишком частый, но...

Традиционная трехуровневая схема

Вариантов решения всего три:

1. Установка активного оборудования с портом 10G;
2. Нет активного узла, нет проблем;
3. Изыскание свободных волокон и подъем транка.

Первый вариант очень любят вендоры и продавцы всех политических формаций. Нужен только приличный коммутатор L3 с 24 портами 1G SFP и парой - 10G (желательно дешевый SFP+, но пойдет и XFP, X2, XENPAK).

Узел агрегации с использованием 10G

Оборудования подобного класса не так и много. Например, у Cisco на этом месте продуктовой линейки зияет классическая маркетинговая проплешина. Серия c3750E не имеет моделей под SFP, а использовать китайские конвертеры рядом с многокилобаксовой железкой как-то несерьезно.

Минимально укладывается в техзадание только ME-4924-10GE, которая реально стоит около k$25 (про GPL и вспоминать страшно). Может быть именно в угоду продаж этого монстра была зарезана идея продаж «c3750E-12S», но строить сети от этого ничуть не легче...

У Juniper все гораздо более привлекательно, есть EX4200-24F EX, который с модулем под XFP потянет примерно на k$9-10. Не обошлось без ложки дегтя - в наличии серьезные, и до сих пор не решенные проблемы с функционалом, описанные в Juniper Networks® JUNOS® 10.0 Software Release Notes.

На другом полюсе мира вендоров - D-Link 3627G, который с модулем под XFP стоит $3400. Или китайский SNR (L3) 24SFP + 2XFP, который идет по $1350. Функционал от «грандов» отстает значительно, но...

В общем, исходя из реалий отечественного провайдинга, для сравнения нужно использовать цифру $3400 плюс $700 за пару XFP. А так же все недостатки дорогой железяки, для защиты которой на чердаке многоэтажки не помешает серьезный сейф и/или сигнализация. Не забыть и про легальное электропитание с неплохим бесперебойником. Все это добавляет долларов 500-700 по самым скромным подсчетам, и выводит итоговые $4800.

Следующий вариант приводит фактически к двухуровневой топологии #351, т.е. прямое волокно или лямбда от дома до коммутатора edge (даже не знаю, какой русскоязычный эквивалент использовать в данном случае). В этом случае, достигнуть цели можно двумя способами.

Во-первых, заменить кабель до узла в пользу его многоволоконного аналога. После чего просто перекоммутировать линии до домов на новые волокна.

Схема с прямыми волокнами вместо коммутатора

Расходная часть - цена кабеля ($1500 за километр) и работа (от $1500 за километр). Плюс муфты, кроссы и расходники, долларов на 200-300. И то, и другое зависит от расстояния, и, к сожалению, простому сравнению не поддается. Очевидно, что при расстояниях менее километра это самый простой и дешевый вариант. А при удалении километра в три-четыре  он же превращается в недоступную роскошь.

Во-вторых, вместо физических волокон можно использовать лямбды CWDM (вариант DWDM, при всей привлекательности, по цене будет подстать решению на ME-4924-10GE). Вместо коммутатора ставится обычный оптический разветвитель баксов за 50, на домах - OADM, на узле Edge - MUX.

Схема с использованием CWDM

Стоимость решения для 24 домов - три MUX по $1000, 24 OADM по $100, 24 комплекта цветных SFP по $180. Минус обычные SFP - $85. Итого - 7730, эквивалент прокладки 2-х километров 24-х волоконного кабеля.

Интересно, что если считать не на 24 порта, а на 16 - то экономика всех трех вариантов практически сравнивается.

При использовании CWDM есть и важный плюс - можно плавно добавлять по одному гигабиту на узел агрегации. Т.е. если мало скорости в 1G, то сделать 2G будет стоить немного дороже $300. Пара OADM по $108, плюс пара цветных SFP по $90, минус комплект обычных SFP, который при этом освободятся.

При этом каналы можно использовать весьма гибко - хоть в транк на порт существующего коммутатора, хоть на отдельный дом... Или даже вперемешку, не забыв «отделить» в отдельную физику крупного корпората.

Совместное использование CWDM и коммутатора

Из существенных минусов технологии можно отметить не более 16 лямбд (и 8 каналов) на одно волокно, сильное возрастание номенклатуры «запчастей», и необходимость высокой квалификации инженеров/монтажников. Из существенных плюсов - высокую пропускную способность, 24 лямбды (как и 24 волокна) - это потенциально много больше, чем 10G.

Третий из рассматриваемых вариантов - паллиатив, но дешевый и простой. Если хорошенько перетряхнуть муфты и кроссы операторского хозяйства - найдется вариант завести на узел агрегации еще одно (или пару) волокон. И поднять на них транк на 2 или 4 гигабита. 

Объединение портов (транк)

Реализация очень дешева, практически бесплатна. Не всегда возможно, особенно если магистрали по городу арендованные. Не все коммутаторы нормально работают при объединении портов. Да и  кардинально проблему не решает, а лишь снимает ее остроту на месяцы или годы. Но тем не менее, данный способ, пожалуй, самый привлекательный для практического использования.

Как интересный вариант - конвертеры (вернее мультиплексоры) TDM на 2 гигабита по одному волокну. Стоят около $250, и позволяют «загнать» в одно волокно два гигабита. Так как стоимость комплекта (пара конвертеров плюс SFP на 2,5G) доходит до $800 (что заметно дороже CWDM) - порекомендовать их можно только тем, кто сильно не любит волновое уплотнение. Вообще, надо отметить, что подобное применение устройств немного отдает забиванием гвоздей микроскопом, так как первоначально их разрабатывали под «проброс» пары гигабитных Ethernet через магистральные сети STM-16 

Подводя итог. Перед написанием статьи хотел свести результаты в одну красивую таблицу с более-менее однозначным выводом. Но в результате стало совершенно понятно, что все рассмотренные варианты, по сути, не конкурируют друг с другом (и тем более, не может быть их простого сравнения). Слишком все разное.

Что применять в каждом случае, нужно определять из учета сложившейся ситуации, так же важна и конечная цель. Например, при реализации богатого нового проекта логично использовать 10G (иначе не круто инвестор просто не поймет). На длинных арендованных линиях - пригодится CWDM. В небогатой сети - логично смотрится вариант транка. Но в целом все это столь индивидуально...

Зато какой простор для инженерной фантазии. ;-)

... Вот только как быть, если коммутаторы района включены «кольцом»... Скорость от узла агрегации тут разделится по всем домам, но... Только гигабит или два, в случае настройки работы с двух сторон. Менять коммутаторы всех домов на 10G (да и вообще, просто менять все коммутаторы) - перспектива очень сомнительная. Для транков и CWDM - нет свободных портов 1G. Разве что ставить второй коммутатор на дом, и заводить на него свободную пару волокон, но это уже явно инвалидная конструкция... 

Анонс

   1. Мы любим письма - они очень нужны для обзоров. Обязательно сообщайте, нужна ли Ваша подпись, ссылка, или лучше обойтись без нее. Если нет ответа на письмо, значит оно потеряно в спаме, и надо продублировать через форум|icq|телефон.

   2. Острова в дальнем синем море...