Как построить Metro Ethernet

В идеале хотелось бы передавать
Ethernet поверх фотонов...
© Metro Ethernet Forum.

Начало мая.

Прошедшая неделя была богата на выходные. Поэтому, начать придется именно с них. Поздравляю с праздником 9-го мая! Конечно, провайдинг - очень молодая отрасль. Тут люди за 40 - уже "старики", видевшие самое начало интернета. Да и среди абонентов ветеранов не много. Однако, наши деды - именно они победили в "той" войне. И этим нужно гордиться.

Второй праздник прошлой недели далеко не такого масштаба. 7-го мая, день радио - но его празднуют и многие связисты. Собственно, к этой дате получилось приурочить поход в Екатеринбургский музей Попова (ну жил он тут в начале 70-х годов позапрошлого века).

Площадь музея невелика (только 6 комнат), но техникой он набит очень плотно. Чувствуется, что занимаются экспозицией явно неравнодушные к своему делу люди. Особенно радует, что большинство экспонатов действующие, и ведущий не стесняется это демонстрировать. Масса впечатлений, а так же всяческие рекомендации к посещению (экскурсовод обязателен!)

Несколько запомнившихся фотографий (извиняюсь за качество - мобилка):

Слева радиоприемник с пультом дистанционного управления (на гибком кабеле толщиной с П-270). Настройка аппарата производится сервомоторами (!) - других вариантов тогда не было.

Справа - небольшая ТЭЦ на базе керосиновой лампы. Смешно, но... Даже сейчас ее по идее должно хватить для зарядки аккумуляторов мобилки. Туристам что-то подобное совсем бы не помешало... Россия велика, и электричество все еще есть далеко не везде.

Слева - один из первых телевизоров, которые можно смотреть не в микроскоп. Водяная линза с увеличением в полтора раза... Самое удивительное - все еще работает.

Справа - витрина с транзисторной техникой. Некоторые экземпляры миниатюрны даже по меркам сегодняшнего дня. Но самое интересное - симпатичная дамская сумочка - радиоприемник. Изготовлена к какой-то советской выставке, но в серию так и не пошла.

• Военные радиостанции. Тяжелые и сложные - вот главное впечатление. Очень тяжело их воспринимать тому, кто привык к современным микропроцессорам.
• Подарочный радиоприемник. Разработан по указанию Сталина, в серию не пошел из-за смерти последнего. Жутко красивый аппарат, если смотреть вблизи.
• Лампы с водяным охлаждением (на прям как современные процессоры)
• Самый распространенный аппарат радиомузеев. Копия первого радиоприемника от Попова.

А вообще, есть ли музеи интернета в России? Если нет - может быть стоит его организовать, ведь в провайдинге уже сменилось несколько поколений оборудования. У меня для начала наберется пара десятка экспонатов...

Узел провайдера

Выкладываю несколько фотографий, сделанных внутри гермозоны провайдера Экстрим. Извиняюсь за качество - как обычно, под рукой не оказалось ничего кроме мобилки.

"Экстрим", по меркам Екатеринбурга, средний по величине оператор, оказывающий качественные услуги корпоративным клиентам, плюс предоставляющий магистрали и техническую поддержку группе домашних сетей Планета. Последние, кстати, считаются одними из лучших (по качеству) в своем сегменте рынка. Около 1000 абонентов (работы всерьез ведутся менее года), 100% использование управляемых коммутаторов, оптические магистрали, отлаженный саппорт.

Для начала, центр сети:

Слева показан основной маршрутизатор (Cisco 7507), который обслуживает всю сеть провайдера (по сути, это единственный магистральный рутер). Кстати, схема коммуникаций (случай весьма редкий в России) - выложена тут.

Так вот, Cisco 7507 обсчитывает более 5 терабайт в месяц, держит полный BGP на несколько аплинков, рутит более сотни VLAN'ов (в том числе транзитных корпоративных), фильтрует, немного NAT'ит, привязывает MAC к IP, и прочие мелочи. При этом загрузка процессора (RSP4) в обычный рабочий день не превышает 30%, загрузка VIP - менее 40%.

Справа, внизу, сервер СОРМ.

Слева, над большими белыми серверами, два коллектора NetFlow. Небольшой по юнитам, но важный элемент системы.

Справа, на самом верху - Catalyst 3750 (часть ядра сети), стоящий сразу за Cisco 7507, и включенный в нее двумя параллельными линками 100Мб (PortChannel). На этом коммутаторе агрегируются все линии (входящие и исходящие), устанавливаются приоритеты, и т.п. Загрузку сдвоенной линии до Cisco 7507 можно видеть на данной диаграмме, в среднем выходит менее 100 мегабит. Или, отдельно, на порту 1, и на порту 2.

Кстати, о приоритетах. Их 8 групп в ядре сети, 4 - для корпоративных клиентов и 2 - для физических лиц. Полная таблица выглядит следующим образом:

Классы были разработаны специалистами с учетом специфики оператора и проверены на реальном трафике (более года).

Особо надо отметить, что классификация используется скорее для защиты сети, а не уплотнения - полосы пока более чем хватает. Вот, например, диаграмма загрузки наиболее развитой домашней сети (район ЖБИ, около 1000 пользователей).

Кроме этого, немного ниже на фото показаны, несколько коммутаторов корпоративной сети и клиентской разводки здания, а так же конвертеры уходящих линий магистральной сети.

Надо заметить, что небольшие "3 копейки за мегабайт" позволяют не особенно беспокоиться о загрузке 100-мегабитных магистралей - их вполне хватает. Так как в сети более чем активно используется IP-телефония, магистральное оборудование на выносах поддерживает необходимый функционал (в основном Cisco 2950T, 3com 4400).

Частные клиенты в домашних сетях "Планета" включены в коммутаторы 3com 1100/3300, на них поддерживается только два уровня приоритетов (большего и не требуется).

Слева - три сервера с файловыми архивами, всего более 6 терабайт. Пользователи не дают этому богатству простаивать. И даже по 3 копейки за мегабайт дают весьма неплохой доход. Вот графики - фильмы и файлы.

Справа - АТС Samsung. Как ни странно, но была выбрана именно она - технические специалисты уверяют, что решение того стоит. Наверно, хорошо дружит с VoIP.

Внизу, под телефонной станцией, - блок бесперебойников.

Слева - патчпанели, коммутатор клиентской разводки и корпоративной сети. Справа - ввод/вывод кабельных линии.

Щиток питания (слева) и небольшой коллокейшен (справа)... Не очень модно, но практично.

Кондиционер и электрогенератор на случай перебоев в питании. 15KVA хватает на все нужды узла ПД.

Ну и в завершение - небольшой полигон (расположен в отдельном помещении)...

Как построить Metro Ethernet.

Layer 1 Core
  EoFIBER
Layer 2 Core
  EoSONET/SDH
  EoRPR
  Next Gen SONET/SDH
  802.1Q
  Q-in-Q
  Mac-in-Mac
  ATM
Layer 3 Core
  Classical IP
  L2TPv3
  MPLS Layer3 VPN
   MPLS L2 VPN
    Point-to-Point VPN (VPWS)
    Multi-Point VPN (VPLS)
    H-VPLS

Насчет непосредственно фотонов – будущее покажет, не стоит забывать про нейтрино и гравитационные взаимодействия, но уже сейчас Ethernet интенcивно проникает в операторские сети. И, если MPLS можно считать символом победы IP в сетях передачи данных, то концепция Metro Ethernet наглядно демонстрирует необходимость адаптации сетей масштаба Metro для Ethernet сервисов.

Вероятно, правильнее всего трактовать Metro Ethernet не как сеть Ethernet городского масштаба, а как комплекс услуг на порту Ethernet. Современному клиенту вообще удобно получать порт доступа Ethernet и видеть сеть оператора как виртуальный патчкорд или коммутатор. В терминах Metro Ethernet Forum (MEF) данные сервисы называются E-LINE и E-LAN.

Но как это сделать технически? Рассмотрим возможные на сегодня базовые модели предоставления услуги Metro Ethernet с точки зрения построения ядра операторской сети.

Layer 1 Core

Предоставление клиенту физического канала (Layer 1) – наиболее простой технически и в то же время дорогостоящий способ обеспечения сервисов.

EoFIBER

К аббревиатуре EoFIBER можно отнести все известные способы физической передачи Ethernetа в оптической среде. В настоящее время для предоставления услуг чаще всего используется WDM.

Layer 2 Core

Рассмотрим варианты обеспечения Metro Ethernet сервисов в случае построения опорной сети оператора только по технологии второго уровня (без маршрутизаторов). Отказоустойчивость чаще всего обеспечивается STP (STP, RSTP, MSTP) или встроенными механизмами (в случае SONET/SDH, RPR). Поддержка качества услуг в основном базируется на аппаратных очередях оборудования.

EoSONET/SDH

Технология Ethernet over SONET/SDH позволяет передавать Ethernet пакеты через SONET/SDH инфраструктуру. В настоящее время доступны и многоточечные решения.

EoRPR

Непосредственная инкапсуляция Ethernet фреймов в RPR/DPT пакеты делает возможным использование колец RPR для соединения клиентов на втором уровне.

Next Gen SONET/SDH

Следующее поколение SONET/SDH (Next Gen SONET/SDH), используя Generic Framing Procedure (GFP) и ряд других методов, позволяет строить VPN второго уровня на основе SONET/SDH (обеспечивая передачу не только Ethernet фреймов).

802.1Q

Самый распространенный на сегодня способ передачи клиентских Ethernet пакетов – выделение каждому клиенту вилана, разметка и передача в виде 802.1Q по сети оператора. В полный рост встает ограничение на количество вилланов (4096) и на размерность таблиц мак адресов коммутаторов.

Q-in-Q

Q-in-Q туннелирование является развитием 802.1Q, преодолевающим (на мой взгляд незначительно) ограничение на количество вилланов. Но проблема мак адресов остается.

Mac-in-Mac

Полная инкапсуляция клиентского Ethernet пакета в провайдерский несомненно преодолевает все ограничения 802.1Q и Q-in-Q подходов. Однако встречается не у всех поставщиков (замечено только у Nortel).

ATM

ATM дает возможность передачи Ethernet фреймов используя методы Multiprotocol encapsulation и LANE.

Layer 3 Core

Использование ядра третьего уровня с одной стороны дает дополнительные возможности масштабирования, а с другой значительно усложняет стоимость развертывания и обслуживания. Отказоустойчивость чаще всего обеспечивается средствами протоколов маршрутизации (OSPF, IS-IS например) или MPLS TE (FRR). Качество услуг обеспечивается аппаратно-программно в рамках моделей IntServ и DiffServ.

Classical IP

Ядро сети, построенное на основе классического IP (без L2TPv3 и MPLS) в принципе не способно передавать ничего, кроме IP пакетов клиента. Различные методы инкапсуляции могут применяться для туннелирования и шифрования (например GRE, IPSEC), но неспособны пробросить фреймы второго уровня.

L2TPv3

Протокол L2TPv3 предназначен для передачи любых Layer 2 фреймов (Etehrnet, 802.1Q, Frame Relay, HDLC, PPP) через IP сеть. Является модернизацией L2TP и рекомендуется вместо Cisco Universal Tunnel Interface (UTI), первоначально предназначавшегося для подобных целей.

MPLS Layer3 VPN

Для объединения клиентских IP сетей (Layer 3) предназначено решение MPLS BGP VPN (RFC 2547 bis). Это многоточечная схема, позволяющая строить виртуальные частные сети (VPN) третьего уровня.

MPLS L2 VPN

На современном этапе технологии MPLS позволяет организовать VPN второго уровня несколькими способами под интегральным названием MPLS Layer 2 VPN. В их основе лежит идея инкапсуляции клиентских пакетов с использованием MPLS в сети оператора. Следует отметить, что под вторым уровнем понимается не всегда и не только Ethernet.

Point-to-Point VPN (VPWS)

Технология обеспечения соединений quot;точка-точкаquot; для передачи клиентских пакетов второго уровня через MPLS сеть провайдера имеет много названий (правильнее называть их сервисами). Кратко перечислим некоторые из них:

• Virtual Private Wire Service (VPWS) – сервис виртуального частного патчкорда;
• Layer 2 Point-to-point VPN – VPN “точка-точка” второго уровня;
• Layer 2 Virtual Circuit (VC) – виртуальное соединение второго уровня;
• Virtual Private Line (VPL) – виртуальная частная линия;
• Virtual Leased Line (VLL) – виртуальная выделенная линия;
• Pseudo Wires (PW) – квазисоединение.

Сюда же относятся EoMPLS, AToM.

Несмотря на множество названий, общей идеей данного подхода является использование MPLS меток для организации виртуального канала quot;точка-точкаquot; между соединяемыми узлами для передачи фреймов второго уровня. Так как описание метода впервые появилось в документе "draft-martini-l2circuit-encap-mpls-04.txtquot;, то он теперь чаще всего и называется Draft Martini.

Для потребителя услуга VPWS выглядит как виртуальная частная выделенная линия.

Multi-Point VPN (VPLS)

Технология quot;многоточечныхquot; соединений второго уровня в рамках MPLS сети тоже называется по-разному:

• Virtual Private LAN Service (VPLS) – сервис виртуальной частной сети;
• Layer 2 Multipoint VPN – многоточечная VPN второго уровня;
• Transparent LAN Service (TLS) – сервис quot;прозрачнойquot; локальной сети.

Однако все они подразумевают одну технологию – многоточечное соединение второго уровня в рамках MPLS ядра.

VPLS определен в двух разработках Internet Engineering Task Force (IETF): draft-ietf-ppvpn-vpls-ldp и draft-ietf-ppvpn-vpls-bgp. Авторами draft-ietf-ppvpn-vpls-ldp являются Marc Lasserre и Vach Kompella, поэтому данный метод еще называется Draft Lasserte VKompella. Авторы draft-ietf-ppvpn-vpls-bgp - K. Kompella и Y. Rekhter, подход чаще всего называют Draft Kompella.

Draft Martini, упомянутый в разделе VPWS, определяет организацию каналов второго уровня quot;точка-точкаquot;,а VPLS разработки расширяют этот подход для многоточечных соединений. Но с некоторыми различиями. Так draft-ietf-ppvpn-vpls-ldp, называемый просто VPLS LDP, использует для сигнализации (установления виртуальных каналов) протокол LDP. Draft-ietf-ppvpn-vpls-bgp, называемый VPLS BGP, применяет в этих целях BGP.

При помощи VPLS узлы потребителя взаимодействуют между собой как по частному сегменту локальной сети второго уровня.

H-VPLS

Развитие концепции VPLS привело к появлению масштабируемого иерархического VPLS – Hierarchical VPLS (H-VPLS). В рамках H-VPLS граничный маршрутизатор провайдера PE разбивается на два – клиентский U-PE и провайдерский N-PE. U-PE производит туннелирование клиентских фреймов (Q-in-Q, Mac-in-Mac), а N-PE транспортирует результат через MPLS сеть по технологии VPLS (Q-in-Q + MPLS, Mac-in-Mac + MPLS).

Заключение.

Как видим, способов построения инфраструктуры Metro Ethernet достаточно много. Однако при ближайшем рассмотрении все-таки получается ограниченный набор готовых решений:

1. Выделенный физический канал – даже не стоит комментировать, слишком дорого и нереально.

    

2. 802.1Q – практически все на нем и паразитируют. Однако заложенные ограничения не позволяют считать данный подход приемлемым для серьезных операторских сетей.

    

3. Q-in-Q можно считать пригодным, но все-таки не свободным от недостатков способом. Несколько размываются ограничения по количеству виланов, но проблема больших таблиц мак адресов остается.

    

4. Очень привлекательно выглядит MAC-in-MAC, но есть вопросы насчет стандартизации, а значит и совместимости оборудования. Кроме того, если в рамках данной технологии попытаться реализовать разнообразные требования к масштабируемости, управляемости и тому подобному, то скорее всего получится … что-то типа MPLS (если не хуже).

    

5. MPLS выглядит наиболее гибким и многообещающим решением. Немного смущает непрерывная разработка соответствующих стандартов, но это можно списать на детские болезни роста. В целом комплекс технологий MPLS выглядит способным решить практически любую задачу оператора связи, как в настоящий момент, так и в будущем.

Ссылки.

http://www.ietf.org/../draft-martini-l2circuit-encap-mpls-04.txt
http://www.ietf.org/../draft-ietf-l2vpn-vpls-ldp-06.txt
http://www.ietf.org/../draft-ietf-l2vpn-vpls-bgp-04.txt

Автор Эдуард Афонцев

Анонс

• "Властелин колец", или STP (Edward Afontsev).

• Превращение хаба в оптический кросс;
• Антенна во льду;
• Борьба с провайдерами глазами клиента;
• Как нельзя прокладывать оптику;
• Веселая сеть;
• Грозозащиты и пинговалки, надеюсь на письма;
• Зарисовки узлов разных провайдеров. Вечная тема (много фотографий гарантировано);
• Традиционный пункт - ссылки на интересные места Сети. Присылайте письма - они очень нужны для обзоров. Обязательно сообщайте, нужна ли Ваша подпись, ссылка, или лучше обойтись без нее;
• В "ужастиках" - к чему приводит прокладка по деревьям...