1. Статьи
Заметки пользователей
12.04.2013 08:40
PDF
26711
26

Современная Triple-Play сеть

В настоящее время рынок телекоммуникаций интенсивно развивается во всем мире. Спектр услуг и сервисов, предоставляемых конечным пользователям, постоянно растет. Изменяются технологии и объемы, растет необходимость передачи multicast-трафика (IPTV), предоставления услуг корпоративным клиентам (например, таких как l2/l3 vpn или решение проблем безопасности). Постоянно возникают новые технологии отказоустойчивой работы сетей, непрерывно растут потребности в беспроводном доступе, передаче голосового трафика, весьма чувствительного к задержкам - все эти и многие другие вопросы требуют квалифицированного подхода к построению телекоммуникационной инфраструктуры.

Именно поэтому проблема модернизации мультисервисных сетей и расширение возможностей работающего оборудования особенно актуальны на сегодняшний день. Следует отметить, что подобные вопросы не имеют типовых решений и должны рассматриваться специалистами отрасли в контексте поставленных задач. Описанию разработки одного из таких решений и посвящена эта статья.

Крупный оператор, работающий на юге страны, обратился к инженерам ОООНАГс задачей провести модернизацию центральной части мультисервисной сети. Соответствующая работа была проведена специалистами "Наг" в кратчайшие сроки. Начиная от проектирования, и заканчивая практической реализацией проекта. В изложенном ниже решении не рассматривается модернизация или создание сети на уровне доступа и агрегации, но затрагиваются технологии, которые можно использовать на данных уровнях сети связи.

Для построения центральной части мультисервисной сети связи, была использована система "ядро - транспортная региональная сеть". Ядро является центральным элементом общей сети.

Для терминации абонентов широкополосного доступа используется оборудование Ericsson Smartedge, в нашем случае, это SE600. В зависимости от задачи, к данному шасси может быть подключено несколько линейных карт на 4 порта, с пропускной способностью 10 Гбит/с каждая. В рамках решения возможен также вариант использования SE100 или SE1200, если требуется решать проблему меньшей/большей загруженности сети. Данное оборудование хорошо зарекомендовало себя в работе на сетях связи как оборудование терминации абонентского доступа, и может похвастать перед конкурентами рядом преимуществ, о чем будет сказано ниже.

В качестве пограничных маршрутизаторов ядра было выбрано оборудование компании Juniper Network серии МХ. В нашем случае, это МХ480. Как и в случае с Ericcson, линейка MX имеет старшие (МХ960) и младшие (МХ80, МХ240) модели. Это оборудование занимает лидирующие позиции на рынке телекоммуникационных услуг в качестве пограничных (либо центральных) маршрутизаторов на сети связи. В зависимости от необходимости, шасси могут быть укомплектованы линейными картами на 16 портов, с пропускной способностью 10 Гбит/с каждый, работающих без переподписки, на полную скорость порта. На транспортной сети мы будем использовать младшую модель линейки. МХ80 - это хорошее в соотношении цена/качество решение для работы в качестве граничных или центральных маршрутизаторов сети связи среднего масштаба.

Третьим необходимым элементом, обеспечивающим основную связность на ядре сети, является коммутаторы ядра, имеющие большую плотность портов и обеспечивающие высокоскоростные подключения. Нами было выбрано оборудование компании Extreme Networks, серии Summit.Extreme Networks занимают лидирующие позиции на рынке телекоммуникационного оборудования в своем сегменте. После некоторых размышлений, окончательный выбор остановился на модели x670V. В свою очередь именно X670V имеют наиболее высокую плотность портов SFP+ с пропускной способностью 10 Гбит/с. Кроме того, данное оборудование поддерживает возможность объединения в стек на скорости до 160 Гбит/с, при использовании модулей QSFP+.

Для обеспечения резервирования, оборудование устанавливается "парами" по схеме "основной/резервный". В случае выхода из строя одного из шасси, его роль тут же принимает на себя резервное. Резервирование осуществляется как на третьем, так и на втором уровне модели OSI. Для резервирования на логическом уровне используются технологии динамической маршрутизации, и настройка выбора маршрутов по принципу "основной/резервный". В случае недоступности основного маршрута, весь трафик направляется по резервному.

На ядре сети связи используются технологии:

MLAG - технология объединения нескольких отдельных физических портов в один логический порт, в отличие от простого объединения портов LAG - данная технология позволяет объединять порты с двух отдельных физических устройств, а не только с одного.

Динамическая маршрутизация - с применением протоколов OSPF, BGP.

NAT - трансляция сетевых адресов, что позволяет экономить адресное пространство выделенное провайдеру в глобальной сети Интернет

MPLS - механизм в высокопроизводительной телекоммуникационной сети, осуществляющий передачу данных от одного узла сети к другому с помощью меток.

RSVP-TE - технология сигнализации LSP туннелей для работы механизмов MPLS и так же для управления прохождением трафика по сети.

MPLS L2/L3 Vpn - технология организации виртуальной частной сети на втором или третьем уровне модели OSI. Позволяет изолировать сервис, или услугу на сети связи от остальных сервисов или услуг, путем создания отдельной таблицы маршрутизации, маршруты в которой не взаимодействуют с маршрутами в глобальной таблице маршрутизации или маршрутами в других L3Vpn, либо создания отдельного "туннеля" на втором уровне модели OSI поверх третьего уровня.

Для терминации абонентских сессий используются технологии:

PPPoE - Point-to-point protocol over Ethernet, протокол терминации абонентских сессий использующий при аутентификации абонентов связку логин / пароль, требующий специального ПО со стороны пользователя.

IPoE (CLIPS, dot1q subscriber) - протокол терминации абонентских сессий, использующий для авторизации привязку пользователя к порту коммутатора доступа, с помощью информации содержащейся в DHCP запросе (option 82), не требующий специального ПО со стороны пользователя.

Подключение uplink провайдеров осуществляется к разным граничным маршрутизаторам. В случае выхода из строя отдельного канала связи, либо целиком граничного маршрутизатора, работа осуществляется через второй маршрутизатор.

Схема физического включения:
Современная Triple-Play сеть

 Схема логических подключений:
Современная Triple-Play сеть

 Подключение upstream провайдеров:
Современная Triple-Play сеть

 Балансировка трафика осуществляется с помощью атрибутов BGP community.

Таким образом, ядро сети представляет собой целостную структуру, с высокой отказоустойчивостью, и возможностью наращивания функционала и внедрения новых технологий без покупки нового оборудования.

Для организации транспорта трафика в удаленные точки обслуживания абонентов, организуется транспортная региональная сеть, с центральными узлами, установленными в крупных районах зоны покрытия сети. Существует несколько вариантов построения транспортной сети: "звезда", "кольцо" и полно-связная топология. Каждый из них имеет свои достоинства и недостатки.

В нашем случае, в связи с требованиями заказчика, используется физическая топология "кольцо", на практике это даже несколько колец соединенных друг с другом, через центральные маршрутизаторы. В логическом же виде, это "звезда".

Итак, транспортная сеть организуется путем физического объединения отдельных центральных узлов по топологии "кольцо". На каждом из них устанавливается оборудование Juniper Network серии MX. В нашем случае это модульное шасси МХ80. Каждое шасси имеет 4 порта с пропускной способностью 10 Гбит/с, что позволяет организовать кольцо на скорости до 20 Гбит/с.

На транспортной сети используются технологии:

Динамическая маршрутизация - с применением протоколов OSPF, BGP.

MPLS/MPLS-TE - механизм в высокопроизводительной телекоммуникационной сети, осуществляющий передачу данных от одного узла сети к другому с помощью меток, и его расширения ТЕ, в нашем случае это технология Fast Reroute для осуществления быстрого восстановления сети в случае аварии.

MPLS L2/L3 Vpn - технология организации виртуальной частной сети на втором или третьем уровне модели OSI.

RSVP - протокол резервирования сетевых ресурсов, так же получил применение как протокол сигнализации LSP и переноса меток MPLS домена.

Dynamic subscriber management + ip unnumbered - технология автоматического создания абонентских подключений на оборудовании Juniper Network. Применяется для автоматического создания L3 интерфейсов на МХ80 , и терминации абонентских VLAN.

DHCP relay - технология преобразования dhcp запросов из broadcast в unicast и последующей трансляции их на DHCP сервер. В данном случае применяется dhcp relay + opt 82

Функция DHCP Relay Option 82 (стандарт RFC 3046) применяется для предоставления DHCP – серверу данных о полученном запросе. В частности к этим данным можно отнести:

Адрес DHCP – ретранслятора, с которого шел запрос;

Номер порта ретранслятора, через который поступил запрос;

В нашем случае оборудование BRAS использует эти данные для авторизации абонентов с помощью RADIUS сервера, и выдачи им IP адреса согласно тарифному плану и соответствующих привилегий доступа, при использовании технологии IPoE.

BGP Route Reflectors - технология, позволяющая выбранному маршрутизатору раздавать "отражать" все имеющиеся у него маршруты протокола BGP остальным маршрутизаторам в сети подключенным к нему, и обозначенными как его кластер. Это позволяет уменьшить нагрузку по обработке маршрутной информации BGP на оборудование сети и упростить логическую топологию сети.

 Логическая схема транспортной сети:
Современная Triple-Play сеть

 Резервирование осуществляется за счет топологии "кольцо", на логическом уровне, и за счет подключения разными оптическими трассами на физическом уровне.

Для предоставления широкополосного доступа к сети интернет используются технологии PPPoE и IPoE.

При работе PPPoE на сети доступа настраивается технология dot1q vlan, для пропуска абонентского трафика до уровня агрегации сети. Возможны варианты предоставления одного Vlan на здание или, к примеру, на район. Все зависит от количества пользователей услуги широкополосного доступа.

На уровне агрегации используется технология QnQ selective. Данная технология предназначена для передачи клиентских Vlan по специально созданному "туннелю", до узла назначения, упрощая, таким образом, логическую схему сети и уменьшая количество конфигураций оборудования. На уровне центрального узла настраивается технология l2circuit (l2vpn campella based - pseudowire), которая позволяет доставить клиентский трафик до оборудования BRAS через сеть MPLS. На оборудовании BRAS осуществляется PPPoE авторизация абонентов в системе биллинга выдача ему адреса и соответствующих атрибутов.

Авторизация абонентов по схеме IPoE dot1q subscriber осуществляется аналогичным образом. DHCP запросы доставляются с сети доступа (DHCP snooping + opt 82) до оборудования BRAS. На оборудовании BRAS осуществляется авторизация абонентов в системе биллинга выдача ему адреса и соответствующих атрибутов.

Авторизация абонентов производится по технологии IPoE Clips (static,dynamic). На уровне доступа используется технология DHCP snooping + opt 82, dhcp запросы доставляются через сеть доступа до центрального узла посредством технологии dot1q Vlan. На центральном узле используется технология Dynamic vlan creation + dhcp relay.

При получении dhcp запроса, на оборудовании центрального узла автоматически создается l3 интерфейс с номером Vlan соответствующим Vlan приходящего пакета, и адресом, выбранным согласно технологии ip unnumbered. Осуществляется преобразование broadcast dhcp запроса в unicast dhcp запрос, и передача его на третьем уровне модели OSI до оборудования BRAS. На оборудовании BRAS осуществляется авторизация абонентов в системе биллинга по технологии CLIPS, и выдачи ему адреса и соответствующих атрибутов.

Корпоративные клиенты подключаются отдельным Vlan к сети доступа/агрегации и терминируются на центральном узле в случае предоставления услуги L3 vpn. В случае предоставления услуги l2 vpn на центральном узле используется технология VPLS - технология организация l2 mpls vpn по схеме точка-многоточка.

Заключение

Благодаря обдуманному выбору мы получили высокопроизводительное и надежное решение за вполне разумные деньги. Рассмотрим его основные характеристики.

1. Функциональность

Данное решение позволяет заказчику предоставлять своим клиентам широкий спектр сервисных услуг, таких как:

  1. Широкополосный доступ в интернет посредством технологии IPoE, PPPoE, L2TP;

  2. Виртуальная частная сеть L3 VRF;

  3. Виртуальная частная сеть L2 VPLS, CCC;

  4. IPTV multicast ;

  5. IP телефония;

  6. Предоставление каналов доступа в интернет для суб-операторов и крупных заказчиков по средствам ретрансляции BGP с любого узла транспортного кольца.

2. Масштабируемость и гибкость

Данное решение предусматривает плавную миграцию с PPPoE на более современные технологии работы IPoE, благодаря возможности одновременного, параллельного использования обоих технологий. Гибкое управление потоками трафика, и перераспределение ресурсов посредством технологий MPLS-TE. Для чего используется создание специальных туннелей RSVP-LSP между отдельными узлами сети, и направление потоков трафика, по выбранному специально прописанному физическому маршруту.

Приоритезация необходимого трафика на сети, благодаря настройке QoS через механизмы MPLS EXP

Расчетная производительность, исходя из заданных параметров сети, таких как:

  • максимальное значение загруженности магистральных каналов заказчика в период ЧНН;

  • максимальное количество абонентов ШПД, зарегистрированное заказчиком;

  • количественный объем предоставляемых сервисов для клиентов заказчика, таких как l2/l3 vpn.

получилась с хорошим запасом, что было предусмотрено и заложено на этапе проектирования. Данное решение было принято нами, чтобы обеспечить заказчику возможность в будущем осуществить переход к более ресурсоемким технологиям, и значительному увеличению количества пользователей и предоставляемых сервисов, минимум в 3 раза, без дополнительных затрат.

Предусмотрено расширение магистральных каналов заказчика в два - четыре раза, что обусловлено дополнительными, не задействованными портами 10G на оборудовании как ядра сети, так и опорного кольца.

"Безболезненное" добавление новых устройств в существующую инфраструктуру обусловлено поддержкой протокола внешней маршрутизации BGP с механизмом autodiscovery, позволяющем перенастраивать сервисную модель автоматически при добавлении новых устройств и сокращать объемы настраиваемого оборудования.

3. Отказоустойчивость

Все устройства в составе решения объединены совокупностью общих свойств: аппаратная обработка трафика на ASIC без использования центрального процессора для сервисных функций, и модульные ОС, реализованные на базе Unix. Это позволяет добиться эффекта максимальной прогнозируемости поведения системы, поскольку гарантирует выполнения заданных параметров производительности и отказоустойчивости, максимальный контроль процессов ОС устройств, стабильности их работы.

Ядро сети полностью зарезервировано: сами устройства и связность между ними. Были выбраны конфигурации с резервируемыми компонентами, а сами устройства поставлялись парами, для возможности установки в режиме active - standby или active - active в зависимости от предоставляемого сервиса. При работе в режиме active - active устройства осуществляют балансировку нагрузки друг между другом, что позволяет получить дополнительную производительность.

Проведенные испытания показали, что выход из строя любого устройства ядра никак не влияет на работу ядра в целом.

Использование кольцевой топологии на опорной сети и здесь позволило значительно поднять надежность, благодаря технологиям MPLS-TE, которые обеспечивают быстрое восстановление сети в случае выхода из строя физических линков, или даже целиком устройств, не вызывая значительных простоев сервиса, предоставляемого клиентам.

Ericsson SmartEdge - единственное оборудование широко распространенное на Российском рынке, осуществляющее установку абонентских сессий для абонентов, подключенных на третьем уровне модели OSI, что позволяет разделить сервис предоставления доступа к внутренним ресурсам сети и к ресурсам сети интернет. Данное оборудование поддерживает до 32000 абонентских сессий на одну линейную карту. Система SmartEdge поддерживает все основные протоколы маршрутизации RIP OSPFv2 IS-IS BGP MPLS. Поддержка функционала качества обслуживания QoS и фильтрации трафика посредством политик и ACL.

Весь функционал оборудования осуществляется на аппаратном уровне, путем обработки информации в специальных собственных перепрограммируемых ASIC, коммерческие чипсеты не используются.

Это идеальное решение для использования в качестве PPPoE/IPoE DHCP сервера доступа. Одно из немногих решений, которое поддерживает BRAS (ISG) функционал на LAG (Link Aggregation Group). Отлично показывает себя в качестве аппаратного NAT сервера.

Сочетание всех этих достоинств в форм-факторе одного шасси, без необходимости установки дополнительных компонент, и произведения лишних затрат - вот основные параметры, которые позволили нам остановить свой выбор на оборудование Ericcson Smartedge

Juniper Network - оборудование Juniper Network занимает лидирующие позиции на рынке телекоммуникаций в сегменте пограничных и центральных маршрутизаторов сетей связи. В оборудовании установлены специальные комплексы коммутации Trio, основанные на Trio чипсете, которые осуществляют обработку информации на скорости до 40 Гбит/с.

Один Trio-чипсет способен поддерживать более 2M маршрутов в FIB, 250К очередей, 32K интерфейсов, 500К MAC адресов, 1М ARP записей. С точки зрения производительности новые линейные платы и модульные маршрутизаторы обрабатывают трафик до 2,6 терабит в секунду, причем показатель энергопотребления из расчета на гигабит уменьшился в два раза по сравнению с предыдущими поколениями устройств.

Такая высокая производительность, плотность ethernet портов и высокая надежность аппаратной базы - является неоспоримым преимуществом перед конкурентами, что позволило нам сделать выбор в сторону оборудования Juniper MX480.

Extreme Networks - коммутаторы Extreme Networks занимают лидирующие позиции на рынке коммутационного оборудования. Спектр решений компании – мощнейшие коммутаторы Ethernet для сервисных провайдеров, корпоративного рынка и ЦОД, с аппаратной реализацией протоколов коммутации и маршрутизации, использующие единую модульную операционную систему ExtremeOS. Благодаря универсальной конструкции в Extreme Summit обеспечивается исключительная производительность коммутации с малыми задержками и масштабируемая одноадресная и многоадресная маршрутизация IPv4 и IPv6, позволяющие проводить агрегацию и внедрение центральной магистрали в средах с питанием от переменного или постоянного тока.

Компания предлагает решения в форм-факторе 1RU с большой плотностью портов 10GE Оборудование серии Summit обеспечивает минимальный уровень задержек, и наибольшую скорость коммутации по сравнению со всеми конкурентами на рынке.

Данные преимущества позволили нам остановить свой выбор на оборудовании серии Summit. Коммутатор x670v был выбран как high-end решение, для крупных операторских сетей, для обеспечения возможности расширения и модернизации без замены оборудования или приобретения дополнительных компонент.

От редакции: если у вас есть чем поделиться с коллегами по отрасли, приглашаем к сотрудничеству.

26 комментариев
Оставлять комментарии могут только авторизованные пользователи
Robot_NagNews
Robot_NagNews

Материал:

Проблема модернизации мультисервисных сетей и расширение возможностей работающего оборудования особенно актуальны на сегодняшний день. Следует отметить, что подобные вопросы не имеют типовых решений и должны рассматриваться специалистами отрасли в контексте поставленных задач. Описанию разработки одного из таких решений и посвящена эта статья.

 

Полный текст

flamaster
flamaster

ничего не рассказано в плане IPv6. интересно узнать масштабируемость выбранной топологий в случий IPv6.

ivb1232
ivb1232

Вопрос мультикаста скупо освещен, P2MP MPVN ?

Телефония, понимаю, L3VPN обычная.

dmvy
dmvy

Зачем на Juniper MX делать NAT при наличии SE600? PE для больших клиентов (>1Гбит) я могу понять, но NAT совсем лишнее (Отдельную плату для этого нужно ведь). Поправьте картинку...

ivb1232
ivb1232

BRAS/NAT SE600 на картинке есть.

Andrey Shepelev
Andrey Shepelev

НАТ на МХ нужен для обработки не ШПД абонентского трафика. В данном случае заказчик предполагает гонять через него LTE трафик в больших объемах.

s.lobanov
s.lobanov

НАТ на МХ нужен для обработки не ШПД абонентского трафика. В данном случае заказчик предполагает гонять через него LTE трафик в больших объемах.

 

И чем LTE отличается от 'ШПД'? Имеется ввиду Интернет через LTE или какой-то другой сервис?

Andrey Shepelev
Andrey Shepelev

Да конечно. некорректно выразился. Имелось ввиду что услуги LTE построены на базе отдельной сети, которая стыкуется с ядром и весь трафик натится именно на МХ в ядре. Это было пожелание заказчика которое мы реализовали установив специальный модуль MS-DPC. Имеется ввиду именно интернет для устройств с поддержкой LTE.

 

Вопрос мультикаста возможно будет рассмотрен в других статьях )))

max1976
max1976
При получении dhcp запроса, на оборудовании центрального узла автоматически создается l3 интерфейс с номером Vlan соответствующим Vlan приходящего пакета, и адресом, выбранным согласно технологии ip unnumbered. Осуществляется преобразование broadcast dhcp запроса в unicast dhcp запрос, и передача его на третьем уровне модели OSI до оборудования BRAS. На оборудовании BRAS осуществляется авторизация абонентов в системе биллинга по технологии CLIPS, и выдачи ему адреса и соответствующих атрибутов.

Это каким образом? На один dhcp запрос будет выдано 2 адреса (один там где ip unnumbered, а другой на BRASe) ?

Andrey Shepelev
Andrey Shepelev

почему же два? если внимательно прочитать текст то можно понять что на оборудовании узла создается влан и интерфейс, никакой выдачи адреса там нет как и каких то dhcp серверов.

Вся авторизация через БРАС, с привязкой к оборудованию центрального узла через опцию шлюза по умолчанию.