Выполняем требования Роскомнадзора по web-фильтрации

Немного истории

В недалеком 2012 году началась новая эпоха развития Рунета, старт которой положил законопроект №89417-6, принятый Государственной Думой Российской Федерации. Она ознаменовалась блокировками сайтов по требованию властей, на стороне операторов связи.

Никто тогда не придал этому большое значение как в нынешние дни, но это породило много дискуссий. Многие инженеры не понимали, как можно было бы организовать такую блокировку без покупки специального оборудования, которое могло бы классифицировать трафик на больших скоростях. Да и такое оборудование стоит недешево. Было так же непонимание, каким образом бы производился контроль исполнения данного законопроекта.

Все предрекли этой идее безнадежный крах. Но контролировать исполнение закона обязали специальному федеральному органу исполнительной власти России, именуемым "Роскомнадзор".

1 ноября 2012 года начал свою работу специальный сайт, именованный "Единый реестр запрещенной информации". Его задача заключалась в содержании списка сайтов, к которым каждый оператор связи должен был своим абонентам ограничивать доступ. Роскомнадзор обязывал каждого из операторов быть зарегистрированным в его базе данных и делать каждый день специальную выгрузку реестра. Был введен жесткий мониторинг нарушителей. За неисполнение этих обязанностей жестоко наказывали с помощью штрафов, а у кого-то даже отзывали лицензии. Особенно остро этот период пришелся на 2013 год.

Вслед за этим сайтом был запущен сайт "Информационная система взаимодействия Роскомнадзора с операторами связи", на котором было описано два способа получения выгрузки реестра: ручной и автоматический.

Оба способа требовали перед получением выгрузки генерировать специальные файлы запроса и электронной подписи. Файл запроса имел формат XML, который содержал информацию об операторе связи, а файл электронной подписи создавался путем подписывания файла запроса специальным сертификатом. Его необходимо было приобрести у любого удостоверяющего центра, из числа аккредитованных Минкомсвязи России.

Ручной способ подразумевал ежедневного посещения этого сайта, где вручную через форму подачи запроса нужно было загрузить данные файлы, а спустя 2-3 минуты через форму проверки результата обработки запроса скачать сам реестр в виде архива. Почему ежедневного? Такие были требования Роскомнадзора. Для автоматического способа разработали специальный API, которым является набором готовых функций для использования во внешних программных продуктах.

Закон законом, а исполнять требования Роскомнадзора как-то надо было. Многие использовали ручной способ выгрузки реестра, т.к. не каждый оператор связи имел в своем штате программиста. Он был изнурителен и заставлял искать в сети Интернет по специализированным форумам хоть какое-то автоматизированное решение. Так появились народные умельцы, которые, имея навыки программирования в каком-либо языке, смогли написать скрипты, которые использовали API из автоматического способа. Кто-то смог воспользоваться данными скриптами, кто-то нет, но в целом буря постепенно утихла.

Казалось, что на этом все бы и закончилось: сгенерировал файлы, отправил через форму или через API, получил выгрузку. Но в Роскомнадзоре считали, что после получения реестр не обрабатывали и по нему не производились необходимые блокировки. Тогда были предприняты меры по проверке в сетях операторов связи ограничения доступа к сайтам из списка реестра. У тех, у кого эти сайты открывались, снова возросло давление со стороны Роскомнадзора.

Роскомнадзор рекомендовал три способа организации блокировок: по url-ссылкам, по доменам или по ip-адресу. Первые два способа были сложнее и по ним могла помочь лишь технология DPI. Она представляет собой механизмы позволяющие осуществлять исследование ip-пакетов на высших уровнях моделей OSI вплоть до седьмого. Но оборудование, использующее эту технологию, и по сей день очень дорогое и их могли позволить себе лишь крупные операторы связи.

Третий способ был более простым и им воспользовалось большинство. Вот тогда пострадало много вполне невинных сайтов. Дело в том, что на одном ip-адресе могло располагаться неограниченное число сайтов, в том числе и запрещенный. Технические поддержки операторов связи столкнулись с большим числом обращений своих абонентов о том, что их любимые сайты стали недоступны. Таким запомнился 2014 год.

В 2015 году ситуация улучшилась, когда операторы связи начали потихоньку модифицировать у себя полученные списки ip-адресов запрещенных сайтов, чтобы невинные сайты не блокировались, т.к. это очень сильно било по их имиджу.

Но спустя какое-то время Роскомнадзор начал следить за количеством доступных сайтов из списка реестра. Так операторы связи оказались посредине между Роскомнадзором, который требовал ограничивать доступ ко всем сайтам из списка реестра, и абонентами, которые не желали понимать сути блокировок и грозились уйти к конкурентам.

Казалось бы, выхода нет, как только лишь крупно раскошелится на дорогостоящее специализированное оборудование с технологией DPI от таких известных производителей как Cisco, Junpier или Huawei.

В поисках решений

На сегодняшний день ситуация на рынке уже изменилась — появились программные решения. Они устанавливаются на отдельный сервер, и включают в себя модуль для взаимодействия с вэб-сервисом Роскомнадзора и модуль для организации фильтрации трафика до запрещенных ресурсов.

Следует заметить, что при использовании специализированного оборудования с технологией DPI решается лишь задача фильтрации трафика. Модуль для взаимодействия вэб-сервисом Роскомнадзора нужно разрабатывать самому либо искать народного умельца, чтобы этот модуль получить. Но даже в этом случаи необходимо будет его дорабатывать, чтобы он мог загружать список реестра на оборудование в понятном ему виде.

Программное решение отличается от специализированного оборудования в его идее обработки только части трафика. Т.е. не всего суммарного интернет-трафика, а лишь того, который идет до серверов, где размещается запрещенный ресурс. В этом помогает протокол OSPF.

Для этого в сети оператора связи должна использоваться схема двух пограничных маршрутизаторов.

Программное решение экспортирует список ip-адресов серверов, где размешается запрещенный ресурс, по протоколу OSPF на первый пограничный маршрутизатор, перенаправляя тем самым нужный трафик для анализа. Трафик до запрещенного ресурса блокируется, в то время как остальной проходит транзитом.

Таким образом, для выполнения этой задачи может подойти обычный среднестатистический сервер, т.к. обрабатываемый трафик занимает малый процент от общего. Если же доля такого трафика со временем возрастет, то можно обновить железную составляющую сервера, либо поставить еще один, т.к. протокол OSPF позволит равномерно распределить трафик между серверами.

Конечно же, специализированное оборудование имеет больше возможностей, таких как классификация трафика или его кэширование, но они не нужны для выполнения поднятой в этой статье темы. Модуль обработки у программных решений, в основном, заточен на основную цель: блокировать домены или отдельные ссылки.

Стоит, конечно, упомянуть и о цене программного решения — оно значительно дешевле. Стоимость специализированного оборудования начинается от 1,5 млн. руб. в зависимости от количества обрабатываемого трафика, в то время как программное решение в совокупности со стоимостью среднестатистического сервера в несколько раз дешевле.

Программные решения

Из программных решений можно выделить лидеров рынка: ПО СКАТ DPI и SkyDNS Zapret ISP. Оба решения являются отечественными разработками и отвечают всем требованиям Роскомнадзора.

ПО СКАТ DPI использует технологию DPI. Является собственной разработкой компании VAS Experts. Применение данной технологии в данном решении позволяет использовать почти все возможности специализированного оборудования.

Данным решением обрабатывается весь трафик, проходящий через сервер, что в свою очередь становится требовательно к ресурсам сервера, к таким как память, процессор и сетевые карты. Имеется несколько типов лицензий, которые позволяют использовать те или иные функции, например, как кэширование трафика или защита от DOS и DDOS атак.

SkyDNS Zapret ISP использует альтернативную технологию, в которой сочетается применение прокси и сервиса DNS. Является собственной разработкой компании ООО "СкайДНС". Применение данной технологии в данном решении намного меньше возможностей специализированного оборудования.

Данным решением обрабатывается лишь http-трафик, что в свою очередь использует меньше ресурсов сервера. Остальной трафик проходит "транзитным" методом через сервер. Лицензируется индивидуальным коммерческим предложением.

К сожалению, чтобы протестировать данные решения необходимо связываться с представителями компаний, что потребует время. По отзывам на разных специализированных форумах оба решения справляются со своими задачами достаточно хорошо. Из минусов все-таки хотелось бы выделить цену, т.к. для мелкого оператора связи в условиях конкуренции с более крупными игроками она остается все еще главным критерием.

Конечно же, существуют и другие программные решения. Например, ZapretService.

Данное решение выполнено уже в готовом iso-образе, которое можно скачать и установить без обращения к его представителям. Установка почти автоматическая и имеется удобная документация. Решение имеет два типа лицензии — Trial и Full, первая из которых предоставляется бесплатно на 60 дней. Чтобы ей воспользоваться необходимо оформить заказ на сайте, а в течение дня на указанный email прийдет письмо с инструкциями по ее активации.

Программное решение состоит из разнообразного набора программ. Следует заметить, что большинство из них являются свободно распространяемыми, т.е. бесплатными, такие как squid, quagga, iptables и т.д. Лицензированию подвергаются лишь модули для взаимодействия с вэб-сервисом Роскомнадзора и модуль для squid.

В целом, решение понравилось за его простоту внедрения, большим сроком бесплатного тестирования, а также эффективным выполнением своей задачи. Приведем график обрабатываемого трафика с помощью ZapretService на среднестатистическом сервере (процессор с 2 ядрами, 4 Гб памяти, 1 стандартная сетевая карта 1 Гбит/с (с использованием vlan)). Общий суммарный интернет-трафик у нас составлял около 3 Гбит/с.

Сервер с данным программным решением используется при асимметричной маршрутизации, т.е. с применением протокола OSPF и обрабатывает около 4% трафика из основного. Это именно тот трафик, в котором необходимо отсеять доступ к запрещенным сайтам. Ресурсы сервера при пиках загружены всего на 40%, что позволяет пока не задумываться о дальнейшем расширении.

P.S.

Ранее 4 года назад никто даже не подозревал, что сайты или их отдельные ссылки кто-то будет блокировать. В эффективность закона никто не верил. Однако на сегодняшний день ситуация совсем другая, и она подтолкнула создать на рынке новое направление. И как показывает история, оно будет еще развиваться.

Конечно же, все это сопровождалось, сопровождается и еще будет сопровождаться большим негативом от обычных пользователей. Но, к сожалению, это не прихоть операторов связи, а ряд законов, которые были приняты в Государственной Думой Российской Федерации. А исполнять их — это уже обязанность. И, похоже, с этим уже ничего не поделаешь.