1. Новости
  2. пресс-релиз
Заметки пользователей
15.05.2015 15:24
7463
2
15.05.2015 15:24
PDF
7463
2

Релиз Carbon Reductor 5.5.1 - фильтра трафика по спискам Роскомнадзора и Минюста

Что нового?

В этом релизе вас порадует поддержка нескольких списков для разных сетей, улучшение файрвола, белых списков, нашей системы мониторинга, система анализа возможностей настроек оборудования для повышения производительности обработки пакетов и море других приятных мелочей!

Релиз Carbon Reductor 5.5.1 - фильтра трафика по спискам Роскомнадзора и Минюста

Многосписочность

Сразу поясним — это экспериментальная возможность, форматы и названия файлов со списками и вообще всё целиком может быть изменено. Но формально появилась возможность задать дополнительные списки фильтрации для разных наборов абонентов. Например для того чтобы заблокировать соц. сети какому-нибудь юридическому лицу, которое не имеет системного администратора, который может это сделать на их стороне, и при этом готово даже платить за это деньги как за услугу.

Пока что это сделано, что называется, на коленке: все настройки в простых текстовых файлах. Есть папка в которой лежат URL в файликах с номером списка. Есть папка в которой лежат списки групп абонентов, которые потом загружаются в ipset’ы. Есть файл который связывает списки URL с списками IP адресов/подсетей абонентов, есть файл который связывает IP адреса/подсети абонентов с IP адресами/подсетями https ресурсов. На текущий момент формат привязок для http такой:

blacklist_id    ipset_id    redirect_url    comment

для https:

src_ipset   dst_ipset

Если у вас есть желание сейчас или в будущем это использовать — вам стоит списаться с разработчиками, чтобы описать как именно вы хотите чтобы это работало, ибо сейчас как раз проектируется как это будет работать дальше и есть много нерешённых вопросов (как дружить это дело с биллингом, ибо у всех они разные итд). Это можно сделать либо в хелпдеске либо в twitter @carbon_reductor.

Подробнее про эти списки: http://docs.carbonsoft.ru/pages/viewpage.action?pageId=50660458

Улучшен файрвол

В Carbon Reductor стало достаточно много опций, влияющих на правила файрвола, такие как белые списки абонентов, дополнительные правила фильтрации, редиректы неавторизованных/заблокированных/отключенных пользователей (специфичная, конечно, схема, но так уж получилось), правила для фильтрации http не на 80 порту и подобные мелочи. Радикальных изменений нет, скорее просто упорядочивание + небольшая оптимизация.

Цепочка filter FORWARD

Именно в ней происходит передача трафика для фильтрации модулем reductor. Сейчас она выглядит приблизительно следующим образом:

пропуск белого списка абонентов, если есть (skip_check)
все порты на которых ожидается http трафик (http)
  проверки списков с биллинга, если включено (bill_http)
    редирект неавторизованных
    редирект заблокированных
    редирект абонентов с отрицательным балансом
  пропуск фильтрации белого списка подсетей, если есть (white_http_reductor)
  редирект по спискам РКН, минюста и провайдера
  дополнительные правила фильтрации http
все порты на которых ожидается https трафик (https)
  проверки списков с биллинга если включено (bill_https)
    reject заблокированных
    reject абонентов с отрицательным балансом
  пропуск фильтрации белого списка подсетей, если есть (white_https_reductor)
  reject того, что заблокировано по ip (https)

Цепочка mangle PREROUTING

Здесь изменилось мало, просто упорядочили правила по тому, сколько объёма трафика в них попадало, чтобы большая часть пакетов проходила меньше правил. Тех, у кого оптимизация в PREROUTING отключена это даже не коснётся.

Белые списки

Теперь можно запретить фильтрацию как по http так и по https для списка IP адресов подсетей. http://docs.carbonsoft.ru/pages/viewpage.action?pageId=42827787

Изменения по почтовым уведомлениям

Если указаны дополнительные почтовые адреса администраторов, на указанный в настройках выгрузки единого реестра email alarm’ы не отправляются. Так сделано потому что многие жаловались на то, что официальный почтовый ящик иногда заваливает почтой с ошибками, которые предназначаются системным администраторам.

Улучшена наша система мониторинга

Это, конечно, может порадовать только опосредовано — лучшим качеством технической поддержки, но тем не менее, расскажем и об этом.

  • Система мониторинга работает для всех, регистрация автоматическая.
  • Появились отчёты: список серверов, испытывающих проблемы в данный момент и список работающих в данный момент версий
  • Появился лог поломок, позволяющий отследить время возникновения проблем
  • Система мониторинга изменений в списке минюста переехала туда же
  • В подробной информации о провайдере показывается список хуков, т.к. иногда проблема оказывается или в них или в их отсутствии, так что источник проблемы иногда оказывается выявлен даже без подключения к серверу.

NOTRACK

В настройках алгоритма фильтрации появилась опция использования NOTRACK для трафика с интерфейсов зеркала. Работает только для схемы с зеркалированием трафика с коммутатора. Позволяет значительно снизить нагрузку на процессор, но подходит не для всех схем. Рекомендуется применять только в случае наличия проблем с нагрузкой и только с предварительным наблюдением за работой сервера в течении 1-2 дней, так как в некоторых ситуациях её использование приводит к крайне нестабильному доступу в интернет и в некоторых случаях — отсутствию выгрузок единого реестра. Предположительно проблема с использованием NOTRACK возникает в ситуациях, когда собственный трафик Carbon Reductor попадает к нему в зеркало трафика, но пока не удалось экспериментально это подтвердить/воспроизвести.

Прочие мелочи

  • Увеличена максимальная длина URL (слишком длинные URL обрезаются).
  • Убрана оптимизация — фильтрация пакетов только с PSH-флагом, т.к. GET запрос может находиться в другом пакете только с ACK при большом размере пакета.
  • Добавлен пример хука для main.sh (теперь уже rkn_download.sh), в случае если выгрузка списков располагается на другом сервере, забирать dump.xml с него.
  • Улучшена работа с кириллическими URL.
  • Поддержка фильтрации на нестандартных портах (пока только для URL из единого реестра).
  • Добавлена, но пока не используется (есть проблемы с совместимостью хуков) новая, расширяемая система диагностики. Можно потестировать с помощью запуска команды:
    /usr/local/Reductor/bin/angel
    
  • Диагностика (та которая используется) теперь проверяет и сообщает о ситуации, когда зеркало трафика настроено не в ту сторону (к reductor прилетает входящий для абонентов трафик, а не исходящий).
  • Добавлен тест работы DNS, который жизненно необходим для обращения за выгрузками единого реестра.
  • При обновлении удаляются бэкапы старых версий Carbon Reductor, кроме последних тридцати. Всё таки многие клиенты пользуются Carbon Reductor уже давно, а объём жёстких дисков хоть и не является величайшей проблемой и местом для экономии (согласитесь, меньше 250гб уже и не купить, разве что только если SSD), но всё равно не бесконечен.
  • Улучшен вывод ошибок при старте — теперь все ошибки пишут не столько о самой ошибке, сколько о том как её исправить.
  • Проверка потерь (dropped пакетов) в диагностике теперь ругается только в случае если число таких пакетов изменилось, чтобы не перезагружать сервер только ради сброса счётчиков после того как проблема с появлением ошибок была исправлена и не заваливать лишними уведомлениями о проблеме почту администратору.

Узнать больше о продукте и стоимости лицензии можно на странице Carbon Reductor -

2 комментариев
Оставлять комментарии могут только авторизованные пользователи
Robot_NagNews
Robot_NagNews

Материал:

В этом релизе вас порадует поддержка нескольких списков для разных сетей, улучшение файрвола, белых списков, нашей системы мониторинга, система анализа возможностей настроек оборудования для повышения производительности обработки пакетов и море других приятных мелочей!

 

Полный текст

DemonS
DemonS

Доброго времени суток!

Хороший продукт Reductor, сейчас обкатываем его. Работает стабильно. Техподдержка отзывчивая, от фич-реквестов не отмахиваются. Видно, что коллектив заинтересован в продвижении и развитии своего продукта. Блокировка работает стабильно, подняли на виртуальной машине, интегрируется легко. Богато наполненная wiki. Подавляющее большинство вопросов уже освещены. Из недостатков - https-ресурсы, что часто меняют свой ip, порой пролезают к абоненту. Однако, судя по твитеру, разработчики решают эту проблему. Желаю успехов и процветания КарбонСофту.

(П.С. Мнение - мое личное, не проплачен, не разработчик, никак не связан с карбонсофт).