vk_logo twitter_logo facebook_logo googleplus_logo youtube_logo telegram_logo telegram_logo

#178 Антивирусная проверка http трафика

Дата публикации: 22.05.2004
Количество просмотров: 14586

Разное.

Главное событие недели случилось неожиданно. В любимой московскими чиновниками игре "за власть" кто-то наплевал на правила, и поменял "снос". В результате господин Рейман "получил" во владение уже месяц как упраздненное министерство...

Впрочем, смакование подковерной борьбы оставим традиционным газетам форматов от A4 до Tabloid. Важнее результат. Хоть какая-то призрачная надежда на перемены к лучшему угасла. Прежний министр, прежние люди, прежний тотальный непрофессионализм, безграмотность и "бескорыстное" лоббирование.

Только лицензий и сертификатов обещают сделать больше. Что бы независимые операторы не расслаблялись, и платили, платили... Нет, не государству конечно, что за глупость. Есть же специальные частные фирмы для этого! Тут надо дать слово профессионалу - Особенности национальной сертификации и Черная дыра Антона Богатова.

Традиционная цитата. Можно много говорить о достоинствах и недостатках отечественной сертификации вообще и системы ССС в частности. Ясно одно: сертификация в России нуждается в радикальной реформе, поскольку в нынешнем виде имеет место элементарная профанация международной практики подтверждения соответствия, что наносит серьезный ущерб и национальным операторам связи, и поставщикам и производителям оборудования, а главное - мировой репутации России.

И с этим трудно не согласиться - тем более на фоне "возвращения" минсвязи.
:-(

 


Перейдем к забавному. На дворе весна, и нужно поздравить читателей с наступлением садово-огородного сезона (прислал Sergei Bershadsky).

Админ он и в Африке админ

Вот интересно, подвязывать малину можно только патчкордами Категории 5, или Категория 3 то же сгодится?

 


И еще одно весеннее фото, почти такое же значимое, как прилет грачей в российском сельском хозяйстве.

Админ он и в Африке админ

Грозозащита стояла на абонента. Свитч Surecom, пятипортовый, в металлическом ящике, все порты защищены аналогичными устройствами. Постороннего проникновения в ящик не было. Механического повреждения не было.

Однако порт целый, компьютер абонента целый, остальные защиты целые. Разорван основной защитный элемент (высоковольтный стабилитрон), оплавлен провод заземления, линейные элементы (диоды) целые. Что могло случиться - загадка до сих пор.

 


Ну и самое интересное (на мой взгляд) событие в домашних сетях - даже не за неделю, а по крайней мере за месяц. Пользователь домашней сети теперь может заработать на трафике.

Краткий смысл проекта. Деньги получают абоненты - владельцы интернет-ресурсов (ftp-архивов). Если у пользователя есть файловый архив и он зарегистрирован в каталоге КАБiNET, то за каждый мегабайт трафика, скачанный с него абонентами КАБiNET из других сегментов, на его лицевой счет перечисляется 5 копеек. Для того, кто трафик скачивает, он стоит 20 копеек.

С момента начала проекта прошло всего несколько дней, но уже можно говорить о успехе. В каталоге зарегистрировано более 300 ресурсов пользователей (это из почти 6000 абонентов сети). Подробной статистики нет, но известно, что одному пользователю за день было начислено 72 рубля (т.е. с его компьютера было скачано 1440 мегабайт).

Конечно не хорошо считать деньги в чужом кармане. Но с провайдерами интереснее говорить именно о бизнесе, а значит и о прибыли - тут никуда не деться. Несложно подсчитать, что фирма-организатор проекта получила за день на одном из участников проекта 216 рублей. И это на третий день работы файлового архива.

Если сделать приблизительную прикидку, то с 300 ресурсов и при распространении идеи в массах абонентов, можно будет получать около $500 в день, или $10-15 к$ в месяц. Не то, что бы это было очень много для сети такого большого масштаба, но лишние $1-2 с абонента получить вполне вероятно. А это уже совсем не плохо.

Конечно есть и подводные камни - при активном потреблении внутренних ресурсов может упасть более выгодный (для оператора) внешний трафик. Хотя это маловероятно - "тяжелые" ресурсы в Екатеринбурге мало кто потребляет в заметных объемах, это слишком дорого (3-4 рубля за мегабайт). С другой стороны, у "перепродажи" внутреннего трафика есть резерв роста - сейчас подсчет ведется только между сегментами, внутри (а это 200-300 пользователей) ничего не считается.

Думаю, более точные результаты будут известны через несколько месяцев. А пока - есть только интересная и довольно красивая идея, как можно загрузить сеть трафиком без особых вложений. Ну и не без прибыли, конечно. ;-)

 


Обновления в разделах.

Антивирусная проверка http трафика.

Минули те времена, когда по сети можно было ходить "просто так". Современный интернетчик снаряжен как рейнджер - без "свежего" фаервола, антивируса и антитрояна выходить за пределы локалки можно... Но не долго.

При широкополосном подключении достаточно одного неосторожного клика мышью... И компьютер превращается в бомбу немедленного, или, хуже того, замедленного действия. Да, в 95% случаев в появлении вирусов виноваты сами пользователи. Но бывает, что от неприятностей не спасает даже 15-ти летний опыт работы в интернет.

Должен ли провайдер оградить абонентов от такого "счастья" при помощи фильтрации http трафика? Думаю что безусловно, только с возможностью выключения этой опции по желанию. По крайней мере осуществляемая оператором антивирусная проверка почты очень удобна, о последней эпидемии мне удалось узнать только из новостных лент, да по объему папки "trash".

Должна такая фильтрация быть бесплатной, или платной - вопрос сложный. Ресурсов она потребует (в отличии от почты) изрядно, поэтому одного решения нет. Но вот о техническом решении антивирусной проверки http хотелось бы рассказать подробнее.

Поэтому предлагаю текст, который написал Эдуард Афонцев, Екатеринбург.

 


Классическая схема организации доступа в Интернет подразумевает наличие шлюза, через который подключены клиентские рабочие станции. В рамках защиты от вирусного заражения встает задача антивирусной проверки проходящего через шлюз трафика. И если проверка почтовых сообщений не вызывает никаких трудностей (существует масса антивирусных решений на базе avp, drweb, clamav и прочих), то обработка http потока до сих пор не является широкораспространенной.

Наиболее известные способы антивирусной проверки http трафика можно разделить на следующие группы: пакетные фильтры с поддержкой контентной фильтрации, IDS (системы детектирования вторжений) и проксирующие программы с антивирусной поддержкой. Рассмотрим возможные некоммерческие решения по порядку.

Пакетные фильтры и их модификации.

Netfilter

К первой группе несомненно относится linux netfilter - штатный файерволл в современных linux ядрах. После наложения дополнительного патча становится возможно настраивать пакетный фильтр для фильтрации по содержимому пакетов. Например, для блокирования вируса Code Red достаточно запретить прохождение пакетов, содержащих подстроку "cmd.exe" :

iptables -I INPUT -j DROP -p tcp -m string --string "cmd.exe"

Layer 7 filter

Layer 7 filter - это новый пакетный классификатор для ядра linux. В отличие от других классификаторов, данный выполняет поиск регулярных выражений на уровне приложений. Практически представляет собой патч для linux ядра и iptables. В принципе является расширением netfilter для обработки layer 7 трафика.

Halflife

Предназначен для фильтрации не на транспортном уровне, как большинство файерволлов, а на уровне приложений. Создает дополнительную очередь в netfilter, которую можно обрабатывать например антивирусной проверкой. В настоящее время данный проект еще не реализован в виде программного кода.

IDS (системы детектирования вторжений).

Snort

Snort - это мощный перехватчик и анализатор сетевого трафика, основанный на библиотеке libpcap. Может производить как анализ протоколов (выявлять пакеты несоответствующие стандартам) так и анализ сигнатур (в перехватываемых пакетах выявляются враждебные образцы). Как таковой антивирусной проверки не производит, но может сигнализировать о характерном для распространения вирусов трафике и с использованием многочисленных расширений управлять файерволлами для блокирования.

Расширения проксирующих серверов по принципу встраивания в цепочку передаваемых данных.

Viromat

По сути php скрипт, осуществляющий антивирусную проверку в сложной цепочке:

  • пользователь посылает запрос на прокси сервер (например squid);
  • прокси передает url редиректору (например squirm);
  • url сканируется, и если содержит .exe .zip и тому подобное, то;
  • редиректор изменяет url на php скрипт находящийся на локальном http сервере;
  • php скрипт скачивает объект и проверяет его антивирусом;
  • если все в порядке, то прокси (а затем и пользователю) отдается объект с локального сервера.

В настоящее время проект заморожен.

Viralator

Данная программа является perl скриптом, который работает аналогично viromat и фактически являющимся его продолжением. Требует наличия прокси сервера (squid), редиректора (squirm или squidguard) и http сервера apache, на котором запускается собственно viralator (как cgi perl приложение). Может использовать множество антивирусных пакетов (avp, openantivirus, clamav и другие). Конструкция довольно громоздкая, но в принципе работоспособная.

Mod_clamav

Mod_clamav - это Apache 2 фильтр, который сканирует контент, доставляемый модулем mod_proxy, используя clamav антивирус. Для того, чтобы при обработке больших файлов браузер не выдавал таймаут, браузеру раз в минуту передается по байту запрошенного содержимого.

Mod_vscan

Mod_vscan является аналогом mod_clamav, только для проверок используется open antivirus.

Squid-vscan

Squid-vscan представляет собой патч для прокси сервера squid, позволяющий сканировать передаваемые данные на наличие вирусов. Входит в проект open antivirus.

DansGuardian

В принципе dansguardian предназначен для фильтрации передаваемого контента в связке с прокси сервером squid. Существует патч для добавления антивирусных проверок.

Расширения прокси серверов на основе специальных протоколов.

Вероятно, первыми были программисты фирмы CheckPoint, предложившие для своих продуктов протокол CVP (Content Vectoring Protocol). Однако в силу нераспространенности мы его рассматривать не будем.

Наиболее современным подходом к манипулированию http трафиком в потоке является использование протокола ICAP (internet content adaptation protocol). Подробнее о нем можно почитать по адресам: 1, 2.

Вкратце Icap - базируется на http и может модифицировать как запрос клиента, так и ответ сервера. Решаемые задачи - модификация контента, потоковый перевод и адаптация, сжатие данных, антивирусная проверка и многое другое.

По пути использования протокола icap пошли такие известные производители программного обеспечения как drweb, symantec, trend micro. Думаю, что ожидаются и другие.

Рассмотрим некоммерческие решения.

Shweby

Shweby - прокси сервер с поддержкой ICAP протокола, что позволяет передавать данные ICAP серверу, который может осуществлять антивирусную проверку.

Poesia

Основанный на ICAP программный комплекс для фильтрации интернет контента.

Squid icap client

Расширение известного прокси сервера squid для поддержки ICAP протокола. Наиболее перспективное решение, позволяющее осуществлять антивирусную (и не только) обработку кэшируемого контента. Недаром программисты DrWeb, сначала использовавшие подход viralatora, в дальнейшем перешли на squid + ICAP (практически разработав ICAP сервер с функциями антивирусной проверки).

Выводы.

Заканчивая обзор методов потоковой антивирусной проверки http трафика, можно сделать следующие выводы:

Практически все решения на основе пакетных фильтров базируются на расширении функций подсистемы netfilter ядра ОС linux. Очевидно, что полноценная антивирусная проверка в данном случае трудновыполнима - ведь на транспортном уровне (TCP/IP) данные представлены в виде отдельных блоков. Наиболее просто осуществлять поиск отдельных регулярных выражений (вирусных сигнатур), что и реализуется. В принципе, на мой взгляд, аналогичное решение можно выполнить, используя netgraph ОС FreeBSD, но пока подобных проектов нет.

Использование систем IDS позволяет отследить и блокировать поток данных, генерируемый вирусами, тем самым предотвращая их распространение. Однако данный метод ограничен только вирусами, использующими сетевые функции.

Наиболее эффективным является использование прокси сервисов - приложение посредник имеет большие возможности по обработке передаваемых клиенту данных.

Широкораспространенный прокси сервер squid (http, ftp) допускает подключение внешних программ (редиректоров) для манипуляций с обрабатываемыми url. Запрашиваемый клиентом url передается редиректору, который может с ним манипулировать и возвращать результат для дальнейшей обработки прокси серверу. Недостатки данного метода для антивирусной проверки выражаются в том, что обращение к редиректору происходит до скачивания данных прокси сервером и необходимо принимать дополнительные меры для кэширования и предотвращения таймаутов для клиентской программы.

Использование http сервера apache в качестве прокси с функциями фильтрации в принципе работоспособно, но идеологически неестественно - ведь основной функцией apache все же является совсем другое.

Остается применение прокси сервисов с поддержкой протокола ICAP - наиболее современное и развивающееся на сегодня решение. По этому пути пошли известные производители антивирусных решений, такие как Symantec, Trend Micro, Dr Web. Однако к великому огорчению некоммерческого программного продукта (сервера icap с антивирусной проверкой) пока нет.

Небольшие зарисовки.

Вот так выглядит "малобюджетная стойка".

малобюджетная стойка малобюджетная стойка

Прислал Юрий, компания Имилайн

 


Небольшая зарисовка о интернете в Казахстане, прислал Дибров Вадим.

Раньше жил я в Казахстане, в Кустанайской области (граничит с Челябинской) и сейчас иногда туда езжу.

Так вот, с интернетом там беда. Нет, возможно в столице, Акмоле, все нормально, но в моем городе (Рудный, 140 тыс. население) и в областном центре, Кустанае, ситуация печальная.

Самое распространенное подключение, diulUp есть 2-х видов, внутренний и внешний. Они так его и называют, казахский интернет и российский интернет. Единый модемный пул, универсальный для любого региона, как и тарифы. Как руснет так и казнет, номера телефонов отличаются незначительно. Набирается как межгород, через 8-ку. Подключение через КазНет ограничивает работу только казахскими ресурсами, видимо по IP. Внешние ресурсы не пингуются.

В моем городе других вариантов подключения нет. Слово "провайдер" там не знают. Даже крупнейшее в регионе предприятие – горно-обогатительный комбинат (3 огромнейших карьера, добывающих железную руду) до недавнего времени ходило в нет через обычные модемы. Совсем недавно на этом предприятии появился xDSL...

 


Установка антенн на здании (прислал Александр Авдеев):

Антенны

Думаю что здание на фотографиях представлять не нужно...

Верхолазы.

Вот так вот приходится иногда ставить антенны (прислал Yury Green):

Верхолазы

Это явно не крыша 5-ти этажки... Да и антенна серьезная планируется.

Анонс

 

  • Зарисовки узлов разных провайдеров (в основном стойки). Наконец-то ожидаются "положительные" примеры.
  • Переход через железную дорогу (несколько фотографий);
  • В галерее - сети в Якутске.
  • Сети учебных заведений в Германии (долгострой);
  • Традиционный пункт - ссылки на интересные места Сети. Присылайте письма - они очень нужны для обзоров. Обязательно сообщайте, нужна ли Ваша подпись, ссылка, или лучше обойтись без нее;
  • В "ужастиках" - "узел в холодильнике", Улан-Удэ.
От редакции: если у вас есть чем поделиться с коллегами по отрасли, приглашаем к сотрудничеству
Ссылка на материал, для размещения на сторонних ресурсах
/articles/reviews/16678/antivirusnaya-proverka-http-trafika.html

Комментарии:комментировать

27 апреля 2011 - 10:55
Robot_NagNews:
#1

Материал:
Молодые и сильные выживут. Закон Фронтира

Полный текст


Обсудить на форуме

Оставлять комментарии могут только зарегистрированные пользователи

Зарегистрироваться