В январе текущего года Роскомндазор "пожизненно" "заблокировал" крупнейший торрент-трекер на русском языке. Кавычки поставлены неслучайно, потому что на деле оказалось, что никакой пожизненной блокировки не случалось. Хотя "профильные" антипиратские организации бравурно отчитываются об "эффективности" и вот еще чуть-чуть…
И даже подтверждают эффективность блокировок цифрами. Например, ссылаясь на открытый интернет-счетчик LiveInternet, который доступен всем желающим по адресу: http://www.liveinternet.ru/stat/rutracker.org/index.html
И действительно… с момента локального пика "просмотров страниц" в объеме 11,4 млн. при 1,1 млн. посетителей, показатель августа-16 составляет 5,9 млн. просмотров на 0,53 млн посетителей. Статистическое "падение" - вполовину!
Действительно. Можно делать отчет и победную реляцию о действенности механизмов "пожизненной блокировки". Полностью явление предотвратить, разумеется, не удастся в столь короткий срок, но за полгода сократить количество "пиратов" вдвое - это вполне себе достижение.
Но так ли это на самом деле?
Давайте разберёмся с самого начала.
Для начала давайте разберёмся в принципах работы собственно технологии "торрент" и как оная блокируются по версии "Роскомнадзора".
Итак: BitTórrent (букв. англ. "битовый поток") это пиринговый (P2P) сетевой протокол для кооперативного обмена файлами через Интернет.
Особенностью протокола (в отличие, например, от "старого доброго FTP) является то, что передаваемые файлы разбиваются на сегменты. Каждый torrent-клиент, получая (скачивая) сегменты, в то же время отдаёт (закачивает) их другим клиентам, что снижает нагрузку и зависимость от каждого клиента-источника и обеспечивает избыточность данных.
Собственно протокол изначально был разработан Брэмом Коэном, написавшим первый torrent-клиент "BitTorrent" на языке Python 4 апреля 2001 года. Запуск первой версии состоялся 2 июля 2001 года.
На сегодня существует огромное количество программ-клиентов для обмена файлами по протоколу BitTorrent. Я насчитал 39 популярных клиентов, отмеченных в Википедии, и отличающихся некоторыми особенностями, как косметического характера, так и внутренним устройством.
Для того чтобы понять, как "блокировать торренты", необходимо понимать и как
в принципе работает протокол BitTorrent. Не вдаваясь глубоко в технические подробности, попробуем разобраться.
Для того, чтобы "скачать новейший фильм" (пиратский, разумеется) вам необходимо установить на компьютер (отвлекаясь - не только на персональный - существуют клиенты для смартфонов, NAS-хранилищ, для маршрутизаторов) специальное ПО-клиент. Далее вам необходимо скачать и "скормить" клиенту короткий torrent-файл, где, собственно, хранится информация о том, где "качать" - адрес торрент-трекера и контрольная хеш-сумма скачиваемого файла.
Клиент обращается к трекеру и в ответ получает адреса других клиентов, скачивающих или раздающих этот же файл. Далее клиент периодически информирует трекер о ходе процесса и получает обновлённый список адресов. Этот процесс называется объявлением (англ. announce).
Клиенты соединяются друг с другом и обмениваются сегментами файлов без непосредственного участия трекера, который лишь хранит информацию, полученную от подключённых к обмену клиентов, список самих клиентов и другую статистическую информацию.
Сеть BitTorrent тем более эффективна, чем больше клиентов к ней подключено.
Отсюда и возникает тривиальный вывод, что если мы "заблокируем" адрес торрент-трекера, то сеть работать перестанет. Но.
Но дело в том, что годы гонения на технологию торрентов (которую во всем мире считают "пиратской", хотя это всего лишь технология, которую, в том числе, используют многие крупные дистрибьюторы контента) принесли новое понимание безопасности сети и соответствующие изменения в протоколы. Например, во избежание "тонкого места" в виде централизованного трекера, была разработана система "распределённой базы данных об объявлениях файлов", которая получила кодовое название Kademlia. В английской версии на Википедии довольно подробно описана математика реализации Kademlia. В русской версии все довольно сжато.
Начиная с версии протокола 4.2.0 (анонсирована еще в 2005 году) клиенты поддерживают функции "распределённой хеш-таблицы" - DHT (Distributed hash table) и PEX (Peer exchange) — это расширение БТ протокола для обмена списками участников.
Если очень коротко: DHT — это протокол, позволяющий битторрент клиентам находить друг друга без использования трекера. То есть, торрент-клиенты просто и незамысловато пересылают друг другу всю необходимую для передачи файла информацию - кто, где и какие сегменты файла сейчас передаёт-принимает.
Протокол PEX реализуется как дополнительные сообщения между клиентами, уже соединёнными между собой для обмена сегментами файла по обычному БТ протоколу.
Но нужно понимать, что DHT, PEX - это только вспомогательные средства получения пиров. К раздаче новых пиров необходимо всё же подключать трекеры, главная задача которых - генерация уникальных в данной обменной сети хешей файлов для раздачи.
Ещё одно важное дополнение. Собственно сайт RuTracker - не является торрент-трекером. Это всего лишь сайт, написанный на "форумном движке" (phpBB) с открытым исходным кодом, значительно переработанным. Собственно трекер находится по адресу t-ru.org (bt3.t-ru.org - разрешается на IP-адрес 195.82.146.122). И этот адрес как раз РКН не блокируется. Но в случае блокировки, он может быть очень быстро изменён на любой другой.
Ценность же ресурса RuTracker заключается в том, что его "форумность" позволяет пользователям общаться, задавать вопросы и обмениваться информацией и ссылками на торрент-файлы.
При этом блокировки по адресу "форума" и его ip-адресу, по механизму "черных списков", применяемые РКН - бессмысленны.
Но таки установленные счётчики LiveInternet (еще в коде присутствует счётчик OpenStat) показывают, что количество пользователей все же снижается… Почему так?
Тут есть несколько версий.
Во-первых, вообще аудитория Рунета, если смотреть на счетчик LI, последний год сокращается:
Причем, снижается как раз с января 2016 года, хотя и не так драматически, как количество посетителей непосредственно RuTracker:
Во-вторых, снижение количества посетителей "по счетчику" можно отнести как раз к блокировке, что совершенно справедливо.
Тут необходимо чуточку подробнее остановиться на механизме действия счётчика, который работает следующим образом: код счётчика имплементируется в HTML-код страницы и обращается непосредственно со страницы как обращение к стороннему ресурсу. Система статистики как раз и считает сколько раз было обращение к ресурсу с определёнными параметрами.
Вот так выглядит код счётчиков, установленных на RuTracker:
Логично, что если вы не смогли загрузить страницу (увидели страницу-заглушку от провайдера имени Роскомнадзора), то счётчик также не загрузится и система статистики вас не посчитает.
Однако если вы воспользовались каким-либо способом обхода блокировок, например, установив расширение для браузера или воспользовавшись VPN-сервисом, то счётчик страницы может просто не считаться. По ряду причин, не углубляясь.
И, в-третьих: аудитория RuTracker - это "продвинутые пользователи", которые не только легко обходят блокировки, но и пользуются различными способами блокировки рекламы и "жучков". Например, AdBlock или Ghoster, количество пользователей которых довольно быстро растет. Эти расширения для браузеров просто блокируют обращения к сторонним ресурсам или даже HTML-код вставок "жучков" и рекламы.
Вот так выглядит плагин Ghostery со статистикой блокировок на странице RuTracker:
И наконец, в-четвертых, версия, которую я пока не подтвердил, но которая может иметь место - собственно RuTracker некоторым образом вмешивается в работу выдачи счетчика, нарочно и постепенно снижая наглядную посещаемость сайта на используемых счетчиках.
Сделать это при навыках web-программирования несложно - код счётчика вставляется не на каждом просмотре, а только, например, на каждую девятую страницу, выдаваемую посетителю.
Оговорюсь дополнительно - это только версия: мне не удалось подтвердить факт манкирования статистикой на ресурсе путём перезагрузок страницы и заходов с различных браузеров. Возможно механизм выдачи счётчика более сложный, а возможно, такового и нет совсем.
Но в пользу версии манипуляций говорит следующие факты:
а) Отсутствие развитых и популярных систем статистики, таких как, например, Яндекс.Метрика или Google Analitics, которые факт манкирования быстро бы выявили и заблокировали счетчики.
б) Наличие реальной аналитики на сайте, как правило, объясняется коммерческими задачами по продаже рекламы, которая на сайте очень даже имеется. Но в данном случае, она просто не нужна, но об этом чуть ниже.
в) Морально и технически устаревшие системы статистики - LI (система технически не обновляется уже несколько лет) и OpenStat достаточно легко поддаются манипулированию и самое главное - являются "базовыми" для наблюдения именно госструктурами. Напомню, что LI принадлежит "советнику президента" Клименко, который лоббирует и блокировки, и "пакет Яровой" и вообще закукливание Рунета.
То есть метод получения статистики, используемый на ресурсе RuTracker такой, что никакой реальной картины посещаемости он не показывает.
Однако имеются другие более совершенные инструменты учёта трафика на интернет-ресурсах, базирующиеся на иных механизмах. Например, технология аналитики компании Similar Web использует несколько источников для сбора данных и статистики интернет-ресурсов, а именно:
1) Плагины для веб-браузеров, установленных у миллионов анонимных пользователей; 2) Данные от глобальных и локальных интернет-провайдеров, где SimilarWeb устанавливает специальное оборудование и ПО класса DPI; 3) Данные по веб-трафику извлекаются косвенно из переходов на другие сайты и веб-ресурсы, для чего разработаны специальные алгоритмы накопления статистики; 4) Разработаны целые колонии поисковых роботов SimilarWeb, которые сканируют весь Интернет.
В итоге, у компании имеются более точные данные по реальному интернет-трафику. Вот на них и посмотрим.
Для начала, общая картина посещаемости RuTracker за последние полгода, сделанная с помощью плагина Similar Web:
… где количество просмотров (не уникальных пользователей - просмотров) оценивается в более, чем 80 млн. в месяц.
Напомню, что по версии LI просмотров менее 10 миллионов.
Какого-то катастрофического падения аудитории - не зафиксировано.
Обзор статистики по ресурсу доступен (без регистрации и СМС) по адресу: https://www.similarweb.com/website/rutracker.org?from_ext=1#overview
Данный сервис - платный. Поэтому для целей написания нашего обзора мы пользуемся исключительно открытыми данными. Если зарегистрироваться, то будут доступны дополнительные данные, но не все: стоимость использования в режиме PRO - 199 долларов в месяц.
Сравним дневную посещаемость Рутракера по версии Similar Web:
С продемонстрированной посещаемостью от LI за тот же период:
Разница примерно в четыре раза.
"Острые пики" на графике LI совпадают с пиками на SW, но на LI нет возможности сделать нормальный масштаб по оси ординат без выгрузки данных для анализа. На самом деле, колебания "выходного дня" (ЧНН у развлекательных сайтов приходится именно на выходные и праздники) так же как и у SW в пределах 10% от общего трафика.
К сожалению, Similar Web в бесплатном доступе отдаёт статистику только за последние полгода, а событие "пожизненная блокировка" произошло несколько раньше. Но на самом деле никакого падения "в два раза" посещаемости Рутрекера не случилось. Даже больше - на волне новостного шума вокруг блокировки произошел некоторый всплеск интереса к ресурсу, который, кстати, хорошо виден на графиках от LI.
Стоит добавить, что Рутрекер - далеко не единственный интернет-ресурс, который промышляет "пиратским контентом". Но то, что он один из крупнейших в России - факт. Однако существуют и конкурирующие протоколу BitTorrent технологии, которые набирают популярность, и довольно быстро.
Например, за внимание пользователей в сегменте "видео" борется несколько ресурсов с онлайн видео. Показательно, что трафик на них даже больше, чем на РуТрекер. Например, сайт Kinogo, который также попал под блокировку и успешно обошел ее методом перенаправления домена с заблокированного Kinogo.co на резервный Kinogo.club:
Посещаемость сайта за каких-то два месяца превысила показатели Рутрекера вдвое. И это не единственный ресурс с онлайн кинотеатром и откровенно пиратским контентом.
Ресурс Seasonvar.ru имеет показатель 122 миллиона просмотров в месяц.
Filmix.net - 20 миллионов.
Kino-Dom.org - порядка трех миллионов.
И это далеко не все ресурсы - подобных сайтов на самом деле существует сотни и тысячи. Потому что это выгодно.
Создание пиратского сайта, как, впрочем, вообще любого другого сайта - занятие хлопотное и затратное. Необходимо, как минимум, приобрести хостинг, запрограммировать собственно сайт, набрать и как-то хотя бы минимально упорядочить контент. Самое главное - набрать пользователей, конечно.
Для этого требуются средства, время и квалификация.
Разумеется, пиратские ресурсы планируют как-то вложенные средства отбивать. И обычно это реклама.
Монетизировать пользовательскую базу в 80 миллионов уникальных пользователей в месяц вполне интересно с коммерческой точки зрения и это вполне прибыльное занятие.
Именно так и монетизируется RuTracker:
Всего на сайте я насчитал порядка 13 рекламных блоков и вставок. В основном - не самых белых с точки зрения российского законодательства: реклама казино и букмекерских контор, услуги не совсем законного получения водительских прав и военных билетов, "странные товары" и откровенно мошеннические "услуги целителей".
Именно это и есть "кормовая база", которая питает пиратские ресурсы.
Технические методы блокировки пиратских ресурсов, как показано выше, не совсем (на самом деле - совсем) не эффективны. Собственно модель "чёрных списков" довольно странная "с точки зрения медицины" - лечить симптомы, а не болезнь.
Более того, криминализация (блокировка) Рутрекера загоняет пользователей (а их более двух миллионов уникальных в день и порядка 16 миллионов зарегистрированных на форуме) привела лишь к тому, что теперь RuTracker официально отказался от взаимодействия с правообладателями и не удаляет из раздачи файлы, которые однозначно контрафактны.
Любая блокировка РКН - обходится. Методов обхода - уже десятки. Причем, количество методов обхода становится тем больше, чем изощреннее методы блокировки на стороне провайдеров.
Давайте перечислим способы блокировки и очевидные методы противодействия им:
Блокируется не сам трекер, а только информация со ссылками на торрент-файлы или magnet-ссылки и ветки обсуждений раздачи. Но на работу трекера это никак не влияет.
Методы обхода блокировок традиционные: плагины к браузерам, VPN, динамический DNS.
Противодействие со стороны ресурса: смена IP-адреса хостинга, смена домена, динамический DNS.
Как показывает практика, сообщество и посетители довольно быстро ориентируются и учатся.
Как уже было сказано выше, Роскомнадзор "пожизненно заблокировал" интернет-ресурс, на котором не публикуется вообще никакой "запрещенной информации" - только ссылки на торрент-файлы. Собственно трекер находится по адресу bt3.t-ru.org и его IP-адрес (195.82.146.122) в реестре не значатся.
Вот адрес собственно RuTracker - в реестре:
Вот адрес собственно трекера:
Вот домен второго уровня:
Вот IP-адрес трекера:
То есть, доблестный Роскомнадзор блокирует не то, что нужно блокировать!
При этом блокировка трекера также не приведет к желаемому результату - владельцу ресурса достаточно изменить адрес трекера в torrent-файлах и magnet-ссылках, как ресурс опять станет доступным.
Существует несколько способов заблокировать вообще протокол BitTorrent на стороне провайдера. Самый простой способ - блокировка стандартных для протокола BiTorrent портов 6881—6889, однако этот способ уже давно обходится всеми клиентами, которые научились использовать нестандартные порты, включая порт-80, используемый для обычного HTTP-трафика.
Более сложные схемы - шейпинг (shaping traffic - ограничение пропускной способности канала) и полная блокировка трафика на системах DPI (Deep Packet Inspection). Обычно системы DPI распознают трафик от клиентов BitTorrent по содержимому данных TCP пакета, где со второго байта имеется признак BitTorrent protocol. Однако некоторые клиенты и трекеры обходят и такие ограничения путем маскировки трафика и его шифрованием. Очевидно, что при массовой блокировке путем DPI наиболее популярные torrent-клиенты найдут способы маскировки трафика.
Вот так выглядит настройка нативного клиента BitTorrent, где шифрование трафика включается одним движением курсора:
Отсюда совершенно очевидный вывод, что технические способы блокировки пиратского контента - неэффективны. Борьба будет напоминать старинную поговорку про "борьбу щита и меча", где у разработчиков методов обхода блокировок имеется фора по времени и квалификации.
А вот простые методы с субъектами распространения пиратского контента почему-то обходятся властями.
Никто не знает почему, но владельцы RuTracker до сих пор на свободе и даже не в розыске.
На самом деле - это не трудно.
Например, имеется полная история по предыдущему домену RuTracker в реинкарнации torrents.ru. Вот она: http://who.ru/simplesearch-rc?domainsimple=torrents.ru
Электронная почта персоны, на которую был зарегистрирован домен - enot@mail.ru. История с разделегированием домена уже давняя, но почему-то никто не задался целью проследить историю домена и на его хостинговую историю. Например, хостинг Торрентс.ру долгое время предоставлялся компанией ihome.ru - это в России и отследить документы и платежи в сторону хостера не так сложно.
Текущий же домен уже зарегистрирован в зоне .org и на "частную компанию". Там же зарегистрирован домен t-ru.org - https://www.nic.ru/whois/?domain=t-ru.org
Страна регистранта - Багамы. Да, далеко.
Но хостера можно найти достаточно легко. Вот тут: https://apps.db.ripe.net/search/query.html?searchtext=195.82.146.122#resultsAnchor
И мы узнаем, что Рутрекер хостится в компании Dreamtorrent Corp, зарегистрированной на Сейшеллах. И у них имеется собственная "автономная система" (ASAS47105) с выделенным IP-адресным пространством в диапазоне 195.82.146.0 - 195.82.147.255.
Контактные персоны там: Alexander P. Frei и Le Mon Grinua. Есть номер телефона +441614082336.
Маунтейнер (идентификатор лица, имеющего полномочия на изменение объектов в базе RIPE) вообще значится юридическое лицо под названием Avtomatizatsiya Business Consulting Ltd. Поиск показывает, что это вполне реальная компания с ОГРН 1067760626922. Впрочем, я не ставил задачи поиска владельцев РуТрекера, но это, как мне кажется, вполне возможно силами специально обученных следователей.
И это еще не всё!
Я напомню, что реклама, публикуемая на страницах Рутрекера, крутится в основном на тему онлайн казино. Например, приведенный выше скриншот кода счетчиков и закомментированный кусок рекламной вставки, который выглядит так:
<!--<a href="https://casino.ru/?utm_source=rutracker.org&utm_medium=mini&utm_campaign=forum" target="_blank"><img src="//static.t-ru.org/images/casino-2.gif" alt="Лучшие казино online 2015" width="88" height="31" style="border: none;"></a>-->
Очевидно, что без доступа к собственно коду сайта сделать такую вставку затруднительно. Следовательно, вставку сделал некто, кто имеет полный доступ к коду сайта. Администратор.
Следовательно, если выйти на ресурс casino.ru, то путём простых (ну, ладно - достаточно сложных, на самом деле) следственных действий можно найти и владельца RuTracker. Но это вполне возможно, потому что сделка по покупке домена "casino.ru" была одной из самых крупных с доменами в России — за $250,000 сей домен был приобретён компанией Game Media в конце 2008 года. Вот здесь можно посмотреть историю домена: http://who.ru/simplesearch-rc?domainsimple=casino.ru
При этом любые следственные действия однозначно будут поддержаны международными правоохранительными органами, потому что собственно RuTracker.org находится в так называемом "Списке 301", который составляется на основании ст. 301 Закона о торговле США 1974 года (англ. Trade Act of 1974) и содержит перечень интернет-ресурсов, которые участвуют в распространении контрафактной продукции[34]. Это должно ограничивать возможности привлечения ресурсом зарубежных средств и подписание соглашений с иностранными правообладателями.
С пиратством, разумеется, бороться нужно и важно.
Но почему-то "борьба с пиратством" происходит методом привлечения непричастных (интернет-провайдеры обязаны тратить собственные ресурсы на поддержку "чёрных списков") и наказанием невиновных пользователей, испытывающих трудности от тотальной блокировки. Собственно интернет от этого становится только сложнее, а пиратство процветает.
Как, впрочем, и масса паразитирующих на "борьбе с пиратством" организаций, которые получают финансирование "на борьбу" от правообладателей, но при этом не делающих ничего действительно полезного, кроме выступлений на пресс-конференциях о том, как они нечеловеческими усилиями победили Рутрекер и снизили его аудиторию в половину. Хотя это не так.
Материал:
В январе текущего года Роскомндазор “пожизненно” “заблокировал” крупнейший торрент-трекер на русском языке. Кавычки поставлены не случайно, потому что на деле оказалось, что никакой пожизненной блокировки не случалось. Хотя “профильные” антипиратские организации бравурно отчитываются об “эффективности” и вот еще чуть-чуть…
Полный текст
Хорошо расписал.
Так надо было сразу в роскомнадзор писать, а тут то че.
Зачем в Роскомнадзор? Есть более подготовленные товарищи, которые получают бабло на "борьбу с пиратством".
Ну, например
С пиратством надо бороться с помощью доступного и качественного контента. Если фильм говно и он провалился в прокате, то явно в этом виноваты не "пираты", а сами создатели фильма.
Заходишь на трекер и видишь:
- фильм гавно
- фильм охрененный, ничего вы не понимаете
- в принципе один раз посомотреть можно
Вопрос: какой фильм?
Глупость.
Торрент создаётся раздающим (хоть в uTorrent), далее он его просто выкладывает на трекер или может тупо отдать друзьям.
Задача трекера ровно одна: хранить эти самые торрент файлы чтобы их могли скачать другие.
Некоторые трекеры ещё дописывают себя в торрент файлы чтобы: знать кто сколько скачал и чтобы более оперативно отдавать список пиров.
Но есть "трекеры" просто раздающие торрент файлы и дальше клиенты ищут друг друга по DHT.
Является. Раз они дописывают в торрент файлы ссылки на свои сервера да ещё и с уникальным идентом то они именно что трекают юзеров.
Ну-ну.
uTP на раз убивается даже сигнатурами с небольшим процентом ложно-позитива, а уж с моей нетграф нодой и вообще 100% без ложнопозитива, и плевать включено шифрование или нет, эти олухи кодить не умеют :)
Рутрекер давно уже ушел с уникальных идентификаторов в торрент-файлах.
Если начать читать написанное, а не сразу бросаться опровергать, то выяснится, что по "заблокированному" домену rutracker.org находится форум. А собственно трекер находится на домене btХ.t-ru.org
Как я это узнал? Это очень сложно же. Посмотреть на магнет-ссылки рутрекера:
Да, очень смешно пошутил. Поймал тех, кто не скрывается :)
Да, просто выкладывает хэш. А у меня что написано?
И тем не менее раз у них есть трекер в торрент файлах то трекингом они занимаются :)
Это к юристам.
По факту они раздают торрент файлы в которых прописан урл трекера, значит трекер.
Да, можно расчленить и говорить что это форум, а там трекер отдельно, но они же интегрированны по факту.
Ахха.
То то тут было столько стонов когда оно только вышло и успокоилось всё только через пару лет когда народ расширил каналы и проапгрейдил роутеры, попутно ещё и в торрент клиентах контроль перегрузки таки улучшили и ситуация типа сама собой рассосалась.
На практике там всё проще: uTP - транспортная прослойка, она не шифруется никак ни при каких настройках, у неё есть неплохой фигнерпринт, и её относительно легко достоверно трекать. Линуксойды вообще бы могли легко реализовать плагин к своему iptables, у них уже есть готовый conntrack, а мне пришлось ещё и его делать.
Вот только блокировать весь протокол - за такое нужно бить. Больно. Поэтому вопрос про легкость блокирования только того торрент-трафика, что явно как запретный прописан. Что-то мне кажется, что будет несколько сложнее. И вообще, Черный список - он же именно про сайты, нет? Кто формулировки помнит?