Немного о статистике

Для начала, очень краткий вводный курс в теорию маркетинговых и социологических исследований. Все на самом деле, очень просто: есть ложь, есть наглая ложь и есть статистика (М.Твен). Круче статистики я могу назвать только социологию, а круче социологии - маркетинг. Но и маркетинг, и социология применяют статистические методы для решения своих задач.

На самом деле, недоверие к статистике происходит из способов манипуляции с данными - где-то что-то пропустили (намеренно или по недомыслию), где-то что-то привнесли лишнего. А где-то и просто соврамши. Злоупотребления могут быть и в области интерпретации данных - достаточно немножко подправить минимумы-максимумы на оси гистограммы, и вуаля, кажется, что происходят буквально тектонические сдвиги в исследуемом параметре, а на самом деле незначительные изменения:

И все же маркетингово-социологические исследования необходимы, иначе откуда бы мы получали волшебный пендаль мотивацию для развития компании? Так называемый бенчмаркинг это великолепный стимул, ибо все знают, что соседний ряд едет всегда быстрее, соседняя очередь движется эффективнее, а у соседа морковь вон какая вымахала. Другой вопрос, как, что и зачем нам сравнивать, чтобы польза от сравнения все же появилась.

Маркетинг-социологи знают множество способов исследований внешней среды. Вот небольшая их часть:

• Интервьюирование;
• Анкетирование;
• Наблюдение невключенное и включенное;
• Контент-анализ;
• Социологический и социально-психологический эксперимент;
• Социопсихолингвистические методы;
• Изучение статистических данных;
• Соцаргументация журналистского текста.

Любознательных отправляю к учебникам, а мы займемся "изучением статистических данных".

И сразу встает вопрос, а где взять данные? Если по собственной абонентской базе можно худо-бедно (у кого-то худо, у кого-то бедно, а где-то есть и хорошо поставленные процессы) выводить статистику по приросту/оттоку и тем паче по полученным деньгам, то где взять стату по конкурентам? Небось у всех собственные данные загрифованы "Для служебного пользования". Не пойдешь же к конкуренту испрашивать цифры - не дадут все равно.

На помощь приходят различные аналитические и рейтинговые агентства разной степени бестолковости. Самыми бестолковыми из которых могу назвать "ТАСС-Телеком", "аналитические рейтинги", которые просто блистают перлами, терминологической мешаниной и сравнением теплого с круглым.  Не буду углубляться в стеб и поношение - просто вот так получилось. Тем более что новостная лента у данного агентства весьма неплоха и достаточно оперативна. А рейтинги и хуже бывают - "ТОП-8 Екатеринбургских провайдеров" это надо было постараться придумать.

Для того чтоб как-то опираться на отчеты аналитических агентств, нужно иметь некоторую степень доверия к ним. Неангажированность, профессионализм, потенция получать данные из различных источников, а затем делать правильные выводы - все это вещи субъективные и поддаются тоже только субъективной оценке. Я провел экспресс-опрос в Фейсбуке в соответствующем сообществе на предмет доверия к различным аналитическим агентствам и получил вот такие результаты:

В опросе принимали участие люди, так или иначе связанные с отраслевой аналитикой (кто-то, возможно, увидит себя или знакомых). Интерпретировать результаты в данном случае, тоже является субъективным занятием, и я этого делать не стану. Что получилось, то получилось.

Проблемы "исследований" и "рейтингов" - это методология и источники данных. Методология иногда бывает весьма витиевата: "индексы", сравнение по выручке и абонентам, сравнение по "физическим" и "юридическим лицам". А данные для "рейтингов" могут браться совершенно стохастические, самые "достоверные" из которых  запрос бухгалтерского баланса (баланс любой конторы можно запросить в Росстате за небольшую денежку) и веерная рассылка анкет для заполнения собственно операторами. Кто не заполнил - в рейтинг не попал. А потом из кусочков данных анкет и бухотчетов пытаются высосать "выводы" типа "Связьтранснефть", "МегаПейдж" и "Телеком-экспресс" - компании с наиболее высокими темпами прироста выручки: 1048%, 364% и 338%.

Кроме того, таковые "исследования" не самые оперативные. Я бы даже сказал, бессмысленно затянутые. Просто потому, что бухотчетность в Росстат по итогам завершившегося года сдается до мая месяца следующего, а в доступ у не самого быстрого государственного статистического бюро отчеты попадают вообще в третьем квартале. К этому времени хотелось бы видеть нечто более соответствующее текущей ситуации ибо "время - деньги".

А еще, федеральные аналитики, как правило, оперируют цифрами федерального же масштаба. И их можно понять. Во-первых, отчеты могут получиться весьма толстые. Во-вторых, для толстых отчетов нужно и работу провести немалую. В-третьих, оплачиваемый спрос имеется у федерального "крупняка", а на региональном уровне и спрос меньше и цены ниже.

Что же делать? Довольствоваться тем, что дают? В отличие от телевидения, статистика интернет четко и конкретно связана с компьютерами и вычислительными мощностями. И посему, посчитать количество интернет-пользователей не представляет неразрешимо тяжелой задачи.

Я предлагаю простой и вполне себе эффективный способ получать оперативные сводки с рынка вполне научным способом. А именно - снимать информацию, анализировать ее и делать выводы с помощью доступных и бесплатных инструментов веб-статистики. Интернет-компании давно этим занимаются, ибо для них каждый посетитель странички это деньги, слава и народное призвание. Есть масса статистических сервисов, а некоторые из них даже научились считать посетителей по провайдерам. И достаточно просто - выкачивая и систематизируя выделенные IP-адреса из базы RIPE. И нет тут никакого хайтека уже несколько лет как.

Сервисов интернет-статистики достаточно много. Кроме того, есть монстры статистики (по совместительству еще и лидеры рынка) типа Яндекса и Google. В данной статье (а я не ставлю задач посчитать что-то конкретно) я продемонстрирую возможности двух систем сбора интернет-статистики - LiveInternet и OpenStat. Просто потому, что у них как раз сделан разбор по провайдерам, а собственно статистика открыта и общедоступна. А еще, я буду сильно удивлен, если читатели - профессионалы интернет-провайдинга: а) не слышали об этих сервисах и их возможностях; и б) не используют эти сервисы и/или нечто более совершенное/подходящее.

Для того чтобы все же информация была более полная, назову еще несколько интернет-счетчиков, которые умеют собирать стату по российским пользователям:

• Яндекс.Метрика - имеет невидимый посетителю странички счетчик. Отчёты обновляются каждые 5 минут. Анализирует рекламный трафик, конверсии, строит интерактивные карты путей пользователей по сайту. Доступны отчёты по полу и возрасту посетителей сайта. Предоставляет бесплатный мониторинг доступности сайта, с возможностью отправки уведомлений по SMS. Все отчёты доступны за произвольный период.
• Google Analytics  -  проводит полный анализ аудитории и межсайтовых переходов. Тоже невидим и тоже многое умеет, кое-где превосходит Яндекс, кое-где уступает.
• Рамблер исторически считается авторитетным и популярным счётчиком и рейтинговой системой в рунете. Сейчас у них есть сервис под названием RuMetrika, где можно что-то и посчитать.
• Spylog - умер. Теперь это OpenStat.
• Счётчик компании LiveInternet.ru весьма популярен, предоставляет всевозможные виды отчётов. Переведен на 16 языков. Так же, как и SpyLog, предоставляет возможность так называемой глобальной статистики - статистики всего Рунета в открытом доступе.
• Система Интернет-статистики HotLog предоставляет счетчик посещений, считающийся удобным и простым, одновременно предоставляя большое количество статистических отчетов, необходимых для владельца сайта и маркетолога. Система постоянно развивается и дополняется небольшими сервисами, например, мониторинг сайта. Подробные статистические отчеты генерируются за сутки.
• Рейтинг Mail.Ru – счетчик от Mail.Ru Group, предоставляющий аналитику по посещаемости сайтов. Доступны данные о социально-демографическом и географическом распределении посетителей сайта. Позволяет отслеживать динамику посещаемости, общую статистику, статистику по просмотрам из различных стран, по переходам с самых популярных поисковиков. Отчеты можно просматривать в разрезе месяца, недели и дня, статистика хранится за все время, начиная с установки счетчика на сайт. Кривой, как и все у Майл.ру.

LiveInternet

Когда говорят о тенденциях в Рунете - использования различных браузеров, различных ОС, процентах рынка той или иной поисковой системы, как правило, ссылаются именно на глобальную статистику LiveInternet.ru. Статистика доступна по адресу http://www.liveinternet.ru/stat/ru - заходим, изучаем, нажимаем ссылки, развлекаемся.

Вот срез по суточной посещаемости всея Рунета за последний месяц:

Всего получается, Рунет посещает порядка 95 млн. человек ежесуточно. В он-лайне в среднем одновременно находится 1,6-1,7 млн. человек. Кстати, 10 декабря зафиксирован своеобразный рекорд - достигнута планка ежедневной аудитории в 100 млн. человек и 1,9 млн. среднее он-лайн.

Разумеется, что 100 млн. человек в Сеть ежедневно не выходит - на самом деле, в отчете отражены посетители Рунетовских сайтов (с установленным счетчиком LI) и из других стран. Отчетливо заметна "пила" выходных дней - некоторое количество людей заходят в Интернет с работы, и по итогу получается, что некоторых считает, например, два раза. Разница между рабочим и выходным днем составляет в среднем 10-12%.

Вот еженедельный срез с учетом только российских регионов:

Виден рост аудитории за полгода на примерно 24,2% (с 50 млн. до 62,12 млн.). Эту цифру можно ставить в актив всем причастным - от провайдеров, до продавцов компьютерной техники. Самые интернетизированные регионы: Москва (кто бы сомневался) - 26.5% всей российской аудитории, Питер - 10,2%, Краснодар(!) - 5,6%, Екатеринбург - 5% и замыкает пятерку Новосибирск - 3,9% всего Рунета. На последнем месте, кстати, Анадырь, где Интернет все же есть - целых 3312 человек.

Вот срез ежемесячный, с разбивкой на пользовательские операционные системы:

Здесь можно сделать вывод, что аудитория Рунета (опять с иностранцами) за период с июня 2010 по декабрь 2012 фактически утроилась. Еще виден "крест Windows" - количество установленных "семерок" превысило XP где-то весной 2012 года.

Холивара ради, уберу "всего" и "windows", зато поставлю Symbian и iOS для всех яблочных устройств:

Видно, что Андроид лидирует по количеству заходов в Сеть еще с 2011 года. Но вот что произошло с Symbian в ноябре 2012 - я не понимаю. Скачек в более чем два раза можно объяснить только системным сбоем собственно системы статистики и это проблема для "серьезных исследований".

Еще одно разочарование подстерегло меня, когда начал рассматривать отчеты по цели данной статьи - статистику по провайдерам.

Оказалось, что:

1. LI мешает в кучу и мобильных, и фиксированных посетителей.
2. Ростелеком до сих пор существует в виде разрозненных МРК. И вообще, кажется, давно не обновляли базы из RIPE. Есть пояснение по группировке провайдеров, но группировка сия очень и очень устарела.
3. Количество разных провайдеров, учитываемых LI - 31 страница по 100 на каждой. Т.е. больше 3 тысяч. Нет такого количества провайдеров в стране, даже вместе с СНГ. А это опять  значит, что в группировках что-то напутано и имеются "мертвые". Зачем они в отчетах? И кто бы мог подумать, что UGMK Telekom LLC нужно искать под секретным псевдонимом ut-svr? Причем, именно так, как написано - целиком.
4. При этом некоторых провайдеров я просто не нашел, ни по торговым маркам, ни по устоявшимся названиям, ни по юридическим лицам. И даже по маске RIPE не нашел. М.б. потому что фильтры вопреки здравому смыслу регистрозависимые?
5.  Нет возможности делать фильтры по регионам.

У кого есть ФБ, предлагаю устроить Герману Клименко (отцу-основателю LI) флеш-моб и просить (или потребовать?) допилить сервис до возможности использовать в реальной жизни. И чтоб не позорился.

И последняя ложка дегтя для LI - помните, я писал, что представление данных играет значение? Ну, когда меняется диапазон между минимумом и максимумом на оси ординат и кажется, что на графике изображены горы? Вот вам пример, как это сделал LI:

На графике кажется, что абонентская база Эр-Телеком просто ракетой взмывает в заоблачные дали. А на самом деле, за полгода количество пользователей выросла с 1,355 млн. до 2,085 - или на 54%. Пусть это и впечатляющий результат, но на графике кажется, что Эр как минимум удесятерился. Правда есть одно сомнение - в официальном пресс-релизе ЭТ утверждает, что Дом.РУ подключил 5 млн. абонентов. Но даже если учесть, что из-за путаницы в группировке по операторам у LI есть промахи и даже если принять, что абоненты Дом.ру не каждый день входят в Сеть (или посещают исключительно зарубежные сайты без счетчика LI), а ошибка при этом составляет два раза, то  все равно я не вижу 5 млн. абонентов. Тем более что, как правило, абоненты уже не используют в домашних условиях только один компьютер - появилось множество мобильных устройств, которые считаются за отдельного посетителя, но фактически это один абонент.

OpenStat

Этот интернет-проект статистики и веб-аналитики /условно/ голландской компании "OpenStat B.V.", предназначенный для оценки посещаемости веб-сайтов, и многомерного анализа поведения пользователей.

Система Openstat была запущена в апреле 2010 года на обломках  системы SpyLOG, имеющей десятилетний опыт разработки и реализации задач веб-анализа.

Кроме традиционных видов интернет-статистики, важных для владельцев интернет-проектов, таких как расчет конверсии, показателей отказов, глубины просмотра, процента выходов и тд., Openstat исследует глобальные тренды развития Рунета и его отдельных компонентов, занимается разработкой современных методов категоризации контента сайтов и групп сайтов.

Особым своим достоинством компания считает акцент на том, что её сервис не связан с рекламными сетями, площадками, агентствами, медиа холдингами, рекламодателями или иными участниками рекламного рынка в Интернете. Следовательно, менее подвержен искажениям в пользу отдельных площадок - см. статистику Мэйл.ру.

Глобальные тренды Рунета сервис демонстрирует вот на таком настраиваемом дашборде:

… где видно, что по количеству месячной аудитории, учтенной статистикой, сервис несколько недотягивает до LI. Это связано с тем, что счетчики OS установлены на меньшем, чем у LI, количестве веб-сайтов. Зато собственно статистика предоставлена в более красивом и юзабельном виде. Всю статистику можно рассматривать по разным срезам и даже загружать в виде эксель-табличек с целью более детального рассмотрения.

Правда, не обходится и без "косяков":

… видны сбои статистики, например, в июле 2012 года. Зубцам в начале 2011 и 2012 года склонен верить - длительные новогодние каникулы, как правило, не добавляют посещаемости, а вовсе даже наоборот.

Зато по операторам связи сделана вполне хорошая годная статистика и группировка вызывающая уважение - группировка данных RIPE занятие не для слабаков:

Отчетливо видны провалы в апреле 2012 года у Ростелекома и Эр-Телекома. Не знаю с чем это связано. Скорее всего, с введением/выводом блоков IP-адресов у провайдеров. Или с тем, что в системе убрали счетчики какие-то крупные интернет-проекты, почему-то полюбившиеся абонентам Дом.ру и Мегателекома. Или глюки собственно сервиса. Далее, для того чтобы избежать таких флуктуаций, будем смотреть стату на более проверенном временном диапазоне:

По крайним точкам можно вычислить изменение АБ:

• Ростелеком: 1 мая -  3,35 млн. посетителей и 30 ноября - 3,69 млн. Рост ~10%.
• Мегафон: 1 мая -  1,07 млн. посетителей и 30 ноября - 1,25 млн. Рост ~16,8%.
• ЭР-Телеком: 1 мая -  0,89 млн. посетителей и 30 ноября - 1,01 млн. Рост ~13,5%.

Абсолютные цифры уже не так интересны, но относительный рост АБ можно считать правдоподобным - примерно так и рос рынок.

В отличие от LI, OS умеет различать мобильных пользователей и абонентов ШПД:

.. заодно видно, что OpenStat еще не объединил МГТС и МТС, Билайн и Корбину. Кроме того, в "топ" попали операторы СНГ - Укртелеком, Казахтелеком, Белтелеком и Киевстар.

Доля мобильных пользователей у Ростелекома составляет 3%, у Мегафона - 28,5%, у МТС - 42,4%, а Эр-Телеком - 3,9%. Что с общей картиной мира довольно хорошо коррелирует - логично, что у мобильных операторов доля мобильных клиентов должна быть выше раз в десять.

Еще раз оговорюсь, что поскольку приведенные цифры не охватывают весь Рунет, то мы можем считать только относительные показатели. Мы не знаем, сколько точно Openstat окучил из полной аудитории, но долю можем вычислить вполне.

Например, посчитаем долю Ростелекома:

• общее число пользователей, учтенных OS по итогам ноября в России, составило 17,34 млн. пользователей.
• из таблицы выше, мы знаем, что 3,4 млн. из них принадлежит Ростелекому. Потом я обнаружил, что в группу РТК не внесли ЦТ, НКС и еще ряд провайдеров, купленных Мегателекомом. В общем, получилось 3,98 млн. пользователей и наверняка далее в таблице есть еще кусочки большой конторы. Пусть для ровного счета будет 4 млн.
• т.о. доля РТК составляет 23%

То же для Эр-Телекома - 5,2%.

Вот что получилось у меня в итоге:

Несколько отличается от опубликованной по итогам третьего квартала Ростелекомом картины:

Вопрос "кому верить" не ставится. Ибо одно дело учитывать в деньгах, другое в абонентах. На мой взгляд, и то и другое правильно. Но в зависимости от обстоятельств и поставленных задач.

Расчетный кейс

Для закрепления пройденного можно посчитать какой-нибудь реальный кейс, связанный с большинством посетителей ресурса - попробуем рассчитать локальную рыночную долю небольшого провайдера.

Например, мне написали коллеги из Санкт-Петербурга - небольшой оператор под названием INFO-LAN (ООО "Информационная Сеть") с просьбой "пропиарить их компанию".

Что ж. Пиарю: Инфо-Лан с 1998 года проверенный оператор связи в Санкт-Петербурге, обеспечивает самый быстрый (до 1024 Мбит/c) безлимитный доступ в Интернет для своих Абонентов - физических лиц и корпоративных клиентов.  Компания предлагает "качественное и быстрое подключение Интернет и обслуживает следующие районы Санкт-Петербурга: Красносельский район (в т.ч. г. Красное Село и п. Горелово), Невский район, Петродворцовый район (Новый Петергоф, Старый Петергоф, Седьмой микрорайон, п. Стрельна, г. Ломоносов) и др.".

Места, надо сказать, знатные. :)

Попробуем рассчитать их рыночную долю и тренд развития. Для начала, определим диспозицию в Санкт-Петербурге, который относительно России имеет вот такой тренд роста (по LI):

По итогам ноября, месячная аудитория СПб составила 6,27 млн. пользователей, увеличившись с лета 2010 года с 2,57 млн. - рост 143%. Российская аудитория, кстати, выросла на 166%.

Openstat имеет несколько более скромные показания:

Суточная аудитория Питера составляет порядка 1,7 млн. посетителей.

Зато мы можем посчитать количество пользователей из INFO-LAN. И подойдем более тщательно к этому вопросу. Для начала, определим количество AS в RIPE. Здесь мне помог, во-первых, форум Инфолана, во-вторых, ссылку на форум дал коллега. Граф связей сетей у исследуемой компании  следующий:

Теперь мы знаем автономную систему и, следовательно, более точно можем поискать в RIPE список принадлежащих провайдеру IP-адресов.

Имеем точное название оператора "Information Network, LLC", видим, что у провайдера имеется одна географическая зона и количество анонсированного в  IPv4 пространства в размере 6144 IPs. Сеть за последний год не росла, а даже вовсе и уменьшилась (?).

К сожалению, пример оказался не самым удачным, ибо LI INFOLAN-AS не узнал. Совсем. Зато Openstat знает этого провайдера прекрасно:

И утверждает, что в Сеть от данного провайдера входит примерно 8 тыс. пользователей. А еще прекрасно видно, что изменений в абонентской базе за последние полгода практически не было.

Соотношение между мобильными и "большими" пользователями вполне соответствует фиксированному оператору - 540/8092 = 6,7%.

Рыночное положение на конец ноября 2012 в Питере примерно 0,008/1,77 = 0,45% - оператор весьма не крупный.

Однако на лицо падение рыночной доли - на 1 мая было 0,008/1,24 = 0,65%

Т.е. можно сделать вывод, что небольшой, но гордый оператор имеет весьма устоявшуюся абонентскую базу не более 6 тыс. абонентов (по анонсированному пространству и за вычетом мобильных пользователей, которые не абоненты, но пользователи). И бизнес исследуемого провайдера развивается отстающими от общерыночных тенденций темпами.

Разумеется, это только пример. Используя этот немудреный метод можно "прокачать" информацию обо всех конкурентах, составить собственную конкурентную карту (пожалуй, этот мастер-класс я оставлю для другой статьи) и регулярно обновлять данные. Из регулярности уже сложится понимание рыночного окружения, а исходя из рыночного окружения, можно будет принимать взвешенные решения о рекламе, о тарифах, о прочих маркетинговых действиях, которые помогут сдвинуть дело с мертвой точки, увеличить продажи и доходы оператора.

Ничего об операторе, который подвергся "исследованию", я до сего дня не знал. Все мои знания о нем я почерпнул из открытой статистики и с официального сайта компании. Кстати, об официальном сайте - тарифы у них очень интересные:

… я бы даже сказал, замечательные тарифы. На Урале пока таких нет. Кроме того, Инфо-Лан предлагает своим абонентам  конечное оборудование - роутеры, ресиверы цифрового телевидения, Wi-Fi адаптеры. Если клиент не хочет брать оборудование  в собственность - провайдер предлагает аренду. Есть еще масса сопутствующих услуг от монтажа локальных сетей, до установки ОС и настройки компьютеров и сетевого оборудования.

Есть возможность оплатить вперед на квартал и даже год. Возможно, это удобно. Возможно, что абоненты, чтобы лишний раз не бегать, используют эти тарифы. Но мой опыт подсказывает для таких тарифов два подвоха: а) абонент через квартал, а тем более год, забывает дату последующей оплаты. И когда таких абонентов отключают – они сильно волнуются и создают нагрузку на СТП; б) При небольшом объеме платежей (5 тыс. абонентов с ARPU ~400 руб. создают денежный поток в 2 млн.руб./мес.) и компанейском подходе возможно нарваться на кассовые разрывы – деньги получены еще в первом квартале, а в четвертом прилетела необходимость, например, заменить вышедшее из строя оборудование. И денег до следующего квартала ждать неоткуда.

Но идею с годовой оплатой считаю хорошей.

И цифровое телевидение (не кабель) - бесплатно!

А еще, недавно INFO-LAN установил промоутерскую стоечку в местном магазине с симпатишной девушкой. Думаю, что теперь клиентов станет больше:

… фото тоже с официального сайта.

Хорошо, что стойка мобильная - такую стойку можно будет переносить в другие точки, где собираются потенциальные абоненты компании. Я бы даже сделал что-то вроде карты перемещения - неделю-две в одном районе, неделю в другом. Через пару месяцев вернулся и повторил акции устрашения подключения абонентов в местах их естественного скопления.

И в заключение хочу сказать, что данная статья - тоже некоторого рода манипуляция с цифрами. См. самое начальное высказывание М.Твена:

И традиционный призыв - присылать интересные проекты на оборзевание. :)