vk_logo twitter_logo facebook_logo googleplus_logo youtube_logo telegram_logo telegram_logo

Индекс НАГ: работа над ошибками 23

Дата публикации: 03.12.2013
Количество просмотров: 5738
Автор:

Подходит к концу 2013 год. Зима окончательно пришла в страну заснеженных просторов и нужно начинать планировать год следующий. А лучший план, это фиксация ошибок прошлого с целью недопущения их в будущем. В этой статье мы рассмотрим допущенные в исследовании “Индекс НАГ” ошибки и исправим их. Кроме того, и это тоже важно, начнем новую кампанию по сбору сведений для нового “Индекса НАГ”, версия два.

Ошибки начинаешь понимать только когда попробовал. Ибо это только в учебниках по маркетингу есть сведения, что некто научился на чужих ошибках. В реальной жизни такого не бывает, как уже в который раз оказывает практика. В исследовании “Индекса” я сотворил достаточно косяков, но если бы их не было, то и исследование было бы неживым. Выхолощенным, как большинство существующих отчетов, полученных экструдированием статданных из открытых и не очень источников. У выпускаемых множеством конкурирующих организаций “обзоров рынка” не хватает главного - жизненного источника, который имеется исключительно у потребителей услуг. А их редко кто спрашивает. Кроме нас, разумеется. Но время лечит. Уверен, что очень скоро появятся конкуренты, которые запилят исследование похожее до степени смешения, где будет большее количество респондентов и более точные данные - просто потому, что необходимы ресурсы для сбора этих данных, которых у меня лично не Б-г весть сколько. Но зато я могу генерировать новое, а это, согласитесь, уже чего-то стОит. И потом, время лечит и ошибки и качество. У меня даже есть тому вот такая незатейливая иллюстрация, призванная настроить читателя на лад философический и настрой деловой:

Для начала, как водится, “краткое содержание предыдущих серий”. А серий, надо сказать, оказалось немало. Во-первых, это “предварительные закиды”, которые обсуждались на Наге, и довольно бурно.  Вот перечень:

  • Немного о статистике, где рассказывается о манипуляции данными (мы так не делаем!)
  • Отток: период полураспада, рассказ о "семействах кривых" (©Тимур). Статья ценна комментариями и тем, что именно тогда мне пришла в голову Идея.
  • Индекс КРОСа - объявление о начале работы по исследованию, где собираются важнейшие данные по структурированию опроса. Собственно, КРОС - это "Коэффициент Российских Операторов Связи", но потом решили все же переименовать в “Индекс НАГа”, ибо как бы бренд более известен.
  • Индекс КРОСа: цели, средства и бизнес-модель, статья с некоторыми выводами и введением в математику социологических исследований.
  • Индекс КРОСа: разница во мнениях - статья-резюме, где выстраивается модель подсчета Индекса.

 

Вот тут есть некоторый итог с почти полным раскрытием всех цифр.

Вот тут недавняя статья, про то, как подобное исследование может сделать каждый, хоть немного оборудованный мозгом маркетолог небольшого провайдера.

Кстати, некоторые подобные исследования с разной степенью эпичности делают. Мне доподлинно известно, что, например, NPS считает для себя “ЭР-Телеком”. Не без методологических ошибок, конечно, но считает. (Про ошибки мне известно от инсайдеров - и главная ошибища заключается в том, что сбором данных занимается внутренняя служба, что вносит некоторую корректировку в конечный результат. Впрочем, все меняется и все утекает).

Вот один региональный провайдер тоже считает NPS  и ряд других показателей. Мне прислали результаты, которые выглядят так:

Как видно, оператор (который попросил не указывать названия “во избежание конфликтов с абонентами”) отслеживает показатель регулярно, каждый месяц на протяжении вполне приличного срока. Последние три месяца, кстати, им существенно удалось снизить количество “детракторов” (подробности терминологии в предыдущей статье) и увеличить количество “промоутеров”. Утверждается, что это удалось сделать новой тарифной политикой. А необходимость в коррекции была вызвана ростом тех самых недовольных, которые явно выражали свое неудовольствие в опросах.

Чтобы показать, как это выглядит в цифрах я нарисовал еще один график, включая другие показатели, которые этот провайдер выясняет у своих абонентов:

И тут нас подстерегают некоторые сюрпризы - мелкие цифры на картинке.

Во-первых, считаются следующие показатели: “Стабильность услуги”, “Соответствие заявленной в тарифе и реальной скорости” и соотношение “Цена/качество”. И все эти три параметра вполне себе стабильны уже пару лет. Особых взлетов и падений не наблюдается. Оценки параметрам, кстати, оператор решил спрашивать по шестибалльной системе - это чтобы у потребителей не было ассоциации с отметками в школе, которые, пусть и содержат пять баллов, но в итоге имеется только четыре, поскольку “единицу” ставят крайне редко.

Я уже на опыте так же сталкивался с этой проблемой - буквально в прошлом месяце выполнял заказ для “Высшей Школы Экономики” (да, вот такие у меня Клиенты), которые не послушали советов и утвердили систему оценки по пяти баллам. Результат получился аналогичный - большинство респондентов отвечали “пять/четыре”, крайне редко опускаясь до “троечки”. Посему необходимо все же расширять шкалу до принятых во всем Мире десяти. Либо использовать шкалу Лайкерта с эмоциональным подтекстом выставляемой оценки.

Во-вторых, что касается собственно NPS, то он, как видите, сильно колеблется. Причин тому две:

1. Недостаточное количество респондентов - всего порядка сотни на почти два десятка тысяч абонентов. Это приводит к статистической ошибке в пределах 20%. Я отметил на графике планки погрешности как раз в 20 процентных пункта (напомню, что NPS считается в процентах - правая шкала) и получилось, что коридор колебаний весьма широк для корректной оценки.

2. Корреляций с другими показателями нет по причине влияния на NPS других, внешних по отношению к компании, факторов. Например, поведение конкурентов. Или общеэкономическая ситуация вокруг компании. Сезонность, наконец. Сезонность, кстати, заметна - спады индекса приходятся на летние месяцы. Может, это потому, что автор сбора данных в отпуск уезжает как раз летом? ;)

Но оставим регионального оператора, он в любом случае крут и маркетингово молодец, и обратимся к моим ошибкам. Одна из которых повторена - было мало респондентов. 1285 всего. А нужно 1600. Не дотянул.

Для того, чтобы утверждать, что исследование корректное, нужно иметь контрольные цифры. Для сравнения. Поскольку применялся метод CAWI (Computer-assisted web interviewing -  Самозаполнение анкеты он-лайн), то для проверки соответствия получившейся аудитории “стихийного опроса” аудитории интернетов необходима контрольная сумма. Причем, сравнивать нужно сравнимое - разделение аудитории на группы по социодемографическим характеристикам должно соответствовать хоть каким-то опорным показателям. Я же взял, и придумал свое деление на группы. В итоге сравнивать получившийся результат стало не с чем. Ни с Росстатом - поскольку сия уважаемая контора считает всех россиян, независимо от того, пользуется ли они интернетом, или не пользуется. Ни с любыми другими точками сравнения. Тем более, что я силовым методом ввел, например, категорию в образовании - “высшее техническое” и “высшее гуманитарное”. Это была не просто ошибка, это была глупость. Ибо никакого практического применения таких дифференциаций не нашлось.

В новом опроснике я решил использовать точно такое деление на группы по возрасту, доходу и образованию, как у TNS. Причина проста - это довольно известное социолого-исследовательское агентство, с уважаемыми экспертами. Кроме того, TNS публикует данные по опросам интернет-пользователей с 2007 года и видна динамика.

Теперь можно будет сравнить аудитории “всего интернета” и того, что получиться в процессе CAWI “Индекса НАГ”. Это даст более понятную картину на сколько аудитория опроса отличается от аудитории Рунета.

Следующая ошибка заключается в том, что я сделал слишком много открытых форм. С одной стороны, открытые формы позволяют выявить нечто, что потребители знают, но это не очевидно для вопрос задающего. С другой стороны, обработка данных из открытых форм занимает слишком много сил и времени. Например, только на названия компаний было потрачена уйма времени - если б вы знали, что очевидно простое слово “Ростелеком” можно написать таким множеством способов, что в глазах рябило. “РТК”, “Ростелик”, “Ростеликом”, “Росстелеком”, “Rostelekom”, “Rostelecom” и еще куча способов, включая устаревшие бренды имени почивших МРК - ДСВ, Utel, Волгателеком.

Впрочем, невозможно другим способом собрать ту базу названий провайдеров, которая в итоге набралась. После обработки “по приведению в соответствие” осталось 194 живых бренда. Уверен, что тут сыграет злую шутку попытка объять необъятное. Но попытаться стоит - теперь в анкете есть выпадающий список, где все эти компании перечислены. Но и открытое поле оставить все равно пришлось.

Коллеги, пожалуйста, посмотрите - все ли компании перечислены? Уверен, что кого-то написали неправильно, а кого-то забыли. Есть некоторое количество времени на исправление.

Открытые поля при том объеме входных данных оказалось непригодны к статобработке. В первом отчете я решил задачку с помощью частотного анализа входных слов. Таким образом, например, были выявлены самые главные причины оттока абонентов, что само по себе уже неплохо. В новой анкете они перечислены. Правда пришлось ограничить количество доступных респонденту галочек “до пяти”. Иначе выявление главных причин оттока может опять превратиться в не обрабатываемый поток сознания.

Пришлось серьезно изменить вопросы в определении дополнительных услуг методом Кано: в первом опросе атрибутов было десять и некоторые из них были из разряда “утверждения Капитана Очевидность”. Но нужно было проверить для начала работоспособность методы и понять тонкости исчисления. Получилось, кстати, следующее:

 

В новом опросе всего семь услуг. Теперь это однозначно “дополнительные услуги”, которые более четко сформулированы с понятной целью исследования. Вот они:

 

  1. Пакет услуг (интернет, телефон, телевидение)
  2. Бесплатный доступ Wi-Fi в посещаемых местах города
  3. Детский (безопасный) интернет
  4. Оплата мобильной связи в одном счете
  5. Продажа электроники от оператора – роутеров, компьютеров, телевизоров
  6. Бесплатный и преднастроенный Wi-Fi- роутер от оператора
  7. Возможность оплаты услуг ЖКХ, электроэнергии и т.п. через оператора

 

По итогам будет понятно какие из перечисленных допуслуг наиболее востребованы клиентами, а какие вызовут только эмоциональное отторжение. При тех усилиях, которые необходимо приложить для внедрения чего-либо в современном операторе средней руки, полагаю результаты опроса будут более чем интересны для принятия решения.

Если у уважаемых читателей возникла ВНЕЗАПНО еще какая идея по допуслугам - напишите в комментариях. Возможно, эта идея достойна чтобы спросить клиента о необходимости сего.

Засим прекращаю виниться в допущенных ошибках и выкатываю серию следующих. Это новая анкета, исправления и дополнения в которую принимаются ровно неделю в комментариях, личных сообщениях и электронной почте. В следующий понедельник анкета будет запущена для ширнармасс.

 

 

И в самом конце (краевой эффект же!) хочу напомнить, что ожидаю помощи операторов в распространении анкеты среди своих абонентов на условиях взаимовыгодного сотрудничества. Которое заключается в том, что я вам сформирую форму именно для вашей компании и вышлю ссылку и код для имплементации на страницах вашего сайта и распространения среди ваших абонентов. Все данные, полученные от вас будут доступны вам для вашей собственной статистической обработки и при этом войдут в итоговый отчет. Кроме того, вы получите 10% (десять процентов) скидки от итоговой цены отчета, который будет однозначно лучше предыдущего, хотя бы потому, что появится динамика изменения основных показателей, которые остались без изменений. А еще, в новом отчете (уже) исправлены (некоторые) ошибки и учтен опыт предыдущего опроса.

Пишите по адресу klimarev@gmail.com или в “личные сообщения” на форуме. Искренне ваш,  Wanderer From.

От редакции: если у вас есть чем поделиться с коллегами по отрасли, приглашаем к сотрудничеству
Ссылка на материал, для размещения на сторонних ресурсах
/articles/article/24404/indeks-nag-rabota-nad-oshibkami.html

Обсудить на форуме

Оставлять комментарии могут только зарегистрированные пользователи

Зарегистрироваться