1. Статьи
Заметки пользователей
03.12.2013 13:10
7568
24
03.12.2013 13:10
PDF
7568
24

Индекс НАГ: работа над ошибками

Автор: Wanderer From

Подходит к концу 2013 год. Зима окончательно пришла в страну заснеженных просторов и нужно начинать планировать год следующий. А лучший план, это фиксация ошибок прошлого с целью недопущения их в будущем. В этой статье мы рассмотрим допущенные в исследовании “Индекс НАГ” ошибки и исправим их. Кроме того, и это тоже важно, начнем новую кампанию по сбору сведений для нового “Индекса НАГ”, версия два.

Ошибки начинаешь понимать только когда попробовал. Ибо это только в учебниках по маркетингу есть сведения, что некто научился на чужих ошибках. В реальной жизни такого не бывает, как уже в который раз оказывает практика. В исследовании “Индекса” я сотворил достаточно косяков, но если бы их не было, то и исследование было бы неживым. Выхолощенным, как большинство существующих отчетов, полученных экструдированием статданных из открытых и не очень источников. У выпускаемых множеством конкурирующих организаций “обзоров рынка” не хватает главного - жизненного источника, который имеется исключительно у потребителей услуг. А их редко кто спрашивает. Кроме нас, разумеется. Но время лечит. Уверен, что очень скоро появятся конкуренты, которые запилят исследование похожее до степени смешения, где будет большее количество респондентов и более точные данные - просто потому, что необходимы ресурсы для сбора этих данных, которых у меня лично не Б-г весть сколько. Но зато я могу генерировать новое, а это, согласитесь, уже чего-то стОит. И потом, время лечит и ошибки и качество. У меня даже есть тому вот такая незатейливая иллюстрация, призванная настроить читателя на лад философический и настрой деловой:

Индекс НАГ: работа над ошибками

Для начала, как водится, “краткое содержание предыдущих серий”. А серий, надо сказать, оказалось немало. Во-первых, это “предварительные закиды”, которые обсуждались на Наге, и довольно бурно.  Вот перечень:

  • Немного о статистике, где рассказывается о манипуляции данными (мы так не делаем!)
  • Отток: период полураспада, рассказ о "семействах кривых" (©Тимур). Статья ценна комментариями и тем, что именно тогда мне пришла в голову Идея.
  • Индекс КРОСа - объявление о начале работы по исследованию, где собираются важнейшие данные по структурированию опроса. Собственно, КРОС - это "Коэффициент Российских Операторов Связи", но потом решили все же переименовать в “Индекс НАГа”, ибо как бы бренд более известен.
  • Индекс КРОСа: цели, средства и бизнес-модель, статья с некоторыми выводами и введением в математику социологических исследований.
  • Индекс КРОСа: разница во мнениях - статья-резюме, где выстраивается модель подсчета Индекса.

 

Вот тут есть некоторый итог с почти полным раскрытием всех цифр.

Вот тут недавняя статья, про то, как подобное исследование может сделать каждый, хоть немного оборудованный мозгом маркетолог небольшого провайдера.

Кстати, некоторые подобные исследования с разной степенью эпичности делают. Мне доподлинно известно, что, например, NPS считает для себя “ЭР-Телеком”. Не без методологических ошибок, конечно, но считает. (Про ошибки мне известно от инсайдеров - и главная ошибища заключается в том, что сбором данных занимается внутренняя служба, что вносит некоторую корректировку в конечный результат. Впрочем, все меняется и все утекает).

Вот один региональный провайдер тоже считает NPS  и ряд других показателей. Мне прислали результаты, которые выглядят так:

Индекс НАГ: работа над ошибками

Как видно, оператор (который попросил не указывать названия “во избежание конфликтов с абонентами”) отслеживает показатель регулярно, каждый месяц на протяжении вполне приличного срока. Последние три месяца, кстати, им существенно удалось снизить количество “детракторов” (подробности терминологии в предыдущей статье) и увеличить количество “промоутеров”. Утверждается, что это удалось сделать новой тарифной политикой. А необходимость в коррекции была вызвана ростом тех самых недовольных, которые явно выражали свое неудовольствие в опросах.

Чтобы показать, как это выглядит в цифрах я нарисовал еще один график, включая другие показатели, которые этот провайдер выясняет у своих абонентов:

Индекс НАГ: работа над ошибками

И тут нас подстерегают некоторые сюрпризы - мелкие цифры на картинке.

Во-первых, считаются следующие показатели: “Стабильность услуги”, “Соответствие заявленной в тарифе и реальной скорости” и соотношение “Цена/качество”. И все эти три параметра вполне себе стабильны уже пару лет. Особых взлетов и падений не наблюдается. Оценки параметрам, кстати, оператор решил спрашивать по шестибалльной системе - это чтобы у потребителей не было ассоциации с отметками в школе, которые, пусть и содержат пять баллов, но в итоге имеется только четыре, поскольку “единицу” ставят крайне редко.

Я уже на опыте так же сталкивался с этой проблемой - буквально в прошлом месяце выполнял заказ для “Высшей Школы Экономики” (да, вот такие у меня Клиенты), которые не послушали советов и утвердили систему оценки по пяти баллам. Результат получился аналогичный - большинство респондентов отвечали “пять/четыре”, крайне редко опускаясь до “троечки”. Посему необходимо все же расширять шкалу до принятых во всем Мире десяти. Либо использовать шкалу Лайкерта с эмоциональным подтекстом выставляемой оценки.

Во-вторых, что касается собственно NPS, то он, как видите, сильно колеблется. Причин тому две:

1. Недостаточное количество респондентов - всего порядка сотни на почти два десятка тысяч абонентов. Это приводит к статистической ошибке в пределах 20%. Я отметил на графике планки погрешности как раз в 20 процентных пункта (напомню, что NPS считается в процентах - правая шкала) и получилось, что коридор колебаний весьма широк для корректной оценки.

2. Корреляций с другими показателями нет по причине влияния на NPS других, внешних по отношению к компании, факторов. Например, поведение конкурентов. Или общеэкономическая ситуация вокруг компании. Сезонность, наконец. Сезонность, кстати, заметна - спады индекса приходятся на летние месяцы. Может, это потому, что автор сбора данных в отпуск уезжает как раз летом? ;)

Но оставим регионального оператора, он в любом случае крут и маркетингово молодец, и обратимся к моим ошибкам. Одна из которых повторена - было мало респондентов. 1285 всего. А нужно 1600. Не дотянул.

Для того, чтобы утверждать, что исследование корректное, нужно иметь контрольные цифры. Для сравнения. Поскольку применялся метод CAWI (Computer-assisted web interviewing -  Самозаполнение анкеты он-лайн), то для проверки соответствия получившейся аудитории “стихийного опроса” аудитории интернетов необходима контрольная сумма. Причем, сравнивать нужно сравнимое - разделение аудитории на группы по социодемографическим характеристикам должно соответствовать хоть каким-то опорным показателям. Я же взял, и придумал свое деление на группы. В итоге сравнивать получившийся результат стало не с чем. Ни с Росстатом - поскольку сия уважаемая контора считает всех россиян, независимо от того, пользуется ли они интернетом, или не пользуется. Ни с любыми другими точками сравнения. Тем более, что я силовым методом ввел, например, категорию в образовании - “высшее техническое” и “высшее гуманитарное”. Это была не просто ошибка, это была глупость. Ибо никакого практического применения таких дифференциаций не нашлось.

В новом опроснике я решил использовать точно такое деление на группы по возрасту, доходу и образованию, как у TNS. Причина проста - это довольно известное социолого-исследовательское агентство, с уважаемыми экспертами. Кроме того, TNS публикует данные по опросам интернет-пользователей с 2007 года и видна динамика.

Теперь можно будет сравнить аудитории “всего интернета” и того, что получиться в процессе CAWI “Индекса НАГ”. Это даст более понятную картину на сколько аудитория опроса отличается от аудитории Рунета.

Следующая ошибка заключается в том, что я сделал слишком много открытых форм. С одной стороны, открытые формы позволяют выявить нечто, что потребители знают, но это не очевидно для вопрос задающего. С другой стороны, обработка данных из открытых форм занимает слишком много сил и времени. Например, только на названия компаний было потрачена уйма времени - если б вы знали, что очевидно простое слово “Ростелеком” можно написать таким множеством способов, что в глазах рябило. “РТК”, “Ростелик”, “Ростеликом”, “Росстелеком”, “Rostelekom”, “Rostelecom” и еще куча способов, включая устаревшие бренды имени почивших МРК - ДСВ, Utel, Волгателеком.

Впрочем, невозможно другим способом собрать ту базу названий провайдеров, которая в итоге набралась. После обработки “по приведению в соответствие” осталось 194 живых бренда. Уверен, что тут сыграет злую шутку попытка объять необъятное. Но попытаться стоит - теперь в анкете есть выпадающий список, где все эти компании перечислены. Но и открытое поле оставить все равно пришлось.

Коллеги, пожалуйста, посмотрите - все ли компании перечислены? Уверен, что кого-то написали неправильно, а кого-то забыли. Есть некоторое количество времени на исправление.

Открытые поля при том объеме входных данных оказалось непригодны к статобработке. В первом отчете я решил задачку с помощью частотного анализа входных слов. Таким образом, например, были выявлены самые главные причины оттока абонентов, что само по себе уже неплохо. В новой анкете они перечислены. Правда пришлось ограничить количество доступных респонденту галочек “до пяти”. Иначе выявление главных причин оттока может опять превратиться в не обрабатываемый поток сознания.

Пришлось серьезно изменить вопросы в определении дополнительных услуг методом Кано: в первом опросе атрибутов было десять и некоторые из них были из разряда “утверждения Капитана Очевидность”. Но нужно было проверить для начала работоспособность методы и понять тонкости исчисления. Получилось, кстати, следующее:

Индекс НАГ: работа над ошибками

 

В новом опросе всего семь услуг. Теперь это однозначно “дополнительные услуги”, которые более четко сформулированы с понятной целью исследования. Вот они:

 

  1. Пакет услуг (интернет, телефон, телевидение)
  2. Бесплатный доступ Wi-Fi в посещаемых местах города
  3. Детский (безопасный) интернет
  4. Оплата мобильной связи в одном счете
  5. Продажа электроники от оператора – роутеров, компьютеров, телевизоров
  6. Бесплатный и преднастроенный Wi-Fi- роутер от оператора
  7. Возможность оплаты услуг ЖКХ, электроэнергии и т.п. через оператора

 

По итогам будет понятно какие из перечисленных допуслуг наиболее востребованы клиентами, а какие вызовут только эмоциональное отторжение. При тех усилиях, которые необходимо приложить для внедрения чего-либо в современном операторе средней руки, полагаю результаты опроса будут более чем интересны для принятия решения.

Если у уважаемых читателей возникла ВНЕЗАПНО еще какая идея по допуслугам - напишите в комментариях. Возможно, эта идея достойна чтобы спросить клиента о необходимости сего.

Засим прекращаю виниться в допущенных ошибках и выкатываю серию следующих. Это новая анкета, исправления и дополнения в которую принимаются ровно неделю в комментариях, личных сообщениях и электронной почте. В следующий понедельник анкета будет запущена для ширнармасс.

 

 

И в самом конце (краевой эффект же!) хочу напомнить, что ожидаю помощи операторов в распространении анкеты среди своих абонентов на условиях взаимовыгодного сотрудничества. Которое заключается в том, что я вам сформирую форму именно для вашей компании и вышлю ссылку и код для имплементации на страницах вашего сайта и распространения среди ваших абонентов. Все данные, полученные от вас будут доступны вам для вашей собственной статистической обработки и при этом войдут в итоговый отчет. Кроме того, вы получите 10% (десять процентов) скидки от итоговой цены отчета, который будет однозначно лучше предыдущего, хотя бы потому, что появится динамика изменения основных показателей, которые остались без изменений. А еще, в новом отчете (уже) исправлены (некоторые) ошибки и учтен опыт предыдущего опроса.

Пишите по адресу klimarev@gmail.com или в “личные сообщения” на форуме. Искренне ваш,  Wanderer From.

24 комментариев
Оставлять комментарии могут только авторизованные пользователи
Robot_NagNews
Robot_NagNews

Материал:

Подходит к концу 2013 год. Зима окончательно пришла в страну заснеженных просторов и нужно начинать планировать год следующий. А лучший план, это фиксация ошибок прошлого с целью недопущения их в будущем. В этой статье мы рассмотрим допущенные в исследовании "Индекс НАГ" ошибки и исправим их. Кроме того, и это тоже важно, начнем новую кампанию по сбору сведений для нового "Индекса НАГ", версия два.

 

Полный текст

Прохожий
Прохожий

Миша, молоток! Уважаю последовательность и упорство :)

wanderer_from
wanderer_from

ты лучше анкетку-то заполни :)

И друзьям-коллегам покажи.

А еще лучше - поглянь на ошибки или умного чего посоветуй. Вдруг я забыл чего или не так спрашиваю?

Черномазов
Черномазов
Федеральный округ

Федеральный округ однозначно определяется по региону. Или я ошибаюсь? Его отдельный выбор - это и лишнее действие, и дополнительная возможность ошибки.

 

Как вам было бы удобнее оплачивать услуги?

Выберете наиболее подходящий вариант или укажите ваш вариант. Мы понимаем, что наиболее предпочтительным вариантом было бы "бесплатно", но давайте будем честными.

Тут дело не в честности, а в серьёзности. Если я напишу "бесплатно", я не совру. Значит, уточнение к вопросу некорректно.

 

Скорость подключения по договору

У всех скорость "до". У меня, к примеру, "до 16 Мб/с днём и до 32 Мб/с ночью". Т.е., вроде как, подходит вариант "до 25 Мб/с", т.к. основное - дневное время, но в чистом виде это противоречит реальности ("до 16 Мб/с" же). Было бы логичнее, как мне кажется, указывать диапазоны, без предлога "до".

И кстати, не учтён вариант с разными скоростями днём/ночью и пр. Как минимум, следует уточнить, какую скорость указывать ("основную", "дневную" или т.п.).

 

Больше уже придирка, наверное, но звёздочка после предложения у меня вызывает ассоциацию со сноской и приводит к кратковременному замешательству. М.б. в начале ставить?

wanderer_from
wanderer_from

Федеральный округ однозначно определяется по региону. Или я ошибаюсь? Его отдельный выбор - это и лишнее действие, и дополнительная возможность ошибки.

В общем, да. Но это дополнительная проверка на корректность и защита от троллей. Я потом отфильтрую неправильно введенные ФО и регионы и посмотрю на бред в анкетах. По прошлому разу бреда было почти 2% и от него надо как-то охороняться.

 

Тут дело не в честности, а в серьёзности. Если я напишу "бесплатно", я не совру. Значит, уточнение к вопросу некорректно.

Ок. Принято. Исправлю.

 

У всех скорость "до". У меня, к примеру, "до 16 Мб/с днём и до 32 Мб/с ночью". Т.е., вроде как, подходит вариант "до 25 Мб/с", т.к. основное - дневное время, но в чистом виде это противоречит реальности ("до 16 Мб/с" же). Было бы логичнее, как мне кажется, указывать диапазоны, без предлога "до".

И кстати, не учтён вариант с разными скоростями днём/ночью и пр. Как минимум, следует уточнить, какую скорость указывать ("основную", "дневную" или т.п.).

Ок. Согласен. Я расширю диапазон по 10Мб и сделаю уточнение на "дневное".

 

Больше уже придирка, наверное, но звёздочка после предложения у меня вызывает ассоциацию со сноской и приводит к кратковременному замешательству. М.б. в начале ставить?

Это не мое. Это Гугль так отмечает поля, обязательные к заполнению. Увы, убрать не могу. Но проверю еще раз на звездочки в моем тексте.

 

В любом случае - СПАСИБО.

 

Еще у меня много вопросов по Кано - это допуслуги. Мне самому не очень нравятся формулировки и хотелось бы добить допуслуг до десятки. Есть еще варианты, что спросить клиента?

Дятел
Дятел

СМС-оповещения? Типа, пополни баланс, осталось тридцать рублей, или спасибо за пополнение, баланс теперь триста....

kapa
kapa

Я не верю в такой опросник.

Понимаешь, даже будучи знакомым лично и искеренне желающим помочь, я охренел столько читать и листать. А огромное количество обязательных полей просто вывело из себя. В итоге - я проставил всё как попало лишь бы долистать до конца.

На своём опыте различных опросов (увлекаюсь ими лет 5 на абонентской базе), я пришёл к выводу, что как только опросник выходит за границы одного листа (распечатка) или одного экрана, он резко становится неинтересным основной массе. Я уж не знаю чем руководствуются остальные, но у меня возникает ощущение, что кто-то не знает, что хочет спросить, или пытается диссертацию на моём примере защитить. Тост тест должен быть краткий и содержательный, как выстрел.

Подозреваю, что с таким тестом ты соберёшь ответы только у психов и нищебро - первые поверят, что смогут этим изменить мир. Вторые - поведутся на роутеры.

 

 

Ну и главный вопрос - где Вайнах Телеком? :)

Syzygy
Syzygy

столько читать и листать

+. Огромные листы и обязательные поля типа "ваш е-майл, чтобы мы слали туда спам" с гарантией хоронят любой опрос.

З.Ы. Кстате, зачем спрашивать регион и федеральный округ отдельно? По региону нельзя определить округ?

wanderer_from
wanderer_from

В прошлый раз я собрал 1320 анкет. Из них реальных было 1285. Да, это издержки CAWI. Да, смещение по выборке. Да, в итоге получается скорее экспертный опрос. Но это есть хорошо.

 

Я отрабатываю методику. А тот самый, как выстрел, называется NPS - в прошлой статье описывал.

 

Вайнах - добавлю. Список получился из прошлого опроса

 

По региону нельзя определить округ?

выше ответил уже. Для проверки корректности.

kapa
kapa

В прошлый раз я собрал 1320 анкет.

А собрал бы в разы больше. Попробуй разместить анкету на своём ресурсе и посчитать отношение заполненных к зашедшим.

 

Из них реальных было 1285.

А вот в этой анкете будет очень большой процент заполненных пунктов "от балды", что в итоге не даст ничего полезного.