Подходит к концу 2013 год. Зима окончательно пришла в страну заснеженных просторов и нужно начинать планировать год следующий. А лучший план, это фиксация ошибок прошлого с целью недопущения их в будущем. В этой статье мы рассмотрим допущенные в исследовании “Индекс НАГ” ошибки и исправим их. Кроме того, и это тоже важно, начнем новую кампанию по сбору сведений для нового “Индекса НАГ”, версия два.
Ошибки начинаешь понимать только когда попробовал. Ибо это только в учебниках по маркетингу есть сведения, что некто научился на чужих ошибках. В реальной жизни такого не бывает, как уже в который раз оказывает практика. В исследовании “Индекса” я сотворил достаточно косяков, но если бы их не было, то и исследование было бы неживым. Выхолощенным, как большинство существующих отчетов, полученных экструдированием статданных из открытых и не очень источников. У выпускаемых множеством конкурирующих организаций “обзоров рынка” не хватает главного - жизненного источника, который имеется исключительно у потребителей услуг. А их редко кто спрашивает. Кроме нас, разумеется. Но время лечит. Уверен, что очень скоро появятся конкуренты, которые запилят исследование похожее до степени смешения, где будет большее количество респондентов и более точные данные - просто потому, что необходимы ресурсы для сбора этих данных, которых у меня лично не Б-г весть сколько. Но зато я могу генерировать новое, а это, согласитесь, уже чего-то стОит. И потом, время лечит и ошибки и качество. У меня даже есть тому вот такая незатейливая иллюстрация, призванная настроить читателя на лад философический и настрой деловой:
Для начала, как водится, “краткое содержание предыдущих серий”. А серий, надо сказать, оказалось немало. Во-первых, это “предварительные закиды”, которые обсуждались на Наге, и довольно бурно. Вот перечень:
Вот тут есть некоторый итог с почти полным раскрытием всех цифр.
Вот тут недавняя статья, про то, как подобное исследование может сделать каждый, хоть немного оборудованный мозгом маркетолог небольшого провайдера.
Кстати, некоторые подобные исследования с разной степенью эпичности делают. Мне доподлинно известно, что, например, NPS считает для себя “ЭР-Телеком”. Не без методологических ошибок, конечно, но считает. (Про ошибки мне известно от инсайдеров - и главная ошибища заключается в том, что сбором данных занимается внутренняя служба, что вносит некоторую корректировку в конечный результат. Впрочем, все меняется и все утекает).
Вот один региональный провайдер тоже считает NPS и ряд других показателей. Мне прислали результаты, которые выглядят так:
Как видно, оператор (который попросил не указывать названия “во избежание конфликтов с абонентами”) отслеживает показатель регулярно, каждый месяц на протяжении вполне приличного срока. Последние три месяца, кстати, им существенно удалось снизить количество “детракторов” (подробности терминологии в предыдущей статье) и увеличить количество “промоутеров”. Утверждается, что это удалось сделать новой тарифной политикой. А необходимость в коррекции была вызвана ростом тех самых недовольных, которые явно выражали свое неудовольствие в опросах.
Чтобы показать, как это выглядит в цифрах я нарисовал еще один график, включая другие показатели, которые этот провайдер выясняет у своих абонентов:
И тут нас подстерегают некоторые сюрпризы - мелкие цифры на картинке.
Во-первых, считаются следующие показатели: “Стабильность услуги”, “Соответствие заявленной в тарифе и реальной скорости” и соотношение “Цена/качество”. И все эти три параметра вполне себе стабильны уже пару лет. Особых взлетов и падений не наблюдается. Оценки параметрам, кстати, оператор решил спрашивать по шестибалльной системе - это чтобы у потребителей не было ассоциации с отметками в школе, которые, пусть и содержат пять баллов, но в итоге имеется только четыре, поскольку “единицу” ставят крайне редко.
Я уже на опыте так же сталкивался с этой проблемой - буквально в прошлом месяце выполнял заказ для “Высшей Школы Экономики” (да, вот такие у меня Клиенты), которые не послушали советов и утвердили систему оценки по пяти баллам. Результат получился аналогичный - большинство респондентов отвечали “пять/четыре”, крайне редко опускаясь до “троечки”. Посему необходимо все же расширять шкалу до принятых во всем Мире десяти. Либо использовать шкалу Лайкерта с эмоциональным подтекстом выставляемой оценки.
Во-вторых, что касается собственно NPS, то он, как видите, сильно колеблется. Причин тому две:
1. Недостаточное количество респондентов - всего порядка сотни на почти два десятка тысяч абонентов. Это приводит к статистической ошибке в пределах 20%. Я отметил на графике планки погрешности как раз в 20 процентных пункта (напомню, что NPS считается в процентах - правая шкала) и получилось, что коридор колебаний весьма широк для корректной оценки.
2. Корреляций с другими показателями нет по причине влияния на NPS других, внешних по отношению к компании, факторов. Например, поведение конкурентов. Или общеэкономическая ситуация вокруг компании. Сезонность, наконец. Сезонность, кстати, заметна - спады индекса приходятся на летние месяцы. Может, это потому, что автор сбора данных в отпуск уезжает как раз летом? ;)
Но оставим регионального оператора, он в любом случае крут и маркетингово молодец, и обратимся к моим ошибкам. Одна из которых повторена - было мало респондентов. 1285 всего. А нужно 1600. Не дотянул.
Для того, чтобы утверждать, что исследование корректное, нужно иметь контрольные цифры. Для сравнения. Поскольку применялся метод CAWI (Computer-assisted web interviewing - Самозаполнение анкеты он-лайн), то для проверки соответствия получившейся аудитории “стихийного опроса” аудитории интернетов необходима контрольная сумма. Причем, сравнивать нужно сравнимое - разделение аудитории на группы по социодемографическим характеристикам должно соответствовать хоть каким-то опорным показателям. Я же взял, и придумал свое деление на группы. В итоге сравнивать получившийся результат стало не с чем. Ни с Росстатом - поскольку сия уважаемая контора считает всех россиян, независимо от того, пользуется ли они интернетом, или не пользуется. Ни с любыми другими точками сравнения. Тем более, что я силовым методом ввел, например, категорию в образовании - “высшее техническое” и “высшее гуманитарное”. Это была не просто ошибка, это была глупость. Ибо никакого практического применения таких дифференциаций не нашлось.
В новом опроснике я решил использовать точно такое деление на группы по возрасту, доходу и образованию, как у TNS. Причина проста - это довольно известное социолого-исследовательское агентство, с уважаемыми экспертами. Кроме того, TNS публикует данные по опросам интернет-пользователей с 2007 года и видна динамика.
Теперь можно будет сравнить аудитории “всего интернета” и того, что получиться в процессе CAWI “Индекса НАГ”. Это даст более понятную картину на сколько аудитория опроса отличается от аудитории Рунета.
Следующая ошибка заключается в том, что я сделал слишком много открытых форм. С одной стороны, открытые формы позволяют выявить нечто, что потребители знают, но это не очевидно для вопрос задающего. С другой стороны, обработка данных из открытых форм занимает слишком много сил и времени. Например, только на названия компаний было потрачена уйма времени - если б вы знали, что очевидно простое слово “Ростелеком” можно написать таким множеством способов, что в глазах рябило. “РТК”, “Ростелик”, “Ростеликом”, “Росстелеком”, “Rostelekom”, “Rostelecom” и еще куча способов, включая устаревшие бренды имени почивших МРК - ДСВ, Utel, Волгателеком.
Впрочем, невозможно другим способом собрать ту базу названий провайдеров, которая в итоге набралась. После обработки “по приведению в соответствие” осталось 194 живых бренда. Уверен, что тут сыграет злую шутку попытка объять необъятное. Но попытаться стоит - теперь в анкете есть выпадающий список, где все эти компании перечислены. Но и открытое поле оставить все равно пришлось.
Коллеги, пожалуйста, посмотрите - все ли компании перечислены? Уверен, что кого-то написали неправильно, а кого-то забыли. Есть некоторое количество времени на исправление.
Открытые поля при том объеме входных данных оказалось непригодны к статобработке. В первом отчете я решил задачку с помощью частотного анализа входных слов. Таким образом, например, были выявлены самые главные причины оттока абонентов, что само по себе уже неплохо. В новой анкете они перечислены. Правда пришлось ограничить количество доступных респонденту галочек “до пяти”. Иначе выявление главных причин оттока может опять превратиться в не обрабатываемый поток сознания.
Пришлось серьезно изменить вопросы в определении дополнительных услуг методом Кано: в первом опросе атрибутов было десять и некоторые из них были из разряда “утверждения Капитана Очевидность”. Но нужно было проверить для начала работоспособность методы и понять тонкости исчисления. Получилось, кстати, следующее:
В новом опросе всего семь услуг. Теперь это однозначно “дополнительные услуги”, которые более четко сформулированы с понятной целью исследования. Вот они:
По итогам будет понятно какие из перечисленных допуслуг наиболее востребованы клиентами, а какие вызовут только эмоциональное отторжение. При тех усилиях, которые необходимо приложить для внедрения чего-либо в современном операторе средней руки, полагаю результаты опроса будут более чем интересны для принятия решения.
Если у уважаемых читателей возникла ВНЕЗАПНО еще какая идея по допуслугам - напишите в комментариях. Возможно, эта идея достойна чтобы спросить клиента о необходимости сего.
Засим прекращаю виниться в допущенных ошибках и выкатываю серию следующих. Это новая анкета, исправления и дополнения в которую принимаются ровно неделю в комментариях, личных сообщениях и электронной почте. В следующий понедельник анкета будет запущена для ширнармасс.
И в самом конце (краевой эффект же!) хочу напомнить, что ожидаю помощи операторов в распространении анкеты среди своих абонентов на условиях взаимовыгодного сотрудничества. Которое заключается в том, что я вам сформирую форму именно для вашей компании и вышлю ссылку и код для имплементации на страницах вашего сайта и распространения среди ваших абонентов. Все данные, полученные от вас будут доступны вам для вашей собственной статистической обработки и при этом войдут в итоговый отчет. Кроме того, вы получите 10% (десять процентов) скидки от итоговой цены отчета, который будет однозначно лучше предыдущего, хотя бы потому, что появится динамика изменения основных показателей, которые остались без изменений. А еще, в новом отчете (уже) исправлены (некоторые) ошибки и учтен опыт предыдущего опроса.
Пишите по адресу klimarev@gmail.com или в “личные сообщения” на форуме. Искренне ваш, Wanderer From.
Материал:
Подходит к концу 2013 год. Зима окончательно пришла в страну заснеженных просторов и нужно начинать планировать год следующий. А лучший план, это фиксация ошибок прошлого с целью недопущения их в будущем. В этой статье мы рассмотрим допущенные в исследовании "Индекс НАГ" ошибки и исправим их. Кроме того, и это тоже важно, начнем новую кампанию по сбору сведений для нового "Индекса НАГ", версия два.
Полный текст
Миша, молоток! Уважаю последовательность и упорство :)
ты лучше анкетку-то заполни :)
И друзьям-коллегам покажи.
А еще лучше - поглянь на ошибки или умного чего посоветуй. Вдруг я забыл чего или не так спрашиваю?
Федеральный округ однозначно определяется по региону. Или я ошибаюсь? Его отдельный выбор - это и лишнее действие, и дополнительная возможность ошибки.
Тут дело не в честности, а в серьёзности. Если я напишу "бесплатно", я не совру. Значит, уточнение к вопросу некорректно.
У всех скорость "до". У меня, к примеру, "до 16 Мб/с днём и до 32 Мб/с ночью". Т.е., вроде как, подходит вариант "до 25 Мб/с", т.к. основное - дневное время, но в чистом виде это противоречит реальности ("до 16 Мб/с" же). Было бы логичнее, как мне кажется, указывать диапазоны, без предлога "до".
И кстати, не учтён вариант с разными скоростями днём/ночью и пр. Как минимум, следует уточнить, какую скорость указывать ("основную", "дневную" или т.п.).
Больше уже придирка, наверное, но звёздочка после предложения у меня вызывает ассоциацию со сноской и приводит к кратковременному замешательству. М.б. в начале ставить?
В общем, да. Но это дополнительная проверка на корректность и защита от троллей. Я потом отфильтрую неправильно введенные ФО и регионы и посмотрю на бред в анкетах. По прошлому разу бреда было почти 2% и от него надо как-то охороняться.
Ок. Принято. Исправлю.
Ок. Согласен. Я расширю диапазон по 10Мб и сделаю уточнение на "дневное".
Это не мое. Это Гугль так отмечает поля, обязательные к заполнению. Увы, убрать не могу. Но проверю еще раз на звездочки в моем тексте.
В любом случае - СПАСИБО.
Еще у меня много вопросов по Кано - это допуслуги. Мне самому не очень нравятся формулировки и хотелось бы добить допуслуг до десятки. Есть еще варианты, что спросить клиента?
СМС-оповещения? Типа, пополни баланс, осталось тридцать рублей, или спасибо за пополнение, баланс теперь триста....
Я не верю в такой опросник.
Понимаешь, даже будучи знакомым лично и искеренне желающим помочь, я охренел столько читать и листать. А огромное количество обязательных полей просто вывело из себя. В итоге - я проставил всё как попало лишь бы долистать до конца.
На своём опыте различных опросов (увлекаюсь ими лет 5 на абонентской базе), я пришёл к выводу, что как только опросник выходит за границы одного листа (распечатка) или одного экрана, он резко становится неинтересным основной массе. Я уж не знаю чем руководствуются остальные, но у меня возникает ощущение, что кто-то не знает, что хочет спросить, или пытается диссертацию на моём примере защитить. Тост тест должен быть краткий и содержательный, как выстрел.
Подозреваю, что с таким тестом ты соберёшь ответы только у психов и нищебро - первые поверят, что смогут этим изменить мир. Вторые - поведутся на роутеры.
Ну и главный вопрос - где Вайнах Телеком? :)
+. Огромные листы и обязательные поля типа "ваш е-майл, чтобы мы слали туда спам" с гарантией хоронят любой опрос.
З.Ы. Кстате, зачем спрашивать регион и федеральный округ отдельно? По региону нельзя определить округ?
В прошлый раз я собрал 1320 анкет. Из них реальных было 1285. Да, это издержки CAWI. Да, смещение по выборке. Да, в итоге получается скорее экспертный опрос. Но это есть хорошо.
Я отрабатываю методику. А тот самый, как выстрел, называется NPS - в прошлой статье описывал.
Вайнах - добавлю. Список получился из прошлого опроса
выше ответил уже. Для проверки корректности.
А собрал бы в разы больше. Попробуй разместить анкету на своём ресурсе и посчитать отношение заполненных к зашедшим.
А вот в этой анкете будет очень большой процент заполненных пунктов "от балды", что в итоге не даст ничего полезного.