Маркетинговая информация: написанному верить! (о достоверности результатов исследований)

Прошло больше десяти лет, рынок сильно изменился, клиент продвинулся, подрядчик заматерел. Но недоверие к качеству информации, полученной в результате исследований, всё же осталось. И, несмотря на массу профильной литературы, в уважаемых издательствах выходят книги с, мягко говоря, ненаучными оценками достоверности маркетинговой информации.

Конечно, скепсис относительно оценки результатов "ресёча" часто вполне заслужен. Нередки случаи, когда у двух разных маркетинговых агентств, исследовавших один и тот же рынок, по некоторым показателям результаты оценок расходились в разы. Что же говорят скептики? Вкратце, большинство пассажей о "тщете ресёча" основываются на том, что: 1. респонденты говорят неправду; 2. интервьюеры обманывают; 3. не тех опросили. В итоге - ошибка накопилась и результатам верить нельзя. Очень стройная конструкция. И, самое главное, все это, в той или иной степени, правда. Но попробуем разобраться со стереотипами без эмоций.

Некорректные (недостоверные) ответы респондентов, действительно, случается и, к сожалению, не редко. Здесь чаще всего встречаются следующие ситуации:

- Вопросы анкеты могут поставить респондента в тупик. В этой ситуации, что бы ни ответил респондент, он скажет неправду. Для того чтобы проверить корректность вопросов исследователи обычно проводят т.н. "пилотный опрос", в ходе которого изучается восприятие вопросов респондентами. По итогам "пилота" анкета дорабатывается.

- Вопросы анкеты программируют респондентов на ответ. Поэтому при составлении вопросов нужно избегать слов, имеющих эмоциональную окраску.

- Респондента спрашивают о том, чего он уже не помнит или что он еще не успел спланировать. Здесь поможет математическая статистика: если респонденты "врут помаленьку", то на средние значения это не влияет - оптимисты немного добавляют, пессимисты - убавляют, а общая оценка в итоге остается той же. Если же фантазирует большинство респондентов, их ответы распределяются случайным образом, значит, неопределенность снизить не удалось и лучше все переделать, используя другие инструменты.

Некорректная интерпретация ответов интервьюерами случается по недоразумению (респондент пробурчал одно, а интервьюер не расслышал и записал другое) либо злому умыслу (это когда интервьюеры "рисуют анкеты на кухне"). Существует набор видов контроля качества первичной информации. Например, контроль интервьюеров через супервайзера, повторный выборочный прозвон респондентов.

Несовершенство выборки - достаточно характерная ситуация, создающая наибольшие сложности исследователям, но и она преодолима. Вот наиболее характерные случаи:

- Выборка накрывает не всю аудиторию исследования. Чтобы никого не забыть исследователи могут провести опрос в два этапа: скрининг и бустинг. Моделирование выборки можно сделать по итогам проведенного пилотного опроса.

- Число ответов среди определенных клиентских групп недостаточно для проведения статистического анализа. В определённых случаях можно «добрать» анкеты. Но если добор не возможен, тогда используется методы внутригрупповой интер- и экстраполяции. Отмечу, что допускается только внутригрупповая экстраполяция, попытка транслировать закономерности, полученные для одних групп потребителей на другие некорректна.

- Непонятны размер и структура генеральной совокупности. Обычно для определения характеристик генеральных совокупностей используются данные Росстата. Но если это невозможно, исследователям придётся формировать генеральную совокупность "вручную". Полученная база выборочно прозванивается и размер сформированной таким образом генеральной совокупности корректируется понижающим коэффициентом с учетом выявленных "мертвых душ".

В любом случае и заказчику, и исполнителю исследования следует помнить, что большинство исследуемых показателей однозначно определены и существуют как объективная реальность. Поэтому все вопросы к исследователям. Должны ответить!

Алексей Мокров

старший партнер маркетингового агентства MARCS

C полным вариантом статьи Вы можете ознакомиться на корпоративном сайте компании MARCS в разделе "Публикации" http://marcs.ru/publication/?2814