MaxDiff: простой формат для сложных решений

Метод для тех, кто отбирает лучшие идеи или характеристики из длинного списка.

DIY-опросы сегодня набирают популярность: сервисы типа Google Forms позволяют запустить анкету буквально за пару кликов. Кажется, что это просто — справится каждый.

Но многие практические маркетинговые задачи требуют более сложного программирования анкеты и специальных приемов. Поэтому у исследовательских компаний работа есть и будет.

Компания ORO применяет более десяти разныхформатов. Однако простого описания мало: клиенту важно понимать, как правильно сформулировать исследовательскую задачу, подготовить материалы, интерпретировать результаты, учитывая особенности формата вопросов.

В небольшой серии статей мы расскажем о наиболее сложных из них. Сегодня — о MaxDiff.

Что такое MaxDiff

MaxDiff (Maximum Difference Scaling) — это метод сравнительной оценки. Респонденту показывают небольшой набор вариантов (например, 8 или 12) и просят выбрать, что для него наиболее и наименее важно. Затем показывают другой набор и так 6–10 раз. Каждый вариант появляется в разных комбинациях. В итоге становится ясна картина предпочтений респондента.

Как работает метод MaxDiff

Когда вы просите людей оценить идеи или характеристики в баллах по некоей шкале, то часто все или почти все сравниваемые объекты получают близкие оценки. Но если респонденту надо не оценить, а выбрать, отказаться от чего-то, то его предпочтения становятся гораздо яснее.

MaxDiff — удобный способ узнать, какие сравниваемые объекты аудитория считает более важными. Хотя метод не раскрывает глубинные причины этих предпочтений.

Когда применяют MaxDiff

Метод помогает в ситуациях, где нужно сократить список вариантов, выбрать лучшее, определить приоритет. Например:

• Вы тестируете пакет из 12 идей для акции, а в работу могут пойти только три.
• Нужно понять, какие характеристики продукта клиенты считают критически важными при выборе.
• У вас 15 месседжей, и вы не знаете, какие именно стоит включить в лендинг.
• Команда предлагает десять новых фич, но ресурсов хватит на 3–4.

Если вариантов много, а выбрать нужно лучшее, то в большинстве случаев MaxDiff оказывается удобным инструментом.

Когда MaxDiff точнее, чем обычный рейтинг

В рейтингах часто побеждают «нейтральные» формулировки, потому что они не раздражают. В MaxDiff чаще всего выигрывают те варианты, которые аудитория считает действительно важными, хотя общий результат, конечно, зависит и от формулировок, и от контекста.

Так происходит потому, что при оценивании люди не испытывают того же напряжения, что при выборе - поставил галочку и забыл. Когда надо сравнить и выбрать, от чего-то отказаться, вот тогда люди начинают действительно думать. В сущности, то же происходит и в магазине.

Что важно помнить

MaxDiff не показывает, сколько людей выбрало тот или иной вариант. Он строит относительный рейтинг и показывает, что оказывается важнее по сравнению с другими вариантами. Поэтому не стоит ждать цифр в духе «80 % проголосовали за этот вариант», — это не тот метод.

Еще один момент: MaxDiff не годится для тестирования визуальных материалов. Если вы сравниваете дизайн, упаковку или ролики, лучше использовать A/B-тест или monadic-подход (о них мы еще расскажем).

Количество вариантов тоже имеет значение. Их должно быть достаточно, чтобы выявить различия, но не слишком много.

Как правило, если вариантов меньше восьми, различия проявляются слабее, если их больше двадцати пяти, то респонденты могут устать, качество данных снижается.

Важно следить за форматом: все варианты должны быть сопоставимыми по форме и длине. Если один из них – это короткая фраза, то другой не должен быть длинным повествованием, иначе восприятие окажется искаженным.

И наконец, чтобы результаты были надежными, нужна выборка достаточного размера, хотя бы от двухсот человек. Если надо сравнивать разные сегменты аудитории, то не менее ста респондентов в каждом.

Зачем клиенту знать о том, что такое MaxDiff

Вопрос кажется неожиданным, ведь опытные исследователи в агентстве всегда подскажут. Но нет, смысл в нем есть. Вот основные причины знать тонкости исследовательского инструментария:

1. Чтобы точнее ставить задачу

Если клиент знает, что MaxDiff применяется для приоритизации, то он сможет сформулировать запрос не в стиле «давайте узнаем, что думают люди», а конкретно:

«У нас есть 15 опций, нужно выбрать 3 главные».

Это экономит время и снижает риск того, что агентство предложит слишком общий или неподходящий инструмент.

2. Чтобы правильно подготовить материалы

MaxDiff требует список опций в сопоставимой форме. Если клиент об этом знает, то не принесет «винегрет» из длинных текстов, картинок и лозунгов, а подготовит список в нужном виде. Это ускоряет проект и делает результаты чище.

3. Чтобы интерпретировать результаты без иллюзий

Главное разочарование клиентов часто связано с ожиданиями. Если вы думаете, что MaxDiff покажет «абсолютную любовь» к отобранным вами вариантам, то это не так. Метод показывает не абсолютные, а относительные предпочтения. Метод покажет, что тот или иной вариант ценнее, чем другие, но при этом нельзя утверждать, что его выберут 50%, 70% или 100% опрошенных.

Если коротко: клиенту не нужно уметь запускать MaxDiff, но полезно понимать, что это за формат, в каких случаях он работает и каких результатов стоит ожидать от него. Тогда диалог с агентством идет быстрее, ожидания реалистичнее, а результаты — полезнее.

Кто решает — применять MaxDiff или нет

Клиент должен точно знать, какую задачу он хочет решить. Агентство предложит подходящий инструмент, по его мнению, формат, но клиент и именно клиент должен объяснить, в чем суть выбора, и какие есть ограничения (например, можем внедрить только 3 из 10 вариантов идей).

Кейс: как маркетолог отобрал пять сообщений из 20 и в разы усилил промо

Задача:

Команда крупного онлайн-сервиса (условно, маркетплейс B2C-услуг) готовила обновленную рекламную кампанию. Нужно было выбрать, какие сообщения о продукте реально «цепляют» пользователя, чтобы не распыляться в медиа и сосредоточиться на сильных аргументах.

Всего предлагалось 20 потенциальных сообщений — от «моментальный подбор мастера» до «гарантируем качество или вернем деньги». Все казались разумными и были тщательно отобранными командой. Но какие из них действительно важны для клиента?

Метод решения - MaxDiff на онлайн-панели

Провели опрос на 600 респондентов — потенциальных пользователей сервиса. Респондентам показывали по пять сообщений за раз и просили выбрать наиболее и наименее важные. Каждое сообщение «поиграло» в разных комбинациях — всего 10 экранов на человека, около 5 минут времени.

После опроса из 20 вариантов четко выделились пять лидеров:

1. Гарантия результата или возврат денег
2. Проверенные исполнители с рейтингом
3. Чат с мастером до заказа
4. Возможность выбрать по цене и опыту
5. Удобный поиск без регистрации

Cемь сообщений оказались откровенно слабыми, их индекс важности стремился к нулю.

Некоторые формулировки казались команде сильными (например, «мы №1 в категории»), но оставили респондентов равнодушными. Если бы опрос не был проведен, такие сообщения ушли бы в эфир, медиабюджет был бы потрачен вхолостую.

Что сделали дальше

• Переписали медиаплан: в ATL ушли только 5 «топов»
• Упростили позиционирование для лендинга, оставили только то, что люди реально ценят
• Провели внутренний брифинг для команды о том, что в действительности важно клиенту»

Результат

Через 2 недели после запуска новой кампании CTR условно вырос на десятки процентов, а стоимость клика снизилась примерно на четверть — иллюстративные цифры, основанные на типичных результатах, которые мы видели в похожих проектах.

Если бы опрос не был проведен, риск того, что часть бюджета уйдет на слабые сообщения, был бы куда больше.