Экспертное мнение

Онлайн-исследования для нас – это наиболее органичный и эффективный инструмент

«Онлайн-исследования для нас – это наиболее органичный и эффективный инструмент как в силу доступности, богатства данных, так и в смысле достижения нужной нам аудитории». Интервью с Артуром Гончаровым, руководителем группы исследований и аналитики компании Mail.Ru Group.

alt

Артур, Вы специализируетесь на проведении онлайн опросов. В каких случаях наиболее эффективно применять данные методы?
Буду говорить о работе своей команды (исследований и аналитики Mail.Ru Group в маркетинге) - мы являемся по сути внутренним research-агентством полного цикла для всех подразделений холдинга. Мы же аутсорсим и внешние силы, когда это целесообразно. Очевидно, онлайн-исследования для нас – это наиболее органичный и эффективный инструмент как в силу доступности, богатства данных, так и в смысле достижения нужной нам аудитории. Если говорить про традиционные опросные методы, мы проводим очень много онлайн-опросов на собственной аудитории для решения внутренних задач. Но также регулярно проводим трекинги телефонниками по случайной репрезентативной выборке мобильных номеров, когда нужны объективные мониторинговые срезы по рынку и конкурентам без погружения в тонкие детали. Эти методы закрывают основные опросные потребности, поэтому мы заказываем внешние онлайн-панели скорее в качестве исключения.

Какие специальные техники используются для проведения данного типа опросов?

Я часто издевательски шучу в разговорах с коллегами по цеху, что мы немногие, кто мог бы претендовать на проведение репрезентативных онлайн-опросов в этой стране. Хотя на самом деле это скорее не шутка, если речь о репрезентации ядра отдельного крупного онлайн-ресурса. Ведь для описания совокупности помимо соцдема, которым, как правило, вынуждены ограничиваться исследователи, есть множество поведенческих параметров в интернете, более тесно сопряженных с измеряемыми признаками. Выборку аудитории такого онлайн-ресурса можно реализовать в том числе за его пределами, хотя чаще в этом нет острой необходимости. Простые, но интересные и эффективные техники - таргетирование на сегменты аудитории в собственном продукте (например, через push-уведомления в мобильном приложении), рекламное таргетирование (на любых площадках, включая не наши), совместный анализ данных фактического пользования и опросных данных. Например, для исследования своего продукта можно оценить ошибку неответа (проблема нелояльных пользователей), или связать логику анкеты непосредственно с тем, как ведет себя пользователь в реальности, а не как декларирует.

Каковы основные преимущества сбора данных с помощью данных методов?

Помимо самых банальных, у онлайн-опросов определенно есть задел на будущее в виде нарастающей синергии на стыке опросных инструментов с технологиями анализа данных. Это рекламные технологии и машинное обучение: таргетирование опросов и обогащение опросными данными. Также для наших исследований – это возможность прямого взаимодействия со своей аудиторией.

На какие «минусы» этих методов Вы могли бы указать?

Если говорить про стандартные панели, то тут все банально – в основном, не знаем, кого опрашиваем. Большинство клиентов на рынке, кажется, особо и не мучаются этим философским вопросом. Для опросов собственной аудитории – перекосы выборки в лояльных и активных пользователей, с которыми нужно уметь работать. В целом в любых онлайн-опросах повышенное внимание должно быть обращено на расхождение с исходной совокупностью (соцдема недостаточно), а также на анализ взаимосвязей в данных (в том числе с поведенческими данными), нежели на голословные проценты. Если для полстера или политтехнолога уже само значение процента - продукт на основе исследования, то для опросов, рассчитанных на реальное практическое применение результатов, конечная ступень - улучшение продуктовых показателей. А выводы на основе уютного анализа «больше-меньше» не только чаще врут на онлайнике, но и приносят мало инсайтов.

Есть ли у вас собственная методика обучения сотрудников и подготовка их к реальной работе?

Лично для меня есть два главных качества сотрудника – горящие глаза и способность мыслить здраво, логически. Остальное приходит быстро и без бэкграунда в исследовательской отрасли. Часто замечаю, как зашоренность классическими методиками исследований не позволяет в полной мере охватить потенциал и пространство экспериментов в digital-среде. Если проводить аналогию с агентством, мы гораздо ближе к пониманию потребностей наших продуктов холдинга. Это накладывает больше ответственности, и мы, конечно, порой излишне ломаем голову и придумываем велосипед, но он чаще всего сильно кастомизированный, с возможностью стать мотоциклом. Важным источником опыта и знаний для нас является возможность экспериментировать с данными много и без рисков, и не использовать это было бы досадным упущением. Поэтому отдельной подготовки скорее нет, вместо неё - реальная работа. Главное – видеть, когда можно дать сотруднику безболезненно ошибиться самому, и ни в коем случае не лишать его этой возможности.

Возможно ли сфабриковать данные при проведении онлайн опросов? Расскажите о способах контроля.

Все возможно, если есть такая задача, в том числе написать бота, который будет правдоподобно тыкать в анкету. Но для нашего опыта внутренних исследований проблема не очень-то актуальная. Намного насущнее для нас, например, определять fraud, когда мы покупаем рекламу своих мобильных приложений с оплатой за установку или за совершение действия в приложении (робот запускает и использует приложение). Но в обоих случаях по смыслу это одна и та же задача - поиска аномалий. Добавить сюда можно проверки на человекопохожесть, куки и верифицированные логины. Намного труднее заподозрить и опаснее, когда сфабрикована реализация выборки. Например, возьмем набирающий популярность river sampling – представьте, как высок соблазн подмешать побольше конверсионного и низкокачественного трафика.

Есть мнение, что популярность онлайн исследований растет и в будущем, возможно, они вытеснят традиционные методы? Согласны ли Вы с этим? Какие еще методы способны составить конкуренцию?

Кажется, это давно перестало быть мнением, равно как и обычные онлайн-опросы давно стали традиционным методом. Онлайн-опросы должны в первую очередь доесть полностью ту часть исследований, что тесно сопряжены с построением рекламной коммуникации в онлайне. И тут местами должен пошатнуться чистый research с отчетами в pptx. Информация, получаемая из опросов, может конвертироваться непосредственно в действие, связанное с показом той или иной рекламы нужному сегменту, и это реализуемо на стороне рекламной площадки (например, у нас). Так, над корректностью построения выборки в будущем будут думать меньше, но это будет осознанно: во-первых, реализовать её всё труднее, во-вторых, кому какое дело, если эта информация повышает эффективность рекламы на N%. Интереснее говорить о том, что придет на смену онлайн-опросам. Отовсюду сейчас, включая полстеров (что, признаться, забавляет), слышится про big data, даже там, где она совсем не big. Вот и я не сдержусь. Логичным этапом эволюции онлайн-опросов должен стать Artificial Intelligence. Алгоритм задаёт вопрос пользователю только тогда, когда это актуально, и когда нужно доуточнение прогноза, дообучение модели. Например, очень модная нынче (и перегретая) история с психометрикой пока просит проведения опросов, но и эта пора наивного познания пройдет, когда data science специалисты продвинутся к лучшему пониманию социальных наук, а гуманитарии перестанут бояться и полюбят машинное обучение (и нет, просто рассуждать о нем недостаточно). В нашей компании этот процесс бурлит по обе стороны квалификации. Стараюсь вариться в обоих котлах, подкидывая дров и периодически помешивая.

А какие кейсы и направления Вы считаете перспективными?

Если говорить про перспективные направления, то злаковой нишей видятся исследования, интегрированные с digital, где агентства меряются не точностью выборки, а приростом эффективности. Ряд клиентских задач просто пропадёт из поля зрения исследователя, и эти компетенции закрепятся за другими игроками. В частности, крупные игроки, рекламные площадки и агентства, держатели данных (либо эффективные утилизаторы чужих) будут драйвить и видоизменять рынок, выращивать у себя компетенции исследователей. Поэтому я бы смотрел на трансформацию рекламного рынка, чтобы понимать, куда последуют (или должны последовать) исследователи. Например, интересны геолокационные исследования (гиперлокальность как контекст для показа рекламы, прогнозирование и атрибуция офлайн-потоков потребителей), построение глубокого портрета пользователя по его цифровым следам (не только лайки, но и распознавание фото, машинный анализ текста). Рано или поздно такие практики сформируются в индустрию и станут общим местом, и кризис в каком-то смысле даже способствует этому движению. Также сейчас ещё продолжает быть интересным экспериментировать, как знания об аудитории, полученные традиционными методами, могут помочь в калибровке предиктивных алгоритмов. Думаю, это может послужить последним мостиком для некоторых исследователей, готовых переосмыслить свою работу. В данный момент я тоже рассматриваю опцию выхода на внешний рынок с исследованиями полного цикла на стыке опросов и анализа данных холдинга, поэтому интересные и нетривиальные запросы уже готов обсуждать.

© 2020 Ассоциация исследовательских компаний «Группа 7/89». Все права защищены.

Поиск