«Комбинирование методов позволяет нам снизить ошибки». Интервью с Юлией Баскаковой, руководителем практики мониторинга, социального моделирования и прогнозирования ВЦИОМ.

Юлия, был ли в Вашей практике опыт использования комбинированных методов? В каких случаях наиболее эффективно применять данные методы исследования?

Давайте сразу оговорим, что под комбинированием мы будем понимать не использование качественных и количественных методов в рамках одного исследования, а смешение разных методов получения данных в рамках одного количественного опроса, т.е. mixed mode survey. ВЦИОМ уже два года проводит количественные опросы путём комбинирования квартирных и телефонных опросов – есть отработанная технология, которая хорошо себя зарекомендовала.

Есть несколько причин комбинировать методы. Первая – сроки. Заказчику данные всегда нужны быстро и сделать хороший квартирник за отведённые сроки часто проблематично. Вторая – стоимость. Поле в России недофинансировано и подключение телефонных опросов позволяет работать в рамках имеющихся ресурсов. Далее есть тема достижимости. Дома застать можно не всех и не всегда – людей, ведущих активный образ жизни, гораздо легче найти и опросить по телефону. В ряде регионов мы наблюдали заметное различие в уровне благосостояния респондентов, опрошенных на дому и по телефону – и дело тут не только в пониженной готовности отвечать на вопросы о доходах при личном интервью. Таким образом, комбинирование методов позволяет нам снизить ошибки.

Какой у Вас был самый интересный и запоминающийся кейс в практике при использовании комбинированных методик?

Попытка реализовать адресную случайную выборку квартирного опроса во всероссийском масштабе. Нашей задачей было провести эталонный опрос, с которым можно сравнивать данные. Практика показала, что в условиях российских масштабов выбор технологии квартирного опроса для реализации эталонной выборки – не лучшее решение.

Какие специальные техники используются для проведения данного типа опросов?

Возникают методические вопросы, которые можно решать по-разному. Скажем, испанские коллеги на конференции WAPOR рассказывали, как они объединяют онлайн, опросы по стационарным и мобильным номерам. Выборку предварительно стратифицируют по географии и соц-дему, потом определяют, какую группу как удобнее опросить, а итоги взвешивают на данные переписи. Получается довольно сложный компот. У нас бы их распяли самоотверженные искатели ошибок.
Мы во ВЦИОМ при комбинировании методов обычно разделяем выборку на квартирную и телефонную части и каждую из них отдельно строим как вполне самостоятельную выборку для всей нашей генеральной совокупности. Это даёт нам возможность не просто получить одну цифру – комбинированные данные, а ещё и посмотреть на дистанцию между данными квартирного и телефонного опросов, попытаться её как-то осмыслить.

В настоящее время мы проводим эксперименты по добавлению в нашу технологию комбинирования данных онлайн-опросов. Пытаемся выяснить, как на данные повлияет замена телефонного или квартирного опроса некоторых социально-демографических групп на онлайн-опрос.

Каковы основные преимущества сбора данных с помощью комбинирования методов?

Комбинирование – шаг на пути перехода от дорогих и долгих личных, а потом телефонных опросов к более быстрому и дешёвому онлайну. Сегодняшние возможности онлайна ограничены технически, но в перспективе можно усмотреть будущее, где у каждого постоянно при себе есть мобильное устройство с достаточно большим экраном, постоянно включённым интернетом и уникальным идентификатором. Тогда будет возможно через онлайн реализовывать любые виды выборок, включать в опрос любые демонстрационные материалы, а при необходимости задействовать личную коммуникацию с интервьюером.

Пока это светлое будущее не наступило, поэтому комбинирование позволяет двигаться от дорогих, долгих и трудноконтролируемых квартирных опросов к более технологичным телефонникам и онлайну. Планшеты ускоряют процесс проведения личного интервью, позволяют нам стать свидетелями беседы интервьюера и респондента, проверить соблюдение технологии опроса. Но они не отменяют объективную реальность – ехать в отдалённый район, чтобы собрать несколько анкет, - долго и дорого. Сделать это быстро, недорого и качественно просто нельзя. Поэтому квартирных опросов должно быть мало, они должны быть редкими и космически дорогими – раз в десять дороже, чем сегодня. Телефонных опросов уже становится больше и наступление онлайна неотвратимо. Комбинирование – логичный переходный этап.

Начав с комбинированных всероссийских опросов, ВЦИОМ уже сделал шаг вперед в направлении повышения оперативности, запустив ежедневный всероссийский омнибус «Спутник» - третий в мире (кроме нас, их делает Гэллап и Yougov).

На какие «минусы» этих методов Вы могли бы указать?

Ограничения возникают как результат каждого конкретного дизайна исследования. Квалифицированный исследователь думает заранее, какие это ограничения и насколько они приемлемы.

Есть ли у вас собственная методика обучения сотрудников и подготовка их к реальной работе?
Для того, чтобы сотрудники обучались и профессионально росли, нужна развитая методическая база. Скажем, на каждый метод исследования, который реализует ВЦИОМ, есть детально проработанные пакеты пошаговых методических инструкций для каждого этапа работ. Таким образом, когда сотрудник осваивает новый метод, у него есть чек-лист, с которым можно свериться, а также описание всех процедур. Разработка таких пакетов, их регулярное обновление – трудоёмкая задача, которая требует немало ресурсов времени. Во ВЦИОМ для этого создан Методический совет, который принимает внутренние стандарты.

Обучению новых сотрудников очень способствуют внутренние обсуждения на этапе экспериментов с новыми методиками, внедрения моделей – с этой целью мы регулярно проводим закрытые методические семинары.

Возможно ли сфабриковать данные при проведении опросов? Расскажите о способах контроля.

Разумеется, данные квартирных опросов можно сфабриковать, было бы желание. С телефонниками сложнее. Способов контроля много, все они известны, как и методы их обхода, и способы отлова тех, кто их обходит. Большие опросные фабрики здесь имеют преимущество – поток опросов позволяет отстроить технологические цепочки контроля. Результаты даёт только постоянный контроль на системной основе, а не от случая к случаю.

На мой взгляд, полезно помнить, что качественные данные – это более широкое понятие, чем эшелонированный контроль. Они начинаются с грамотной постановки задачи и хорошо проработанного инструментария. Без этого вполне настоящие данные по ценности будут мало отличимы от фабрикации.

А полевой этап должен предусматривать и пилотаж, и личные инструктажи и вебинары, обучающие материалы, не говоря уже про разумные сроки и оплату – в отсутствие этих составляющих контроль превращается в лотерею для интервьюера.

Сейчас все большую значимость приобретают инновационные технологии. Какие методы способны составить конкуренцию?

Технологии сбора данных меняются, методы остаются. Что изменится – это подход к респонденту. В эпоху, когда высказать своё мнение стало легко, респондент теряет мотив взаимодействия с интервьюером. За потраченное время людям придётся платить.

В более отдалённой перспективе могу предположить рост интереса к теме социального моделирования в виртуальном пространстве. Зачем задавать людям вопросы, когда ситуацию можно проиграть? Кейсы, роли, многовариантность исходов – вот она, геймификация.