В статье Алексея Михайловича Федоровского, директора по стратегическому планированию «Онлайн Интервьюер» (г. Москва), представлены актуальные рекомендации для проверки качества заполнения анкет, предназначенных для проведения онлайн-исследований

Аннотация: Методы сбора данных онлайн приобретают все большее распространение при реализации исследовательских проектов. С признанием влияния метода сбора данных как такового на характер полученных результатов, специфика такого влияния на разных этапах исследовательского процесса и вопросы качества остаются мало изученными. Для исследовательских агентств, обращающихся к подрядчику, специализирующемуся на проведении онлайн-исследований, процесс сбора данных остается «темным ящиком». Зачастую это вызвано нехваткой информации о том, что и как возможно контролировать, что запрашивать у подрядчика и как обеспечить уверенность в том, что получаемые данные корректны.

Данную статью можно рассматривать как систему рекомендаций для проверки качества заполнения анкет при проведении онлайн исследований. Они адресованы, прежде всего, исследовательским агентствам, обращающимся к подрядчикам за сбором данных, осуществляющимся с использованием онлайн-панелей. Рекомендации будут полезны и при самостоятельном программировании агентством электронной версии анкеты, так как касаются и возможностей контроля, заложенного в логику анкеты. Представители подрядных организаций также могут найти для себя полезную практику проведения проверок, применяемых коллективом, членом которого является автор статьи.

Ключевые слова: Онлайн опрос, CAWI, проверки, качество, панели, онлайн анкеты, самозаполнение.

Устойчивая тенденция последних лет в России – перевод максимального количества исследовательских проектов в цифровой формат. Все больше основные игроки рынка для своих проектов выбирают планшеты или онлайн, способствуя аналогичному переходу в цифровую эру и всех своих подрядчиков.

Тема онлайн исследований вписывается в глубокий методологический дискурс. Речь идет о самостоятельном подходе к сбору и анализу данных, особенности которого имеют значение для результатов исследования. Тому, что метод сбора количественных данных влияет на характер получаемых данных, существует большое количество подтверждений по результатам многих сравнительных исследований уже с конца 80-х годов прошлого века. Тем не менее, эта специфическая область исследования по-прежнему определяется как недостаточно изученная [Мягков, 2008]. При этом дискуссии, посвященные сравнению данных, полученных с использованием методов личных интервью и телефонных опросов, представлены гораздо шире, чем вопросы, касающиеся метода сбора данных посредством самозаполнения анкет в интернете, также известном как CAWI (computer-assisted web interviewing). В данной работе будет рассматриваться именно этот метод.

Об активизации распространения CAWI в исследовательской сфере свидетельствует статистика Европейской организации маркетинговых исследований ESOMAR. С 2010 г. объем онлайн-анкетирования в России вырос c 5% в 2010 до 18% (включая мобильные опросы) в 2015 гг.

Увеличение объема сбора данных методом самозаполнения происходит на фоне снижения объема личных интервью (F2F). Подобная тенденция существует и в мировой практике, где доля CAWI уже втрое превышает как личные интервью, так и телефонные опросы.

На сегодняшний день исследовательские проекты, в которых сбор данных идет с заполнением анкет онлайн, предполагают приглашение респондентов из специализированных онлайн панелей (респонденты-панелисты). Именно о такого рода проектах пойдет речь далее в этой работе[1].

Проекты такого типа делятся на две общих категории в зависимости от источника программирования электронной версии анкеты:

• с программированием исследовательским агентством-заказчиком;
• с программированием на стороне подрядчика.

Источник программирования является важной составляющей процесса поддержки качества данных. С одной стороны, самостоятельное программирование исследовательским агентством делает проект более надежным для него с точки зрения инструментов проверки качества заполнения анкет. С другой стороны, как показывает практика, спектр возможностей и набор используемых для программирования инструментов довольно ограничен. Это приводит к визуально и функционально непривлекательным анкетам, снижая заинтересованность респондента в заполнении анкеты, вызывая повышение числа незавершенных анкет. Это влечет за собой риск для агентства не набрать нужный объем выборки и не уложиться в нужные сроки.

По внутренней статистике компании «Онлайн Интервьюер», доля самостоятельного программирования анкет исследовательскими агентствами составляет около 60%. В 40% случаев агентство обращается к подрядчику. Конечно, агентство может требовать определенного набора проверок качества заполнения анкет и от подрядчика, однако недобросовестный подрядчик может искусственно занижать возможности проверки качества для создания себе более комфортных условий сбора данных. При этом агентству крайне затруднительно проконтролировать саму процедуру проверки и установить факт ее осуществления.

Методы проверки качества заполнения анкеты онлайн можно разделить на 2 больших блока:

• процедуры проверки во время заполнения, и
• процедуры проверки при обработке полученных данных.

Процедурам проверки ответов респондентов во время заполнения анкет посвящено много исследований.

В них анализируется применение различных процедур и их влияние на результаты исследований. Особое внимание уделяется важной проблеме «удержания респондента» в опросе, т.е. получения от респондента завершенной анкеты. Обобщу имеющееся знание в следующую систему проверок ответов во время заполнения анкеты:

• время заполнения анкеты в целом (выбраковка анкет со слишком коротким временем заполнения);
• время заполнения определенных блоков или отдельных вопросов анкеты (превышение установленного минимума для ответа на вопрос или блок вопросов);
• соответствие ответов на логически связанные вопросы в разных частях анкеты;
• исключение респондентов по категории исследования и/или количеству заполненных анкет за определенный период;
• сопоставление поло-возрастных данных, указанных в анкете и профиле респондента в панели;
• включение вопросов-ловушек (например, наличие в табличном вопросе в одной из строк просьбы отметить определенный вариант ответа);
• логическая соответствие (например, при доходе в 10000 рублей в месяц наличие автомобиля премиум класса);
• устранение возможности неоднократного заполнения анкеты одним и тем же респондентом;
• проверочные вопросы с картинками, видео или аудио материалами для контроля показа картинки или видео и передачи звука;
• проверка качества ответов на открытые вопросы (формат текста, количество знаков, сравнение с тезаурусом).

Важно понимать, что наличие проверок качества заполнения онлайн анкеты может вызвать неудобства для респондента. Необходимо выдержать баланс между проверками и комфортностью заполнения анкеты респондентом. В онлайн опросах нет интервьюера, который может «уговорить» закончить интервью. При клике на «красный крестик» в верхнем углу окна при заполнении анкет онлайн респондент будет потерян. Скорее всего безвозвратно для данного проекта.

Второй блок проверок – проверки при обработке полученных данных. Систему таких проверок представим пунктами ниже.

• Проверка времени заполнения анкет (при отсутствии проверки и отбраковывания во время заполнения).

На данном этапе отбраковываются анкеты, на заполнение которых респондент затратил неоправданно мало времени. Одним из способов реализации такой проверки является удаление из базы тех интервью, которые выходят за пределы двух среднеквадратических отклонений от значения медианы. Такие респонденты, так называемые «спидстеры» (англ. speedsters), «прокликивают» анкету, не вчитываясь в вопросы и задания. При реализации данной проверки важно помнить, что онлайн анкета может допускать перерыв в своем заполнении, и интервью с длительными временем могут быть валидны. Респондент может вернуться к заполнению анкеты, например, на следующий день. Однако, если в анкете демонстрировались видео- или другие материалы для оценки (например, тексты концепций), то длительный перерыв в заполнении (от нескольких часов до нескольких суток) не рекомендуется. Респондент мог забыть содержание показанных материалов и в результате дать необдуманные ответы.

• Проверка на заполнение табличных вопросов (так называемый “straight lining” или “zig-zagging”).

Стрейтлайнинг (straight lining) – это заполнение анкеты по определенному «маршруту, по одной вертикальной, горизонтальной линии или зигзагом. Это происходит, когда респондент не вчитывается в вопрос или задание, «прокликивая» анкету, стараясь скорее перейти к следующему вопросу. При проверке таблицы с такими ответами анализируются по смысловой нагрузке табличных вопросов. В некоторых случаях одинаковые ответы на все пункты таблицы являются приемлемыми. Проведение проверки такого рода имеет смысл для оценочных таблиц с количеством альтернатив больше двух. Интервью считается «плохим», если одинаково заполнено более 50% табличных вопросов.

• Проверка на идентичные анкеты.

Такие анкеты появляются в массиве по двум основным причинам. Первая причина – отсутствие технологического контроля на неоднократное заполнение анкеты одним и тем же респондентом. В этом случае, респондент старается давать максимально идентичные ответы тем, которые уже позволили ему заполнить одну анкету. Второй причиной обычно является недобросовестность подрядчика, проводящего сбор данных. В этом случае данные могут быть сдублированы или заполнены по шаблону для выравнивания недостающих квотных ячеек. В файле данных идентичные записи обнаруживаются путем визуального контроля - сортировкой ответов по нескольким вопросам.

• Проверка ответов на открытые вопросы.

В открытых ответах обязательна проверка на смысловую адекватность, соответствие вопроса и данного на него ответа (например, неадекватным на вопрос “Опишите Ваши эмоции” будет ответ “Вторник”). Единственное, на что следует обратить внимание – количество открытых вопросов в анкете. Большое их количество, обычно, приводит к тому, что респондент дает менее развернутый ответ на каждый следующий вопрос такого типа. При отсутствии интервьюера, способного мотивировать дать полный ответ, респондент быстро теряет интерес к полным ответам и, как следствие, ответы становятся более короткими и однотипными.

• Проверка на нетипичное заполнение нетаргетируемых квот.

«Таргетируемость» (eng. “targeting” - нацеливание) предполагает возможности отбора респондентов для участия в опросе из панели. Существует три типа параметров отбора:

1. Хорошо таргетируемые параметры. К таким параметрам относятся пол, возраст, место проживания. Сформировать состав выборки по этим показателям можно точно. Совокупно эти параметры дают около 1-2% ошибок отбора.
2. Средне таргетируемые параметры. К этой группе параметров относятся все указанные в профиле респондента данные (кроме пола, возраста и места проживания). Они могут изменяться, поэтому позволяют сделать только предварительный отбор потенциальных респондентов. Вероятность ошибки варьируется от 2% до 50%. К данным с большей ошибкой относятся: доход, владение компьютерной техникой, пользование услугами сотового оператора и т.д. Более точными являются такие, как наличие детей, крупной бытовой техники, домашних животных и т.д.
3. Нетаргетируемые параметры. Сюда относятся все квотные ограничения, которые не учтены в профиле панелиста. В эту группу параметров входят потребляемые марки, частота потребления определенных продуктов, посещение определенных магазинов и т.д., то есть все то, что невозможно учесть при составлении профиля в онлайн панели. Неожиданный процентный рост такого параметра при сборе данных, например, ближе к завершению полевого этапа, дает серьезный повод задуматься о качестве полученных данных. Увеличение данного показателя, в отличие от параметров первой и второй групп, невозможно вызвать большей или специализированной рассылкой приглашений потенциальным респондентам.

Анализ частотных таблиц помогает обнаружить нетипичное заполнение нетаргетируемых параметров. Распределения оказываются скошенными к определенному варианту ответа. Особого внимания требует резкий рост и доли квотных параметров по конкретным дням плевого этапа (также особенно к концу полевых работ).

• Проверка на количество ответов «Затрудняюсь ответить».

При достижении 50% вариантов «Затрудняюсь ответить» анкета помечается как «подозрительная». Это свидетельствует о невнимательном отношении респондента к анкете (или о некорректно составленной анкете).

• Проверка на заполнение анкет по дате и времени.

Результаты анализа 30 онлайн проектов, проведенных 2015 году, показывают, что максимальное количество анкет заполняется респондентами в рабочие дни и в рабочее время.

В выходные и праздничные дни «кликабельность» приглашений к участию в проекте снижается в 2-3 раза, а в хорошую погоду в 4 раза. Этот фактор необходимо учитывать в сроках проекта и не планировать сбор данных на майские или новогодние праздники – периоды, в которые сбор данных практически невозможен.

Второй фактор, который также необходимо учитывать – время заполнения анкет с учетом часовых поясов. Нетипичные активности респондентов в ночное или утреннее время по местному времени дают повод усомниться в источнике данных. Например, если большая часть анкет для Владивостока заполнена после полуночи по местному времени, когда в Москве еще не закончен рабочий день, то заполнение, с большой долей вероятности, происходит не во Владивостоке.

• Проверка на идентичность IP адресов.

При программировании опроса на стороне исследовательского агентства целесообразно включение регистрации IP адреса, с которого респондент заходит на анкету. Это позволит осуществить дополнительную косвенную проверку места жительства. Однако, возможна ситуация, при которой IP-адрес не будет совпадать с отмечаемым местом проживания, в случаях, когда респондент находится на отдыхе или в командировке. IP адреса заполняемых анкет с мобильных устройств могут существенно отличаться от фактических, т.к. многие сотовые операторы для выхода в интернет используют общий очень ограниченный пул адресов.

В заключение хочу акцентировать внимание на том, что применять проверки для определения качества анкет необходимо в совокупности. Важно помнить, что респондент, заполняя анкету на своем компьютере или другом устройстве, может быстро потерять интерес в силу разных причин (персональных, не связанных с особенностями анкеты, или напрямую вызванных ею – слишком длинная, скучная, сложная анкета) и прервать заполнение. Одной из причин прерывания участия в опросе может являться и большое количество проверок, вызывающих у респондентов негативную реакцию – люди начинают давать заведомо неверные ответы и, в некоторых случаях, в дальнейшем вообще прекращают свое участие в исследовательских проектах. Общими рекомендациями для исследовательских агентств, заинтересованных в качестве онлайн опросов можно сформулировать следующим образом:

1. Запрашивать осуществляемые процедуры проверок у подрядчика, выполняющего программирование электронной версии анкеты и сбор данных;
2. Уменьшить количество проверок во время заполнения анкеты, увеличив проверки на этапе обработки данных, избегать переизбытка проверочных вопросов для респондента;
3. Обеспечить наличие набора из трех-четырех проверок для каждого планируемого проекта;
4. Учитывая характер заполняемости анкет в праздничные и выходные дни планировать сроки полевого этапа.

[1] Помимо проектов с участием респондентов-панелистов реализуются и проекты с приглашением респондентов, не зарегистрированных в специализированных панелях, а являющихся пользователями тематических интернет-площадок (т.н. river sampling) и проекты с использованием клиентских контактных баз. У этих типов проектов также есть своя специфика.