«Мы хотим показать участникам рынка всё разнообразие возможных подходов к оценке качества телефонных опросов; расширить представление полевых менеджеров и заказчиков о качестве телефонных опросов; показать, что единого подхода на рынке нет, и в ближайшей перспективе он не появится». Руководитель группы телефонных опросов Фонда «Общественное Мнение», член Оргкомитета Чемпионата «CATICUP-2019» Тимур Османов подробно описал процедуру оценивания работ конкурсантов.
CATICUP-2019 – уже третий конкурс интервьюеров, проводимый Ассоциацией «Группа 789». Этот конкурс стал рекордным по количеству компаний участников. Также у конкурса появились спонсоры – крупнейшие компании, заказывающие телефонные опросы на социально-политическую тематику, – ВЦИОМ и ФОМ. Столь высокий интерес к конкурсу демонстрирует высокое внимание к качеству проведения телефонных опросов как со стороны CATI центров, так и со стороны заказчиков телефонных опросов.
Опишу подробно процедуру оценивания работ конкурсантов. Каждый конкурсант провёл 3 интервью по разработанной оргкомитетом конкурса анкете. При разработке анкеты мы ставили перед собой нетипичную задачу: в неё нужно было вместить различные типы вопросов (открытый вопрос; вопрос, где нельзя зачитывать варианты ответа; вопрос где необходимо зачитать варианты ответа; табличные вопросы; вопросы со множественным выбором; был даже вопрос, в котором респонденту предлагалось разложить концепт на составляющие, и каждой составляющей присвоить долю в %). Также в анкете было несколько сложных мест, которые вызывали сбои в разговоре интервьюера и респондента. Именно из-за таких проблемных мест анкета не нравилась конкурсантам, ведь в обычных проектах предпринимают довольно много усилий для сглаживания коммуникации. А сбои являются однозначным маркером небрежно подготовленного инструментария. Однако такие сбои и набор вопросов различных типов позволяют раскрыть способности интервьюера удерживать и мотивировать респондентов, поддерживать и выправлять коммуникацию. По простым анкетам большинство интервьюеров сможет провести идеальные интервью. Наша же задача состояла в выделении профессионалов высокого уровня, что возможно лишь при работе по сложному инструментарию.
Оценка работ интервьюеров проводилась в 2 этапа. На первом этапе интервью прослушивали контролёры из компаний участников. При прослушивании они заполняли специальные бланки, оценивая нюансы ведения интервью. Каждое интервью оценивалось по 22 параметрам! В результате их оценок были выделены 10 лучших интервьюеров, которых прослушивали члены экспертного жюри. В жюри помимо руководителей звонковых центров входили сотрудники федеральных исследовательских агентств, заказчиков телефонных опросов – ВЦИОМ, ФОМ, ГФК.
Всего в конкурсе участвовал 71 интервьюер. На первом этапе их работу оценивали 27 контролёров. Каждое интервью прослушивали 2-3 контролёра, а каждого интервьюера прослушивали от 6 до 9 контролёров.
Отмечу, что оценки у контролёров и членов экспертного жюри отличались очень сильно. Так, если анализировать полученные результаты в разрезе средних оценок, выставляемых контролёрами, то этот параметр варьируется от 60,9 до 92,5 баллов. Причём каждый контролёр прослушивал довольно большое количество интервьюеров (от 21 до 27), поэтому столь сильную дисперсию можно объяснить лишь субъективностью в оценках контролёров. Однако, за счёт случайного распределения интервьюеров по контролёрам, и того факта, что одного интервьюера прослушивало большое количество контролёров, эта субъективность оценок не могла оказать существенного влияния на результаты.
Общее время, потраченное всеми контролёрами на работу, составило более 17800 минут, т.е. почти 12,5 суток чистого времени работы!
Десятку лучших интервьюеров прослушивали 18 членов жюри. Все члены жюри прослушивали каждого интервьюера (кроме интервьюера из своей компании) и заполняли бланк оценки. Мы предполагали, что члены жюри значительно опытнее контролёров, но даже у них средние оценки, выставленные всем прослушанным интервью, колебались в диапазоне от 63,7 до 94,3 баллов. Что опять же подчёркивает субъективизм оценок и отсутствие единого подхода к оцениванию работ, даже несмотря на применение единого бланка оценки работы интервьюеров.
Первый конкурс интервьюеров CATI центров Группа 789 провела 2 года назад. Тогда мы ставили перед собой амбициозную задачу – разработать и описать единые стандарты проведения телефонных интервью. Ведь их наличие существенно упростит работу всем участникам рынка – от интервьюеров, требования к работе которых не будут отличаться у каждого заказчика, до конечных клиентов, которые будут чётче понимать продукт, который они получают в результате телефонного опроса. Два года назад эта задача оказалась нам не по зубам.
Сейчас наши цели скромнее – мы хотим показать участникам рынка всё разнообразие возможных подходов к оценке качества телефонных опросов; расширить представление полевых менеджеров и заказчиков о качестве телефонных опросов; показать, что единого подхода на рынке нет, и в ближайшей перспективе он не появится. Описание различных подходов к качеству – отдельная большая работа, не менее трудоёмкая чем проведение самого конкурса.