Токарев Василий

Для меня члены Ассоциации - мои друзья, мнению которых я доверяю и оценка которых для меня важна.

Василий Токарев, Центр социологических и маркетинговых исследований «Аналитик», Волгоград

Практика проведения аудита выполненных работ широко применяется в разных профессиях. В нашей отрасли это относительно новое явление, вызванное как динамичным развитием индустрии социологических и маркетинговых исследований, повышением методологической грамотности заказчиков, так и усложнением правовой базы взаимодействия участников исследований. Рост количества спорных ситуаций, связанных с претензиями со стороны заказчиков, зачастую необоснованных; факты  недобросовестной работы исследователей; неадекватные тендеры с заведомо невыполнимыми условиями и прочие подобные  сюжеты актуализировали необходимость появления института профессиональной экспертизы, которая стала бы инструментом независимой оценки качества выполнения исследовательского проекта в интересах все участвующих сторон. О независимой и объективной экспертизе, которую проводит Ассоциация «Группа 7/89» рассказали члены экспертной команды Алексей Коннов, канд. социол. наук, директор МА «АИР» (Казань) и Ольга Рыбакова, канд. филос. наук, директор фонда СОЦИУМ (Екатеринбург).

Алексей, как возникла идея независимой экспертизы? 

Идея аудита возникла 4 года назад, когда между двумя членами Ассоциации произошел спор, и Ассоциация взяла на себя роль третейского судьи. В ходе данных разбирательств было привлечено большое количество ресурсов и технических средств. Были вскрыты серьезные нарушения полевых работ со стороны исполнителя, причем в условиях отсутствия массива анкет. Фальсификации были статистически доказаны. Последующие несколько сюжетов подобного рода привели нас к пониманию необходимости разработки процедуры аудиторской проверки и создания рабочей группы экспертов. Мы осознали, что можем решать вопросы не только внутри Ассоциации. На сегодняшний день рабочей группой разработан регламент аудита.

Основная функция аудита – независимая оценка качества реализации исследовательских проектов в интересах всех участвующих сторон: заказчика, исполнителя, информантов. По мнению экспертов, Ассоциация, как профессиональная организация, может и должна выполнять функцию такого арбитра, как это предусмотрено во многих международных профессиональных сообществах.

Ассоциации в качестве аудиторов может быть привлечена на разных этапах: на предварительном этапе, когда обсуждается, например, корректность ТЗ в объявленном тендере, или целесообразность выбранной методической стратегии исследования, качество полевых работ (сейчас мы можем проводить аудит поля онлайн). Аудит уже готового отчета предполагает оценку корректности использования алгоритмов анализа, например, для показателей, измеряемых разными типами шкал, или для оценки соответствия содержания отчетных документов поставленных в ТЗ задач.

По каким причинам обращаются за услугой? Кто является основным клиентом?

Запросы на проведение проверки качества исследований возникают в нескольких случаях. Во-первых, когда сторона Заказчика недовольна качеством выполненных работ. Это может быть спор двух социологических компаний, когда одна является Заказчиком, а другая − Исполнителем. Второй случай, когда хозяйствующий субъект − организация или клиент, который заказывает исследовательской компании маркетинговое или социологическое исследование не удовлетворен качеством выполненных работ, и требуется аудит. Третий вариант государственные органы, которые так же могут заказывать исследования и быть недовольны их выполнением. В тоже время, бывают случаи обращения и со стороны социологической компании, если Заказчик не оплачивает качественно и правильно сделанную работу.

alt

Ольга, по каким основным направлениям проводится экспертиза?

Экспертиза проводится по трем основным направлениям:

1. Соответствие дизайна исследования требованиям ТЗ: выбор методической стратегии и методические документы, модель выборки и способ ее реализации на объекте во время полевых работ, реалистичность тайминга выполнения полевых работ.

2. Качество полевых работ: оценка полноты и качества заполнения полевых документов, оценка возможных фальсификаций при проведении полевых работ и характера потери информации, оценка качества первичной обработки информации.

3. Составление итоговых документов по результатам исследования: оценка соответствия отчетных документов требованиям профессиональных стандартов (AAPOR, ESOMAR) к структуре и оформлению аналитических отчетов по результатам исследования, оценка соответствия содержания отчета объему исследовательских задач ТЗ, соответствие используемых алгоритмов анализа полученной информации природе измеряемых показателей (типы шкал) и особенностям выборки.

Экспертиза может носить как комплексный характер, так и частичный, по одному или нескольким направлениям.

Каковы основные функции и методы аудита? Как происходит процесс аудита?

Основные функции аудита состоят в НЕЗАВИСИМОЙ оценке качества выполненного исследовательского проекта, как с точки зрения адекватной методологии, так и отсутствия нарушений при проведении полевых работ.

С одной стороны, аудит позволяет минимизировать риски Заказчика, связанные с доверием полученным данным и внедрением полученных результатов исследования. С другой, Исполнители получают возможность защитить свою репутацию в случае возникновения спорных вопросов при помощи легитимной независимой оценки со стороны профессионального сообщества.

Основные методы – это детальный анализ всей документации, протоколирующей выполнение проекта – от ТЗ до аналитического отчета, на предмет логики, полноты, корректности всех процедур и пр. Для проверки внутренней валидности анализируется соответствие понятийного аппарата исследовательских задач и показателей для измерения. Для проверки валидности статистического вывода используются алгоритмы количественного анализа данных, в том числе виды многомерного анализа.

Кто входит в состав экспертной команды?

В состав экспертной группы входят члены Ассоциации, имеющие ученую степень доктора или кандидата наук. Все они имеют большой опыт организации и проведения социологических и маркетинговых исследований и преподают базовые дисциплины по прикладной социологии, методам сбора и анализа данных бакалаврам и магистрантам.