Экспертное мнение

При неправильном применении комбинации методов риски получить недостоверные результаты выше

«При неправильном применении комбинации методов риски получить недостоверные результаты выше, чем при штатном подходе», считает  Илья Штейнберг, ведущий авторского курса «Школа-студия исследователя - качественника при НОЦ ИС РАН, преподаватель МГПУ.

alt

Илья Ефимович, когда Вы впервые использовали комбинирование методов в исследовании?

Неосознанная практика у меня началась в 1983 году, тогда я еще не знал, что провожу комбинированное исследование. Это было в начале второй «оттепели», она была не только идеологическая, но и методологическая в плане расширения методического арсенала в полевых социологических исследованиях. Впервые столкнулся с комбинированным исследованием и убедился в его эффективности, когда мне довелось проводить опросы общественного мнения на промышленных предприятиях в г. Энгельсе. Это был массовый опрос рабочих на 40 городских промышленных предприятий, связанный с внедрением бригадной формы организации труда на производстве. В том году вышло Постановления ЦК КПСС «О борьбе с формализмом во внедрении бригадных форм на производстве» и моя задача заключалась в выявлении степени этого «формализма». Статистика показывала, что не менее 70% трудящихся на предприятиях города было «охвачено» инновацией. Мы провели опрос на рабочих местах силами армии из почти 1000 «анкетеров-интервьюеров» и результат по всем предприятиям был не более 3% «охвата». Формализм, вроде бы был на лицо, но экспертные интервью показали, что этот «формализм» - часть политики внедрения инноваций в условиях недостатка ресурсов для реального внедрения, подготовленных кадров и т.п. То, что «охват бригадами» производился административно-волевым путем, который порождал то, что большинство бригад были на бумаге, было не главным в этом процессе. Главным было то, что, тем не менее, около 3-5 % «не благодаря, а вопреки» были настоящими бригадами (что нами и было верно выявлено). Они служили примером того, что такая инновация возможна, накапливался и передавался опыт и общий уровень «охвата бригадизацией» поднимался. Такая была политика «внедрения», которая была скрыта под идеологическими призывами и «борьбой с формализмом» и только комбинированный подход, соединяющий анализ статистики, формализированный опрос на рабочих местах и экспертные интервью, помог мне понять, где кончается наука и начинается политика, и что для глубокого понимания социального феномена нужна триангуляция методов.

А осознанная практика у меня началась в 1990 году, тогда я узнал слова: междисциплинарный подход, методический комбайн в исследовании, миксрисеч, методические гибриды и т.д. Это случилось в экспедициях британского социолога Теодора Шанина, которые длились почти 10 лет. Проект был междисциплинарный, комбинированный, в него входили историки, социологи, психологи, экономисты, географы. Мы учились понимать логику исследовательских подходов друг друга. Постепенно рождался инструментарий проекта, который вбирал в себя бюджеты семьи и глубинные интервью, устные истории и анализ документов архивов, наблюдение и работа с картами местности, экономический анализ деятельности предприятия и методы визуальной этнографии. Скорее всего, тогда я стал понимать, плюсы и минусы этого подхода, всю его сложность, где он уместен, а где нет.

А какие специальные техники Вы применяете?

Комбинированый подход особенно продуктивен, когда стоит задача сделать прогноз развития определенного тренда или поведения потребителей в условиях, когда экстраполяция текущей ситуации не дает результата, а описание поведения потребителя мало чего объясняет. Тут не обойтись без сочетания количественных и качественных методов сбора и анализа данных, социальных экспериментов.

Например, у нас есть такая «специальная техника» для прогноза, которую мы условно называем «трехфазный движок». Что это такое? Вот недавно был в экспедиции в зоне социального напряжения, там были случаи, связанные с конфликтами между коренным населением и приезжими. Стояла задача выяснить, изменится ли эта ситуация к началу следующего года и в какую сторону. Сначала, методом экспертных и полуформализованных интервью по специальной «8-оконной выборке», а также непосредственным наблюдением мы выясняем причины, которые обусловили этот конфликт. Например, проблемы с трудоустройством, падением доходов населения, недостаток сотрудников правоохранительных органов, распространение пьянства населения, особенности местных традиций, норм и правил поведения, организация досуга и т.д. На основе этих данных строится модель причин конфликтной ситуации. Как правило, это не более 5-7 основных факторов. Но прогноз только на ее основании сделать невозможно, т.к. у нас нет уверенности в ее надежности. Тогда мы переходим ко второй фазе «движка». Мы отправляемся на объект, где социальная напряженность оценивается как низкая по статистике и по экспертным оценкам. Мы смотрим, есть там, выявленные факторы или нет, т.е. применяем метод «фальсификации теории» по К. Попперу Отсутствие этих факторов говорит о том, что у нас есть рабочая модель для прогноза и можно переходить к третьей фазе. Это сбор и анализ доступной статистики о планах различных ведомств относительно данной локации. Например, выясняем, планируют ли в УВД увеличивать число сотрудников в поселках, планируют ли чиновники и бизнес увеличение количества рабочих мест, планируется ли реабилитационные центры для зависимых и меры пропаганды трезвости и т.д. Если таких данных найти трудно или они вызывают сомнения, мы проводим интервью с представителями этих ведомств. Вопросы не касаются «социальной напряженности», а исключительно количественной информации об изменениях факторов из нашей модели. Это позволяет сделать достаточно обоснованный краткосрочный прогноз.

К «специальным инструментам» можно отнести «8-оконную выборку для качественного социсследования», где комбинируются полуформализованные, глубинные и экспертные интервью.

Каковы основные ограничения сбора данных с помощью комбинирования методов?

При неправильном применении комбинации методов риски получить недостоверные результаты выше, чем при штатном подходе. Потому что при штатном подходе ограничения уже, как бы, вписаны в протокол. А здесь есть большие претензии на объективность, связанные с тем, что были одновременно использованы разные методы. Однако механическое сложение количественных и качественных методик, тем более из разных дисциплин, ничего не гарантирует, если не выстроена общая логика исследования. Например, этнографический метод основан на логике «вживания» в среду объекта исследования. Инструментарий исследования похож на растущее дерево. Первоначальная программа с задачами и гипотезами постепенно меняется под натиском новой информации. Ключевые вопросы вырастают из парадокса между тем, что исследователь наблюдает сам, тем, что на эту тему говорят респонденты и своими собственными представлениями о предмете исследования.

Самый простой пример. Респонденты жалуются на «нищенскую зарплату», которой еле хватает на самое необходимое, статистика подтверждает, что она ниже установленного прожиточного минимума в данной локации. Наблюдение показывает, что, несмотря на это, приобретаются вещи «не первой необходимости». Возникают вопросы и гипотезы о месте «зарплаты» в структуре доходов семьи, о других источниках материального обеспечения, о смыслах понятия «самое необходимое». В поле исследования попадают льготы, пособия, помощь родственников неформальные заработки, самообеспечение продуктами питания и проч. Программа исследования начинает расти в сторону социальных явлений, о которых ранее не помышлялось.

Количественное социологическое исследование исходит из проверки гипотез, которые «построены» до выхода в поле, на основе имеющихся знаний исследователей, а не «выращены в поле» путем коррекции «дебютных идей» под влиянием их столкновения с «реальностью». Значит, оно имеет иную методологическую природу, т.е. предназначено для решения определенных задач. Например, для изучения динамики изменения восприятия своих «зарплат» на фоне текущей экономической или политической ситуации. Даже качественное социологическое исследование, нацеленное на выяснение смысла, который вкладывают респонденты в понятие «нищенская зарплата», только косвенно имеет отношение к тому, как «живут люди на самом деле», потому что пытается выявить действующие социальные нормы в общественном сознании на данную тему. Поэтому уверенность в том, что если «инструментарий анкетного опроса создан на основе предварительного разведочного качественного исследования», то это гарантирует надежность и достоверность результатов, может не оправдаться, т.к. может быть избыточен или увести в сторону от поставленной цели исследования.

В качественных социологических исследованиях широко используются психологический арсенал методик. Риски здесь в том, что если не знать для чего он был предназначен изначально, то можно сильно огорчиться результатом. Например, метод «снежного кома» был придуман для изучения социальных сетей, чтобы понять, кто входит в конкретную социальную группу, в круги близких и дальних знакомых. При его использовании в социологическом исследовании, есть риск собрать «ложный снежный ком», если не стоит задача опроса гомогенной группы по квотам. Например, было исследование, связанное с темой «одиночество пожилых людей». Если идти по выборке на основе «снежного кома», то вы рискуете набрать респондентов, живущих отдельно от родственников и не узнать о феномене «одиночества пожилого человека в семье», или об одиночестве материально обеспеченных стариков в элитных районах города и наоборот.

На мой взгляд, дискуссия о комбинированном подходе будет более продуктивна, если она затронет вопросы: 1) Какие задачи подходят и не подходят для этого подхода? 2) Где в исследовании комбинированный подход – это определенная последовательность применения количественных и качественных, онлайн и оффлайн методов, а где нужны настоящие «комбайны» - гибриды с количественно-качественным интерфейсом? 3) Какие новые возможности для комбинирования медов открывают цифровые механики онлайн-платформ? 4) Как и где готовить исследователей для этого дела?

Расскажите о Вашей методике обучения сотрудников и подготовке их к реальной работе.

Наша «Школа-студия исследователя-качественника» была создана на базе Центра социологического и политологического образования при ИС РАН (сейчас НОЦ), скоро ей исполнится 10 лет. Ее методическая основа − это методология «двойной рефлексивности» Теодора Шанина и «метод длинного стола», рожденный в полевых исследованиях, который предназначен для организации и проведения социологических и маркетинговых исследований. Сейчас у нас появился «Виртуальный «длинный стол» на онлайн- платформе Granatum, где мы обучаем и проводим исследования. «Школа» помогает формированию специфических и неспецифических навыков для экспертных опросов, миксовых исследований, экспресс- экспедиций. Это сочетание тренингов, мозгового штурма, фокус-групп, ОГД, ряда специальных упражнений и практика закрепления знаний и навыков в реальном экспресс-исследовании, где присутствует «заказчик» из известных исследовательских центров, который принимает и оценивает программу исследования. В моем блоге «социолог в поле» есть статьи методического характера и информация о школе-студии.

Сейчас все большую значимость приобретает комбинирование традиционных исследовательских методов и инновационных технологий. Какие методы способны составить конкуренцию?

Инновационных методов сейчас довольно много. И дело даже не в конкуренции, а скорее в развитии и дополнении. Открываются новые возможности и, конечно, их надо использовать. У меня больше практики в комбинировании традиционных социологических, этнографических, психологических и экономических методик. В основном это были комбинации, основанные на дополнении и перепроверки информации с использованием количественных и качественных подходов. Например, данные опросов о «дебюте потребления наркотиков у подростков и молодежи» сочетались с сериями клинических интервью с потребителями ПАВ. Часто доводилось использовать проективные психологические методики и методы психологического консультирования. С настоящими «комбайнами» раньше встречался редко. Например, был успешный опыт создания гибрида бюджетного обследования домохозяйства с глубинным интервью. Это был странный инструмент, где заполнение бюджетных таблиц по балансу доходов и расходов сельской сопровождалось вопросами интервьюера о личностных смыслах этой «цифири для респондента», о неэквивалентных обменах, о сетях поддержки, о критериях богатства и бедности и проч. Для его создания и применения требовались одновременно навыки бюджетчика и интервьюера-качественника. Кстати сказать, такими универсалами были земские статисты 19-20 вв. Достаточно посмотреть архив «этнографического бюро графа Тенишева».

Сейчас участвую в применении онлайн-платформы Grananum для решения исследовательских задач, где наш «метод длинного стола» дополнен возможностями инфографики, элементов геймификации, различных механик визуализации вопросов и ответов, «виртуальных плюшек» за активность, автоматической архивацией данных, статистикой и анализом результатов, удаленной и асинхронной модерацией дискуссии и проч.

Это выглядит довольно необычно для такого «старомодного» исследователя, как я, но сама по себе задача транспонирования «оффлайн- методов» в «цифру», чрезвычайно интересна и перспективна.

Например, в «онлайне» есть две проблемы: борьба со скукой (в какой-то момент человеку становится скучно и он уходит) и «синдром покинутости» (человек чувствует, что он один, нет обратной связи). На этой платформе задача решается элементами геймификаци. В исследовании эффективности работы учебных центров при больших торговых сетях в целях корректирования учебных программ в соответствии с изменениями рынка и потребительского поведения, нужно было опросить «продажников», которые уклоняются от обсуждения своих практик. Не всегда камеры слежения и супервайзеры могут отследить, что реально происходит на торговых площадках, как применяются, полученные технологии продаж. На этой платформе все это происходит в форме игры, чем-то похожей на «данетки». Например, задаются вопросы, на которые нужно отвечать только «да» или «нет». Типа, клиент сказал: «Дорого и я спешу», а я все же продал, как я это сделал? За правильные ответы начисляются баллы и виртуальные призы. Во время «игры» человек не может долго фантазировать, рано или поздно он переходит к своей практике продаж. Когда все данные сравниваются, получается модель поведения. Есть также другие игры и придумки, чтобы получить латентную информацию.

Я думаю, что этот сегмент будет бурно развиваться и совершенствоваться. Впереди нас ждут удивительные комбинации методов, которые сегодня даже трудно представить. Нам кажется, что наметились тренды в сторону миксования исследовательских подходов и даже можем участвовать в их развитии, но все же будущее не предопределено.

© 2020-2022 Ассоциация исследовательских компаний «Группа 7/89». Все права защищены.

Поиск