Главная » Блоги » Текущая запись:

Глава из новой редакции книги С.А.Белановского «Глубокое интервью и фокус-группы»

27 Март, 2018 Блоги

1.2.2. Репрезентативность качественных опросов
Данный параграф написан для того, чтобы опровергнуть широко распространенное мнение о качественных исследованиях как принципиально недостоверных и нерепрезпентативных. Проблема состоит в том, что репрезентативность качественных исследований часто оценивается по критериям количественных, что неправильно. Оценка репрезентативности качественного опроса требует иной постановки математической задачи.

Что такое репрезентативность. Согласно определению словаря репрезентати́вность — это соответствие характеристик выборки характеристикам популяции или генеральной совокупности в целом. Репрезентативность определяет, насколько возможно обобщать результаты исследования с привлечением определённой выборки на всю генеральную совокупность, из которой она была собрана.

Понятие репрезентативности основывается на понятиях генеральной и выборочной совокупности. Использование понятия репрезентативности предполагает определение следующих характеристик. Во-первых, генеральная совокупность должна соответствовать идеальному типу массового явления. Как известно, статистикой называют отрасль знаний, в которой изучаются вопросы анализа массовых статистических (количественных или качественных) взаимодействий.

Во-вторых, объекты выборочной совокупности должны быть выбраны из генеральной совокупности случайным образом. В третьих, для определения количественных параметров выборочной совокупности вводятся понятия доверительного интервала и доверительной вероятности. Значение этих понятий описано во всех учебниках по статистике, поэтому здесь оно освещаться не будет. Наконец, важен объект, в отношении которой измеряются параметры генеральной совокупности. Например, количество деревьев, растущих на определенной территории, и популяция птиц, живущих на этой же территории, являются скоррелированными, но разными характеристиками. Ниже будет показано, почему этот вопрос окажется важным.

Эмпирическая оценка репрезентативности. Оценка репрезентативности может быть эмпирической и математической. Начнем с эмпирической, которая редко описывается в учебниках. Для целей нашей книги показателен иллюстративный пример, взятый из книги Э.Ноэль «Массовые опросы». Ноэль пишет:

  • Обсуждая с посетителями проблемы достоверности данных массового опроса, им объясняют, что по одной-двум тысячам интервью можно судить о мнениях или желаниях взрослого населения Западной Германии, превышающего 40 миллионов. Им показывают на диаграмме, как выглядят результаты опроса по данным, полученным от первой сотни, затем от двухсот, трехсот поступающих с территории ФРГ интервью. Посетители могут видеть, как довольно быстро — после восьмисот или тысячи интервью — результаты стабилизируются и последующие тысяча, две тысячи и более анкет не приносят существенных изменений.

В этом примере просматривается прямая аналогия с качественными исследованиями. Исследователи, имеющие многолетний опыт проведения фокус-групп подтверждают, что в рамках однородного сегмента шести фокус-групп оказывается вполне достаточно для того, чтобы мнения, высказанные респондентами, начали повторяться, и последующие фокус-группы уже не давали значимых приращений к сформированному тезаурусу мнений.

Практика показывает также, что в однородном сегменте респондентов по любому содержательному вопросу существует ограниченное число преобладающих мнений. Как правило, от 2 до 4. Встречается и почти полный консенсус. Поэтому 30 респондентов, а тем более проведение 6 – 12 фокус-групп вполне достаточно, чтобы даже редкие мнения прозвучали хотя бы 1 – 2 раза (обычно намного чаще). При увеличении масштабов исследования в пределах однородной совокупности тезаурус основных мнений уже не меняется, хотя их абсолютное число, конечно, растет. При достаточно большом увеличении выборки становится возможным оценить и частотные характеристики высказываний, хотя в качественных исследований это обычно не входит.

Математическая оценка репрезентативности. Выше уже проводилось сравнение тезауруса высказываний с тезаурусом слов в языке. Существуют просто тезаурусы (списки) слов и выражений и существуют частотные распределения.

С точки зрения количественного социолога объемы выборки в 20 или даже 50 человек кажутся некорректными, поскольку доверительный интервал и доверительная вероятность в их привычном понимании явно ниже приемлемых значений. Однако поскольку качественные исследования не предназначены для ответа на вопрос «сколько», никто и не ожидает, что их результаты будут выражены в терминах статистически достоверной численности респондентов.

Тем не менее задача оценки репрезентативности качественных данных может быть выражена на математическом языке в ином ракурсе, хотя на практике этот язык редко употребляется. Говоря коротко, речь о различии между составлением тезауруса и частотного распределения.

Рассмотрим сначала, как могла бы выглядеть правильная формулировка задачи, а потом объясним, почему в качественных социологических исследованиях математическая оценка выборки не используется, хотя используется в смежных областях, например, в лингвистике или при проведении контент-анализа.

Начать следует с того, что непосредственным результатом качественного опроса является не цифровой массив, а массив текстов (стенограмм). Единицей опроса становится не респондент, а высказывание.

Часто бывает, что респондент подкрепляет свою мысль ссылкой не только на свой личный опыт, но и на опыт знакомых ему людей, попавших в некую ситуацию, релевантную теме обсуждения. Даже в тех случаях, когда интервьюер, согласно инструкции, просит апеллировать только к личному опыту, такой опыт может быть многократным. Говоря условно, по этой причине количество релевантных высказываний по сравнению с числом респондентов может примерно удваиваться. При проведении серии фокус-групп массив релевантных высказываний с учетом такого удвоения может быть уже статистически значимым даже по критериям количественного исследования. Однако этим эффектом в дальнейшем мы пренебрежем.

Однако эффект подобного «удвоения» — не самое важное. Главное состоит в том, что к оценке представительности результатов качественных исследований могут применяться критерии теории вероятности, но несколько иначе, чем к оценке количественных.

В частотных словарях языка принято использовать показатель ipm, означающий, сколько раз некое слово встречается в усредненном корпусе текстов, состоящим из одного миллиона слов (такова международная практика). Пересчитав для удобства этот показатель на 10 000 слов, мы к примеру, увидим,что слово «человек» встретится в усредненном текстовом массиве в 27 раз.

После этого возьмем набор 10 000 случайно выбранных слов, и проверим эмпирически, будет ли получен результат, совпадающий с данными словаря. Априорно можно сказать, что чем большее число проб будет сделано, тем ближе их усредненный результат будет стремиться к показателю словаря, и наоборот. Однако каково будет возможное отклонение показателя при единичном замере? Малое число упоминаний затрудняет строгое решение этого вопроса, но сохраним здесь эту задачу, как иллюстративный пример.

Если использовать аналогию с частотными словарями, задача качественного исследования может быть сформулирована так. Предположим, что на неких выборах участвуют 10 кандидатов, из них пятеро имеют рейтинг более 5% (основные кандидаты). Эти данные могли быть получены в ходе предварительных количественных опросов. Задача качественного исследования состоит получении ответов на классический вопрос «почему?» по каждому кандидату.

Для определения необходимого количества респондентов вопрос можно поставить так: сколько респондентов необходимо опросить, чтобы с заданной вероятностью хотя бы один из них оказался сторонником самого «редкого» кандидата.

По оценке Алексея Чурикова (ФОМ), проводившего расчеты по формуле биноминального распределения, для того, чтобы в массиве встретился хотя бы один человек с мнением или признаком, встречающимся в популяции не менее, чем в 5% случаев, потребуется отобрать:

  • 90 человек при уровне доверия 99%;
  • 59 человек при уровне доверия 95%;
  • 45 человек при уровне доверия 90%.

Сходный результат получился и при расчетах, основанных на гипотезе нормального распределения, хотя для малых чисел этот метод расчета является менее точным.

Оценки, полученные А.Чуриковым, хорошо согласуются со сложившейся практикой проведения фокус-групп и близки к числу респондентов, обычно опрашиваемых с помощью индивидуальных интервью.

Таким образом, перенос критериев репрезентативности из области количественных в область качественных исследований некорректен, поскольку постановка задачи кардинально различается. В количественных исследованиях требуется получить цифру рейтинга или объемов продаж, тогда как в качественных требуется определить минимальный объем выборки, чтобы обеспечить гарантированное (с заданной вероятностью) попадание в нее относительно редко встречающегося мнения, релевантного целям исследования.

Качественные методы как источник количественных оценок. Количественные оценки могут возникать в качественных исследованиях в двух случаях. Во-первых, это оценки, возникшие у респондентов на основе прямого наблюдения за объектом. Фактически, это экспертные оценки. В качестве примера можно взять можно взять сообщение В.Игрунова, который в советское время (начало 80-х годов) в течение нескольких лет работал на заводе в отделе снабжения. По его словам, вся советская экономика в те годы была пронизана системой бартерных обменов между предприятиями, что позволяло смягчить проблему дефицитов в снабжении. На вопрос об объемах таких обменов респондент ответил так:

  • Это зависит от категории материала. К примеру, по моей категории (резина, пластмасса) количество обменов сравнительно невелико – около одной четверти. Что же касается метизов (это шурупы, винты и проч.), то я думаю, что добрая половина этих материалов поступает на завод путем обменов. Может быть, даже больше половины.

Вопрос о доверии к таким оценкам остается на усмотрение исследователя, однако при необходимости они могут быть проверены объективными методами.

Второй источник количественной информации – это статистика распределения мнений респондентов, точно так же, как в количественных опросах. При проведении относительно больших сессий фокус-групп (например, 12, что эквивалентно 120 участникам) численность респондентов даже по критериям количественных исследований приближается к репрезентативной. Тем не менее, авторы зарубежных учебников не рекомендуют использовать проценты при описании распределения мнений, предпочитая менее конкретные формулировки типа «большинство», «меньшинство», «подавляющая часть», «незначительная часть», «примерно половина» и т.п.

С точки зрения статистики такая рекомендация вполне корректна, однако она требует уточнения с точки зрения достоверности результатов, даже если они выражены в столь обтекаемой форме. В тех случаях, когда удается сравнить результаты фокус-групповой сессии и параллельно проведенного количественного опроса, часто выясняется, что там, где на фокус-группах некое мнение высказывает «большинство» (условно – 70% респондентов), количественный опрос показывает очевидное, хотя и значимое меньшинство (условно – 30%).

Причины этого явления на сегодняшний день не ясны. Одно из возможных объяснений выдвигает на первый план статистический сдвиг выборки, обусловленный малой численностью респондентов. Второе объяснение состоит в том, что методы рекрутинга в количественных и качественных исследованиях сильно различаются, что накладывает свой отпечаток на количественное распределение мнений. Наконец, третья гипотеза состоит в том, что в фокус-группе респонденты высказывают свои мысли несколько иначе, чем в количественном опросе. Эти вопросы требуют уточнения, однако автор не встречал работ, в которых они бы исследовались эмпирически. Тем не менее, социолог должен иметь в виду, что даже «большинство», высказавшееся в фокус-группе по какому-то вопросу, может оказаться «меньшинством» в количественном опросе.

Итак, качественные исследования могут давать заметный количественный сдвиг в распределении мнений. Однако список основных мнений в обоих типах исследований остаётся неизменным. «Большинство» после количественной проверки может превратиться в значимое «меньшинство», однако сам факт наличия соответствующего сегмента фиксируют оба исследования. Это еще раз подчеркивает, что единицей анализа в качественных опросах является не респондент, а высказывание.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Издания


мы в социальных сетях



Новости

Игорь Минтусов о новом составе правительства

Игорь Минтусов принял участие в программе «Отражение. Тема часа» в прямом эфире телеканала ОТР, посвященной новому составу правительства. Вместе с политологом Юлием Нисневичем он подискутировал на тему перспектив деятельности нового правительства России.

Игорь Минтусов об инаугурации Владимира Путина

Глава «Никколо М» принял участие в программе «Вечер с Владимиром Соловьёвым» на канале «Россия 1», где обсуждалось вступление Владимира Путина в должность президента на новый срок. Эксперты рассуждали о реализации национальных целей и стратегических задач России, …

Игорь Минтусов об идеях Карла Маркса

Глава «Никколо М» принял участие в ток-шоу «Агора» с Михаилом Швыдким на телеканале «Культура». В передаче, посвященной 200-летнему юбилею Карла Маркса, обсуждались идеи марксизма, их актуальность в современном экономическом и политическом контексте, вопросы классовой борьбы, тоталитарных …

Игорь Минтусов на «Эхе Москвы»

Глава компании «Никколо М» выступил в прямом эфире на радиостанции «Эхо Москвы» в программе «Разбор полёта» Андрея Ежова и Станислава Крючкова. Политический консультант немного рассказал о своем жизненном пути, счастливом советском детстве и о «сломе» …

IPA призывает к приостановке политических сообщений, использующих микротаргетинг

IPA призывает к мораторию на политическую рекламу с использованием микротаргетинга после недавнего скандала с утечкой личных данных, затрагивающего Facebook и Cambridge Analytica. Впервые за всё время, Совет Великобритании по рекламе выступил с официальным обращением к …

Игорь Минтусов вручил награды конкурса «КонТЭКст»

Глава «Никколо М» 18 апреля принял участие в торжественной церемонии награждения лауреатов IX всероссийского конкурса «КонТЭКст» среди журналистов и пресс-служб компаний ТЭК и энергетического машиностроения. Игорь Минтусов вручил награды за проекты, признанные лучшими по эффективности и …