Главная » Блоги » Текущая запись:

Глава из новой редакции книги С.А.Белановского «Глубокое интервью и фокус-группы»

27 Март, 2018 Блоги

1.2.2. Репрезентативность качественных опросов
Данный параграф написан для того, чтобы опровергнуть широко распространенное мнение о качественных исследованиях как принципиально недостоверных и нерепрезпентативных. Проблема состоит в том, что репрезентативность качественных исследований часто оценивается по критериям количественных, что неправильно. Оценка репрезентативности качественного опроса требует иной постановки математической задачи.

Что такое репрезентативность. Согласно определению словаря репрезентати́вность — это соответствие характеристик выборки характеристикам популяции или генеральной совокупности в целом. Репрезентативность определяет, насколько возможно обобщать результаты исследования с привлечением определённой выборки на всю генеральную совокупность, из которой она была собрана.

Понятие репрезентативности основывается на понятиях генеральной и выборочной совокупности. Использование понятия репрезентативности предполагает определение следующих характеристик. Во-первых, генеральная совокупность должна соответствовать идеальному типу массового явления. Как известно, статистикой называют отрасль знаний, в которой изучаются вопросы анализа массовых статистических (количественных или качественных) взаимодействий.

Во-вторых, объекты выборочной совокупности должны быть выбраны из генеральной совокупности случайным образом. В третьих, для определения количественных параметров выборочной совокупности вводятся понятия доверительного интервала и доверительной вероятности. Значение этих понятий описано во всех учебниках по статистике, поэтому здесь оно освещаться не будет. Наконец, важен объект, в отношении которой измеряются параметры генеральной совокупности. Например, количество деревьев, растущих на определенной территории, и популяция птиц, живущих на этой же территории, являются скоррелированными, но разными характеристиками. Ниже будет показано, почему этот вопрос окажется важным.

Эмпирическая оценка репрезентативности. Оценка репрезентативности может быть эмпирической и математической. Начнем с эмпирической, которая редко описывается в учебниках. Для целей нашей книги показателен иллюстративный пример, взятый из книги Э.Ноэль «Массовые опросы». Ноэль пишет:

  • Обсуждая с посетителями проблемы достоверности данных массового опроса, им объясняют, что по одной-двум тысячам интервью можно судить о мнениях или желаниях взрослого населения Западной Германии, превышающего 40 миллионов. Им показывают на диаграмме, как выглядят результаты опроса по данным, полученным от первой сотни, затем от двухсот, трехсот поступающих с территории ФРГ интервью. Посетители могут видеть, как довольно быстро — после восьмисот или тысячи интервью — результаты стабилизируются и последующие тысяча, две тысячи и более анкет не приносят существенных изменений.

В этом примере просматривается прямая аналогия с качественными исследованиями. Исследователи, имеющие многолетний опыт проведения фокус-групп подтверждают, что в рамках однородного сегмента шести фокус-групп оказывается вполне достаточно для того, чтобы мнения, высказанные респондентами, начали повторяться, и последующие фокус-группы уже не давали значимых приращений к сформированному тезаурусу мнений.

Практика показывает также, что в однородном сегменте респондентов по любому содержательному вопросу существует ограниченное число преобладающих мнений. Как правило, от 2 до 4. Встречается и почти полный консенсус. Поэтому 30 респондентов, а тем более проведение 6 – 12 фокус-групп вполне достаточно, чтобы даже редкие мнения прозвучали хотя бы 1 – 2 раза (обычно намного чаще). При увеличении масштабов исследования в пределах однородной совокупности тезаурус основных мнений уже не меняется, хотя их абсолютное число, конечно, растет. При достаточно большом увеличении выборки становится возможным оценить и частотные характеристики высказываний, хотя в качественных исследований это обычно не входит.

Математическая оценка репрезентативности. Выше уже проводилось сравнение тезауруса высказываний с тезаурусом слов в языке. Существуют просто тезаурусы (списки) слов и выражений и существуют частотные распределения.

С точки зрения количественного социолога объемы выборки в 20 или даже 50 человек кажутся некорректными, поскольку доверительный интервал и доверительная вероятность в их привычном понимании явно ниже приемлемых значений. Однако поскольку качественные исследования не предназначены для ответа на вопрос «сколько», никто и не ожидает, что их результаты будут выражены в терминах статистически достоверной численности респондентов.

Тем не менее задача оценки репрезентативности качественных данных может быть выражена на математическом языке в ином ракурсе, хотя на практике этот язык редко употребляется. Говоря коротко, речь о различии между составлением тезауруса и частотного распределения.

Рассмотрим сначала, как могла бы выглядеть правильная формулировка задачи, а потом объясним, почему в качественных социологических исследованиях математическая оценка выборки не используется, хотя используется в смежных областях, например, в лингвистике или при проведении контент-анализа.

Начать следует с того, что непосредственным результатом качественного опроса является не цифровой массив, а массив текстов (стенограмм). Единицей опроса становится не респондент, а высказывание.

Часто бывает, что респондент подкрепляет свою мысль ссылкой не только на свой личный опыт, но и на опыт знакомых ему людей, попавших в некую ситуацию, релевантную теме обсуждения. Даже в тех случаях, когда интервьюер, согласно инструкции, просит апеллировать только к личному опыту, такой опыт может быть многократным. Говоря условно, по этой причине количество релевантных высказываний по сравнению с числом респондентов может примерно удваиваться. При проведении серии фокус-групп массив релевантных высказываний с учетом такого удвоения может быть уже статистически значимым даже по критериям количественного исследования. Однако этим эффектом в дальнейшем мы пренебрежем.

Однако эффект подобного «удвоения» — не самое важное. Главное состоит в том, что к оценке представительности результатов качественных исследований могут применяться критерии теории вероятности, но несколько иначе, чем к оценке количественных.

В частотных словарях языка принято использовать показатель ipm, означающий, сколько раз некое слово встречается в усредненном корпусе текстов, состоящим из одного миллиона слов (такова международная практика). Пересчитав для удобства этот показатель на 10 000 слов, мы к примеру, увидим,что слово «человек» встретится в усредненном текстовом массиве в 27 раз.

После этого возьмем набор 10 000 случайно выбранных слов, и проверим эмпирически, будет ли получен результат, совпадающий с данными словаря. Априорно можно сказать, что чем большее число проб будет сделано, тем ближе их усредненный результат будет стремиться к показателю словаря, и наоборот. Однако каково будет возможное отклонение показателя при единичном замере? Малое число упоминаний затрудняет строгое решение этого вопроса, но сохраним здесь эту задачу, как иллюстративный пример.

Если использовать аналогию с частотными словарями, задача качественного исследования может быть сформулирована так. Предположим, что на неких выборах участвуют 10 кандидатов, из них пятеро имеют рейтинг более 5% (основные кандидаты). Эти данные могли быть получены в ходе предварительных количественных опросов. Задача качественного исследования состоит получении ответов на классический вопрос «почему?» по каждому кандидату.

Для определения необходимого количества респондентов вопрос можно поставить так: сколько респондентов необходимо опросить, чтобы с заданной вероятностью хотя бы один из них оказался сторонником самого «редкого» кандидата.

По оценке Алексея Чурикова (ФОМ), проводившего расчеты по формуле биноминального распределения, для того, чтобы в массиве встретился хотя бы один человек с мнением или признаком, встречающимся в популяции не менее, чем в 5% случаев, потребуется отобрать:

  • 90 человек при уровне доверия 99%;
  • 59 человек при уровне доверия 95%;
  • 45 человек при уровне доверия 90%.

Сходный результат получился и при расчетах, основанных на гипотезе нормального распределения, хотя для малых чисел этот метод расчета является менее точным.

Оценки, полученные А.Чуриковым, хорошо согласуются со сложившейся практикой проведения фокус-групп и близки к числу респондентов, обычно опрашиваемых с помощью индивидуальных интервью.

Таким образом, перенос критериев репрезентативности из области количественных в область качественных исследований некорректен, поскольку постановка задачи кардинально различается. В количественных исследованиях требуется получить цифру рейтинга или объемов продаж, тогда как в качественных требуется определить минимальный объем выборки, чтобы обеспечить гарантированное (с заданной вероятностью) попадание в нее относительно редко встречающегося мнения, релевантного целям исследования.

Качественные методы как источник количественных оценок. Количественные оценки могут возникать в качественных исследованиях в двух случаях. Во-первых, это оценки, возникшие у респондентов на основе прямого наблюдения за объектом. Фактически, это экспертные оценки. В качестве примера можно взять можно взять сообщение В.Игрунова, который в советское время (начало 80-х годов) в течение нескольких лет работал на заводе в отделе снабжения. По его словам, вся советская экономика в те годы была пронизана системой бартерных обменов между предприятиями, что позволяло смягчить проблему дефицитов в снабжении. На вопрос об объемах таких обменов респондент ответил так:

  • Это зависит от категории материала. К примеру, по моей категории (резина, пластмасса) количество обменов сравнительно невелико – около одной четверти. Что же касается метизов (это шурупы, винты и проч.), то я думаю, что добрая половина этих материалов поступает на завод путем обменов. Может быть, даже больше половины.

Вопрос о доверии к таким оценкам остается на усмотрение исследователя, однако при необходимости они могут быть проверены объективными методами.

Второй источник количественной информации – это статистика распределения мнений респондентов, точно так же, как в количественных опросах. При проведении относительно больших сессий фокус-групп (например, 12, что эквивалентно 120 участникам) численность респондентов даже по критериям количественных исследований приближается к репрезентативной. Тем не менее, авторы зарубежных учебников не рекомендуют использовать проценты при описании распределения мнений, предпочитая менее конкретные формулировки типа «большинство», «меньшинство», «подавляющая часть», «незначительная часть», «примерно половина» и т.п.

С точки зрения статистики такая рекомендация вполне корректна, однако она требует уточнения с точки зрения достоверности результатов, даже если они выражены в столь обтекаемой форме. В тех случаях, когда удается сравнить результаты фокус-групповой сессии и параллельно проведенного количественного опроса, часто выясняется, что там, где на фокус-группах некое мнение высказывает «большинство» (условно – 70% респондентов), количественный опрос показывает очевидное, хотя и значимое меньшинство (условно – 30%).

Причины этого явления на сегодняшний день не ясны. Одно из возможных объяснений выдвигает на первый план статистический сдвиг выборки, обусловленный малой численностью респондентов. Второе объяснение состоит в том, что методы рекрутинга в количественных и качественных исследованиях сильно различаются, что накладывает свой отпечаток на количественное распределение мнений. Наконец, третья гипотеза состоит в том, что в фокус-группе респонденты высказывают свои мысли несколько иначе, чем в количественном опросе. Эти вопросы требуют уточнения, однако автор не встречал работ, в которых они бы исследовались эмпирически. Тем не менее, социолог должен иметь в виду, что даже «большинство», высказавшееся в фокус-группе по какому-то вопросу, может оказаться «меньшинством» в количественном опросе.

Итак, качественные исследования могут давать заметный количественный сдвиг в распределении мнений. Однако список основных мнений в обоих типах исследований остаётся неизменным. «Большинство» после количественной проверки может превратиться в значимое «меньшинство», однако сам факт наличия соответствующего сегмента фиксируют оба исследования. Это еще раз подчеркивает, что единицей анализа в качественных опросах является не респондент, а высказывание.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Издания


мы в социальных сетях



Новости

«Деловой день» на РБК с Игорем Минтусовым.

16 июля на телеканале РБК в программе «Деловой день» обсуждались итоги проведения Чемпионата мира по футболу в России для бизнеса и государства. На вопрос, как изменится имидж России после чемпионата, Игорь Минтусов ответил, что туристический …

Игорь Минтусов 4 июля принял участие в программе «Вечер с Владимиром Соловьёвым» на канале «Россия 1».

Темой обсуждение стала русофобия внутри страны, причины ее возникновения. Поводом послужил нашумевший пост уже бывшей сотрудницы по PR компании «Леруа Мерлен», который разделил общество на два лагеря — тех, кто поддержал слова и позицию сотрудницы, …

Игорь Минтусов о роли интеллигенции в России.

Глава «Никколо М» принял участие в программе «Вечер с Владимиром Соловьёвым» на канале «Россия 1». Когда речь зашла о сложной системе отношений в треугольнике «власть — интеллигенция — общество», слово было предоставлено Игорю Минтусову. Между главой «Никколо …

Игорь Минтусов о новом составе правительства

Игорь Минтусов принял участие в программе «Отражение. Тема часа» в прямом эфире телеканала ОТР, посвященной новому составу правительства. Вместе с политологом Юлием Нисневичем он подискутировал на тему перспектив деятельности нового правительства России.

Игорь Минтусов об инаугурации Владимира Путина

Глава «Никколо М» принял участие в программе «Вечер с Владимиром Соловьёвым» на канале «Россия 1», где обсуждалось вступление Владимира Путина в должность президента на новый срок. Эксперты рассуждали о реализации национальных целей и стратегических задач России, …

Игорь Минтусов об идеях Карла Маркса

Глава «Никколо М» принял участие в ток-шоу «Агора» с Михаилом Швыдким на телеканале «Культура». В передаче, посвященной 200-летнему юбилею Карла Маркса, обсуждались идеи марксизма, их актуальность в современном экономическом и политическом контексте, вопросы классовой борьбы, тоталитарных …