Личный сайт Сергея Белановского

Проблема нестабильности рейтинговых измерений

Подробности

Категория: Методы исследований

Опубликовано: 23.06.2016 21:01

Автор: Сергей Белановский

Просмотров: 772

Результаты рейтинговых измерений, равно как и результаты любых других измерений, подвержены определенным колебаниям, или погрешности. Применительно к измерениям рейтингов эта погрешность делится на теоретическую и фактическую. Теоретическая погрешность определяется теорией выборки, в основе которой лежит математическая теория вероятности. Именно о ней обычно говорят социологи, указывая на так называемую ошибку выборки.

Фактическая погрешность определяется технологией измерения. Величина фактической погрешности определяется путем вычисления среднего квадратичного отклонения результатов измерения от тренда.

При проведении большого числа замеров фактическая погрешность всегда будет выше теоретической, но в идеале должна приближаться к ней. Разница между теоретической и фактической погрешностью характеризует качество технологии измерения, позволяет судить об устойчивости измерительной процедуры. О фактической погрешности рейтинговых измерений российские социологи, насколько известно, ни разу не сообщали широкой публике.

Насколько велика может быть фактическая погрешность по сравнению с теоретической? Ответ на этот вопрос может быть дан на двух следующих примерах:

• опубликованных результатах рейтинговых измерений ВЦИОМа и ФОМа за период с января 2000 по август 2003 гг. (по ВЦИОМу речь идет о данных, полученных в период до его реорганизации в Левада-центр, которая произошла в августе 2003 г.);
• опубликованных результатах экзит-поллов на выборах президента Украины в 2004 г.

Дополнение 2007 г.

Предлагаемый читателю анализ проведен на результатах рейтинговых измерений, проведенных в 2003 - 2004 гг. Позднее этот результат не обновлялся, хотя сделать это не сложно на опубликованных рейтингах, полученных как российскими, так и украинскими фирмами. Можно предположить, что с тех пор фактическая погрешность российских и украинских рейтинговых измерений уменьшилась. В этом случае было бы интересно понять, за счет каких технологических нововведений это произошло.

Результаты такого анализа было бы интересно сравнить с аналогичными результатами, получаемыми службами опроса общественного мнения в ведущих западных странах. На данный момент недостаток времени препятствует проведению такой работы, но автор надеется провести ее в будущем.

1. Результаты измерений ВЦИОМа и ФОМа

В Таблице 1 приведены данные о величине теоретического и фактического отклонения данных, рассчитанные для двух уровней вероятности: 70% и 95% (на языке теории вероятности этот показатель называется уровнем значимости).

Смысл этих данных может быть пояснен на примере рейтинга партии «Яблоко» для уровня значимости 70%. Приведенные в таблице данные говорят о том, что теоретически каждое измерение рейтинга этой партии с вероятностью 70% может отклоняться от тренда на величину не более 0,5 процентных пункта в ту или иную сторону. Этот результат одинаков для ВЦИОМа и ФОМа. Что касается фактического отклонения по результатам прошедших измерений, то результаты замеров ВЦИОМа с вероятностью 70% отклоняются от тренда на величину, не превышающую 0,9 процентных пункта, для ФОМа - 0,6 процентных пункта.

При переходе от 70% к 95% уровню значимости величина возможного отклонения удваивается (согласно математической теории вероятности). Для уровня значимости 95% величина теоретической погрешности рейтинга «Яблока» у обеих служб составит плюс-минус 1 процентный пункт, фактической у ВЦИОМа - 1,9, у ФОМа - 1,2 пункта.

Согласно теории вероятности величина погрешности измерения увеличивается в середине шкалы, т.е. в районе 50%, и уменьшается на ее крайних точках, т.е. в районе 0% и 100%. Это означает, что относительно большая величина отклонения не всегда может быть истолкована как меньшая надежность измерения. Этот теоретический эффект необходимо учитывать при оценке данных о величине отклонений.

Правильная оценка надежности процедуры измерения может быть получена путем определения соотношения между теоретической и фактической погрешностью. Эти соотношения приведены в последних колонках Таблиц 1 и 2.

Данные, приведенные в названных таблицах, показывают, что фактическая погрешность измерений обеих социологических служб, как и следовало ожидать, превышает теоретический уровень: у ВЦИОМа в среднем в 2,6 раза, у ФОМа в 2,3 раза.

Обращает на себя внимание тот факт, что наибольшее превышение фактического отклонения над теоретическим характерно для рейтингов «Единой России» и В.Путина. У обеих служб фактический разброс величины этих рейтингов в 3 - 4 раза превышает теоретический. В абсолютных цифрах это означает, что величина рейтинга «Единой России» с вероятностью 70% укладывается в диапазон плюс-минус 3,2 пункта по данным ВЦИОМа и 5,2 пункта по данным ФОМа.

Для уровня значимости 95% величина этого диапазона составит соответственно для ВЦИОМа 6,4, а для ФОМа 10,4 процентных пункта. Другими словами, для данного уровня значимости рейтинг «Единой России» по данным ВЦИОМа может колебаться в пределах от 15% до 27%, а по данным ФОМа от 22% до 42%.

Повышенная нестабильность рейтингов «Единой России» и В.Путина объясняется, возможно, повышенным вниманием составителей анкет к различным содержательным вопросам, влияющим на эти рейтинги. Составители анкет, по-видимому, много экспериментируют с вопросами, прямо или косвенно связанными с темой В.Путина и «Единой России», что влияет на структуру анкеты и, косвенно, на результаты измерений. Эта гипотеза требует проверки.

Таблица 1. Теоретическая и фактическая погрешность в измерениях рейтингов ВЦИОМа и ФОМа при уровне значимости 70%, процентных пунктов

Таблица 2. Теоретическая и фактическая погрешность в измерениях рейтингов ВЦИОМа и ФОМа при уровне значимости 95%, процентных пунктов

2. Анализ экзит-поллов на выборах президента Украины

4 ноября 2004 г. украинский Консорциум по проведению экзит-полла, посвященного прогнозированию результатов второго тура выборов президента Украины, обнародовал данные опроса избирателей на выходе из участков. Консорциум включал в себя 4 ведущих социологических фирмы:

По итогам результатов опросов оказалось, что данные, полученные различными участниками Консорциума, заметно отличаются друг от друга.

Так, согласно совместным результатам КМИС и Центра Разумкова (ЦР), В.Янукович получил в первом туре голосования 37,8% голосов, а В.Ющенко - 44,6%.

Согласно «Соцису», В.Янукович набрал 41,0%, В.Ющенко - 42,0%. Наконец, согласно данным «Социального мониторинга» (СМ), В.Янукович получил 41,2%, В.Ющенко - 40,1%

По данным украинского Центризбиркома В.Янукович набрал 39,9% голосов избирателей, В.Ющенко - 39,2%.

Налицо определенные расхождения между результатами опроса и объективным результатом голосования. В чем причина этих расхождений? На этот счет могут существовать разные версии. Ниже будет рассмотрен вопрос о том, насколько эти результаты могут быть истолкованы как ошибка измерения.

На пресс-конференции 4 ноября участники Консорциума проинформировали, что величина статистической ошибки измерений или теоретическая ошибка выборки составляет плюс-минус 2%. Это означает, что если бы отклонения рейтингов носили случайный характер, то рейтинг В.Януковича с вероятностью 95% должен был бы находиться в диапазоне от 37,9% до 41,9, а рейтинг В.Ющенко в диапазоне от 37,2% до 41,2%.

Сравнивая эти интервалы с данными экзит-поллов, мы видим, что результаты «Социального мониторинга» полностью укладываются в названный интервал, результаты «Социса» укладываются для В.Януковича, но не для В.Ющенко, а результаты КМИС и ЦР полностью выходят за его рамки, что говорит о неслучайном характере этих отклонений (по сравнению с теоретическим уровнем). Этот факт служит основанием для выдвижения гипотез о методических ошибках при проведении опросов либо о политической ангажированности названных исследовательских центров.

Однако прежде, чем делать такие выводы, следует рассмотреть еще одну, связанную с возможной ошибкой измерения.

Опросы экзит-полл проводились всеми участниками Консорциума во всех 26 украинских регионах. Это дает возможность оценить величину разброса полученных данных как для каждого участника, так и для их усредненных результатов.

Для начала констатируем, что результаты экзит-поллов, полученные различными участниками Консорциума, во многих регионах сильно отличаются друг от друга (намного сильнее, чем усредненные данные по всей Украине). Это говорит об определенной нестабильности измерительной процедуры.

Так, для В.Януковича показатели измерения дают разброс от 29,0% («Социс») до 46,4% (КМИС) в Закарпатской области, от 20,9% (СМ) до 32,8% («Социс») в Полтавской, от 27,8% (ЦР) до 36,0% (СМ) в Херсонской, и т.д.

Аналогично рейтинги В.Ющенко дают разброс от 39,1% (ЦР) до 76,1% (КМИС) в Сумской области, от 31,9% («Социс») до 53,3% (ЦР) в Кировоградской, от 54,7% (СМ) до 73,9% («Социс») в Киевской, и т.д.

Средства математической статистики позволяют вычислить усредненные характеристики этих колебаний, в частности, вычислить величину интервалов, характеризующих фактическую погрешность измерения. Результат этих вычислений показал, что фактическая погрешность достаточно велика и намного превышает теоретическую.

Фактическая величина погрешности для каждого участника Консорциума с вероятностью 95% составляет (в процентных пунктах):

Таблица 3. Фактическая погрешность в измерениях участников украинского Консорциума при уровне значимости 95%, процентных пунктов

Напомним, что теоретическая величина погрешности для каждого кандидата и для всех участников Консорциума составляет лишь 2%. Таким образом, фактическая погрешность превышает теоретическую в 2 - 4 раза (точно так же, как и российских - см. выше).

Фактическая погрешность измерения украинского экзит-полла такова, что неслучайное отклонение рейтинга В.Януковича должно выйти за пределы диапазона от 35,3% до 44,5%, а неслучайное отклонение рейтинга В.Ющенко - за пределы диапазона от 31,5% до 46,9%.

Как мы видим, результаты рейтинговых измерений всех участников консорциума полностью укладываются в эти диапазоны, что может говорить о вполне случайном характере разброса измерений. Следовательно, нет оснований для выдвижения гипотез об ангажированности тех или иных участников Консорциума, но есть основания говорить о несовершенстве технологии опроса, характеризующейся столь высокой нестабильностью результатов.

Выводы

В целом результаты рейтинговых измерений, осуществляемых в России и в Украине, отличаются очень высокой нестабильностью. Причины этого явления не изучены. Можно предположить, что здесь играет роль нестабильность маршрутов, но возможны и иные гипотезы. Для сравнения важно было бы изучить уровень стабильности измерений ведущих социологических служб мира (Гэллапа и других). Если измерения этих фирм столь же нестабильны, можно говорить о том, что это общемировая проблема. Но если названная нестабильность свойственна только рейтингам стран СНГ, необходимо тщательно проанализировать технологию и устранить причины, порождающие высокий разброс показателей.

Приложение. Диаграммы рейтинговых измерений ВЦИОМа и ФОМа в 2003 г.

• Тонкие ломаные линии - опубликованные электоральные рейтинги.
• Толстые плавные линии - сглаженные кривые по методу экспоненциального сглаживания.

В. Путин

Г. Зюганов

"Единая Россия"

КПРФ

ЛДПР

"Яблоко"

• Методы исследований
• 2004

• Назад
• Вперёд