Аудит социологических рейтингов

Категория: Методы исследований
Опубликовано: 23.06.2016 21:03
Автор: Сергей Белановский
Просмотров: 15000

 Эта записка написана в 2003 году. Причиной для ее написния послужили необъяснимые колебания рейтингов. В частности, в ноябре 2002 г. почти вдвое возрос рейтинг СПС, в январе 2003 заметно упал рейтинг ЕР, в марте 2003 г. возрос рейтинг КПРФ. В последующие месяцы все эти рейтинги вновь возвращались в «норму», соответствующую их тренду.

В Администрации президента РФ эти колебания объяснялись «купленностью» рейтингов. В нашей записке они были объяснены методическими проблемами, которые, скорее всего, были непреднамеренными (это не означает, что они были простительными). К сожалению, эти объяснения не повлияли на позицию Администрации, которая осталась при мнении, что ВЦИОМ «торгует» рейтингами. Результатом стала знаменитая акция по смене руководства ВЦИОМа, после которой прежний коллектив основал существующий ныне Левада-центр. Гипотеза Администрации о «купленности» рейтингов, на мой взгляд,  оказалась непродуктивной в том смысле, что из нее не вытекала задача решения методических вопросов, могущих повысить точность социологических измерений и снизить их волатильность. Эти вопросы доныне так и остались нерешенными (пояснение 2008 года).

Данная записка посвящена оценке обоснованности рейтингов политиков и политических партий, публикуемых ВЦИОМом. Предметом аудита стали рейтинги, моделирующие президентские и парламентские выборы. Для проведения аудита были использованы первичные массивы данных ВЦИОМа за период с декабря 2002 по март 2003 г.

Результаты аудита состоят в том, что рейтинги, публикуемые ВЦИОМом, нельзя считать достоверными результатами исследований. Основными причинами недостоверности рейтингов являются:

· изначальное искажение результатов опросов, существенно занижающее долю сторонников КПРФ в массиве. Это искажение корректируется сотрудниками ВЦИОМа путем применения процедуры взвешивания, что придает публикуемым данным достаточно произвольный характер;

· резкие колебания публикуемых рейтингов объясняются изменениями в составе вопросов и порядке их следования друг за другом, а также использовании наводящих вопросов.

Ниже эти факторы будут рассмотрены более подробно.

 

Изначальное искажение результатов опросов

 

Анализ массивов показал, что рейтинги, публикуемые ВЦИОМом, являются не непосредственным результатом исследований, а итогом определенных математических операций с ними. Это означает, что ВЦИОМ корректирует данные собственных исследований.

Причина, по которой ВЦИОМ прибегает к корректировке результатов, состоит в том, что в первичных данных, полученных в ходе опросов, систематически занижается доля коммунистического электората. Этот эффект проявлялся на всех прошлых федеральных выборах при сопоставлении данных опросов с объективными результатами голосований.

Систематическое смещение результатов рейтинговых замеров означает, что какие-то сегменты этого электората не охватываются опросом или охватываются им не в полной мере. На языке социологов это явление называется сдвигом выборки.

Существуют две основных группы причин, по которым выборки, используемые российскими социологическими службами, подвержены серьезному систематическому сдвигу. Очевидно, обе эти причины действуют совместно.

Фактор географического смещения,обусловленный невключенностью в выборку труднодоступных территориальных зон с целью экономии затрат. Из-за этого при проведении опросов неизбежно возникает сдвиг результатов в сторону в сторону населения более урбанизированного, более образованного, более активного, более «демократического» и менее склонного голосовать за коммунистов. Предлагаемое многими социологами количественное увеличение выборки в действительности этой проблемы ее не решает. Если не будет расширен состав географических зон исследования, величина смещения результатов останется прежней.

Фактор доступности респондентов.При проведении опросов какая-то часть респондентов отказывается от сотрудничества в интервьюерами либо оказывается для них недоступной. Число отказов резко увеличивается в случае плохой организации работы интервьюеров или недофинансирования социологических сетей. По имеющимся данным (правда, нуждающимся в проверке), во ВЦИОМе доля недоступных для опроса респондентов может достигать 70% и даже более. Смещение выборки, возникающее по этой причине, не может не оказывать существенного влияния на характеристики получаемых данных. Фактически, результаты опросов ВЦИОМа представляют не все население, а лишь специфическую его часть, состоящую из людей, идущих на контакт легче других.

Для приведения результатов исследований к правдоподобному виду ВЦИОМ использует процедуру, называемую взвешиванием. Суть этой процедуры состоит в следующем. В анкету включается ретроспективный вопрос о голосовании на прошлых президентских выборах. Распределение ответов на этот вопрос кладется в основу процедуры взвешивания, которая состоит в приравнивании данных опроса к результатам голосования на президентских выборах 2000 г. согласно данным электоральной статистики.

Так, согласно данным электоральной статистики Г.Зюганов получил на президентских выборах 2000 г. 20% голосов от всех зарегистрированных избирателей. Однако, по данным опросов ВЦИОМа, доля избирателей, указавших в анкете, что они на президентских выборах в 2000 г. голосовали за Зюганова, составляет лишь около 9%.

Для приведения этих данных в соответствие с электоральной статистикой специалисты ВЦИОМа увеличивают численность этой электоральной группы, приравнивая ее к 20%. Это достигается путем присвоения соответствующим анкетам повышающего коэффициента, приблизительно равного двум.

Аналогично доля ретроспективных сторонников В.Путина, согласно результатам опроса, составляет около 60% вместо фактических 36%. Для корректировки этих данных соответствующим анкетам присваивается понижающий коэффициент, приблизительно равный 0,6.

Использование процедуры взвешивания существенно меняет соотношение численности электоральных групп, применительно к которым осуществлена эта процедура - повышается доля сторонников коммунистов и занижается число «лоялистов», т.е. сторонников В.Путина и «Единой России».

Процедура корректировки массивов путем взвешивания при определенных условиях правомерна, но она может считаться корректной только при соблюдении необходимых правил. Главное правило состоит в том, что такая корректировка может осуществляться только по не зависящим друг от друга переменным. К примеру, корректной может считаться процедура взвешивания по демографическим или географическим факторам. Однако взвешивание прогнозируемых результатов выборов по результатам предшествующих выборов является явно некорректной процедурой.

 

Привнесение в результаты социологического исследования данных электоральной статистики приводит к тому, что публикуемые ВЦИОМом рейтинги представляют собой сплав результатов опросов с показателями электоральной статистики 2000 г. Обе части этого «сплава» распределяются по массиву в трудно предсказуемых пропорциях.

Это оказывает самое непосредственное влияние на подсчет текущих партийных рейтингов. Например, в результате взвешивания рейтинг сторонников КПРФ за период с декабря 2002 года по март 2003 увеличился на 4%, а рейтинг «Единой России» уменьшился на ту же величину. В результате электоральная ситуация поменялась на прямо противоположную (см. Таблицу 1).

Таблица 1. Рейтинги «Единой России» и КПРФ по данным ВЦИОМа до и после взвешивания (% к числу ВСЕХ опрошенных)

 

Декабрь2002

Январь2003

Февраль2003

Март2003

В   среднем    за период

До взвешивания

«Единая Россия»

19,1

15,3

21,2

19,5

18,8

КПРФ

12,6

13,3

15,3

18,7

15,0

Послевзвешивания

«Единая Россия»

16,7

11,0

17,4

15,3

15,1

КПРФ

16,6

17,2

17,9

21,9

18,4

Процедура взвешивания практически не затрагивает величину рейтингов ЛДПР, СПС и "Яблока". Это не означает, что данные рейтинги измерены правильно. Напротив, это может означать, что изначальное искажение рейтингов этих партий сохраняется. Учитывая, что в выборке ВЦИОМа завышена доля «демократического» электората, можно предположить, что по итогам голосования ЛДПР получит больше, чем предсказывают рейтинги, а СПС и "Яблоко", соответственно, меньше. Это означает, что СПС и "Яблоко" могут на предстоящих выборах не попасть в Государственную Думу.

 

Структура анкеты и ее влияние на результаты рейтинговых измерений

 

Наряду с искажением соотношения рейтингов, значимая причина недоверия к результатам исследований ВЦИОМа состоит в резких колебаниях рейтинговых показателей, которые трудно объяснить с точки зрения текущих политических процессов. Использование процедуры взвешивания не является единственным фактором, влияющим на появление столь резких скачков показателей электоральных симпатий россиян.

Причину возникновения этих колебаний следует искать в структуре анкеты. Известно, что характер ответов на вопросы исследования зависит от их месторасположения в анкете. При этом ключевое значение имеют так называемые «разогревающие» вопросы, расположенные в анкете до вопросов о голосовании за партии.

Для того, чтобы рейтинговые измерения были достоверны, необходимо, чтобы «разогревающие» вопросы не настраивали респондентов «за» или «против» какой-либо политической партии, не формировали определенное отношение к ценностям или институтам, ассоциирующимся с той или иной партией.

 

Анализ исследовательской практики ВЦИОМ показывает, что данная социологическая служба недостаточно корректно использует «разогревающие» вопросы. Есть основания считать, что этот аспект оказывает самое непосредственное влияние на результаты проводимых этой службой рейтинговых измерений. Анализ анкет, использовавшихся ВЦИОМом за период с декабря 2002 по март 2003 г. выявил два основных фактора, делающих результаты опросов недостоверными или несопоставимыми.

Местоположение вопроса в анкете.Анализ показал, что вопросы о политических рейтингах располагаются в разных местах анкеты, т.е. их местоположение меняется от одного опроса к другому. Как можно понять, это связано с коммерческим характером проводимых опросов. Экспресс-опрос ВЦИОМ состоит из вопросов и блоков, заказанных различными клиентами. При этом стоимость включения вопроса в анкету зависит от места его расположения. Самые дорогие вопросы - в первой десятке, несколько дешевле - с 10 по 30, а ближе к концу анкеты - самые дешевые. По-видимому, анкета экспресс-опроса строится исходя из оплаченных предпочтений клиентов, а вопросы о партиях размещаются на «свободных местах».

Состав «разогревающих» вопросовПринцип постоянства «разогревающих» вопросов в анкетах ВЦИОМа не соблюдается. Вопросы, стоящие перед замером рейтингов партий, варьируются из опроса в опрос. Еще более важно, что вопросы, используемые ВЦИОМом в качестве «разогревающих», не носят нейтрального характера. Они активно влияют на высказываемые респондентами политические установки, что и становится основным фактором искажения результатов.

Рассмотрим влияние этих факторов на конкретных примерах. Согласно данным ВЦИОМа, в январе необъяснимо упал рейтинг «Единой России», а в марте столь же необъяснимо возрос рейтинг КПРФ. Причины этих колебаний становятся ясны, если проанализировать структуру анкет за соответствующие месяцы.

В январском опросе 2003 г. перед исследованием электоральных предпочтений респондентам задавался целый блок вопросов от ответственности власти за «критическое положение» в сфере ЖКХ и образования, а также предлагалось одобрить либо не одобрить деятельность практически всех институтов государственной власти и членов правительства, в том числе, деятельность лидера «Единой России» Б.Грызлова, персональный рейтинг которого ниже, чем рейтинг партии. «Настройка» опрашиваемых на соответствующее отношение к деятельности власти и ее представителей оказала самое непосредственное влияние на величину рейтинга «Единой России».

В мартовском опросе2003 г. наблюдалась сходная, хотя и несколько отличная ситуация. В анкете содержался целый блок «разогревающих» вопросов, стимулирующий рост ностальгии в отношении советской системы. При этом «ностальгический» блок соседствует с откровенно «протестными» вопросами - о причинах «отсутствия серьезного экономического роста», об отношении к отставке экономического блока правительства. Все эти вопросы предшествуют теме электоральных предпочтений. Фактически, подобный «разогрев» активизирует протестные настроения среди респондентов и провоцирует их сделать соответствующий политический выбор. В результате не удив'ителен существенный рост рейтинга КПРФ, зафиксированный мартовским исследованием (в апреле и мае, по опубликованным данным, он снова упал).

Для исключения подобных искажений ВЦИОМу необходимо размещать вопросы о политических предпочтениях респондентов на одних и тех же местах анкеты и предварять их одними и теми же нейтральными «разогревающими» вопросами.

Сравнение данных ВЦИОМа и ФОМа

ФОМ использует методику взвешивания, практически совпадающую с методикой ВЦИОМа. Ниже приведены данные по обеим фирмам до и после взвешивания.

Таблица   2.   Рейтинги   «Единой   России»   до   и   после   взвешивания   (%   от   всех респондентов)


 

Декабрь2002

Январь2003

Февраль2003

Март2003

ВЦИОМ - до взвешивания

19

15

21

20

ВЦИОМ - после взвешивания

17

11

17

15

ФОМ - до взвешивания

32

31

27

28

ФОМ - после взвешивания

24

25

20

20

Таблица 3. Рейтинги КПРФ до и после взвешивания (% от всех респондентов)

 

 

Декабрь2002

Январь2003

Февраль2003

Март2003

ВЦИОМ - до взвешивания

13

13

15

19

ВЦИОМ - после взвешивания

17

17

18

22

ФОМ - до взвешивания

14

15

14

15

ФОМ - после взвешивания

22

23

21

23

Различия в рейтингах ФОМа и ВЦИОМа отчасти вызваны различиями в списках партий, заложенных в вопросы. Руководитель ФОМа А.Ослон неоднократно отмечал в своих выступлениях, что ВЦИОМ некорректно составляет список партий, включая в него «Женщин России» и другие несуществующие партии, которая «отбирают» голоса у ЕР. Однако при этом А.Ослон не упомянул, что в список ФОМа включена Аграрная партия, которая «отбирает» голоса у КПРФ. По данным ФОМа Аграрная партия на момент опроса имела рейтинг 4%. Это прямой вычет из электората КПРФ, рейтинг который, таким образом, оказался занижен, в результате чего электоральный показатель ЕР сделался более благоприятным.

Этот методический спор представляется бесплодным. Для получения валидных данных в анкету нужно включать все партии, которые предположительно войдут в бюллетень для голосования.