Личный сайт Сергея Белановского

МЕТОДИЧЕСКИЕ ПРОБЛЕМЫ, МЕТОДОЛОГИЯ И ТЕОРИЯ СОЦИОЛОГИЧЕСКИХ ОПРОСОВ
Москва 2019 г.

ОГЛАВЛЕНИЕ

Глава 1. Методические проблемы опросов
1. Социологи на панелях
2. О скрытых искажениях в социологических опросах
3. Аудит социологических рейтингов
4. Проблема повышения точности социологических измерений
5. О достижимости респондентов
6. Социология и астрофизика
7. Опыт контрольного исследования при проведении количественного опроса в 2004 г.
8. Анализ географической структуры региональных выборок
9. Проблема нестабильности рейтинговых измерений

Глава 2. Методология и теория
1. Сравнение результатов обследования количественным и качественным методом
2. Латентные механизмы управления экономикой
3. Критические рецензии
4. Критика позитивистской методологии В. А. Ядова
5. О социологии Парсонса
6. Классическая психиатрия и проблема рациональности

Белановский С.А.

Методические проблемы, методология и теория социологических опросов

Данная книга посвящена не описанию конкретных результатов социологических опросов, а методическим и методологическим проблемам, которые возникают при их проведении. Книга состоит из двух глав. Первая посвящена периоду становления массовых социологических опросов в России в 90-х и «нулевых» годах. За это время была проделана большая работа, однако совершались и серьезные методические ошибки, которые к настоящему времени частично исправлены, но частично из причины остались не выявленными. Методологические вопросы, связанные с этими ошибками, к сожалению, практически не обсуждаются на научных семинарах. Главная проблема, оставшаяся невыясненной – это причина систематического искажения результатов опросов по сравнению с результатами голосований в те времена, когда последние можно было считать относительно достоверными. Скорректировать результаты этого искажения пытались с помощью процедуры перевзвешивания – к сожалению, совершенно некорректной. Насколько известно, сегодня эта процедура уже никем не используется. Вероятнее всего, она была заменена административной коррекцией результатов опросов под заранее заданные контрольные цифры.

Вторая глава более эклектична по своему содержанию. В ней описываются плохо отрефлексированные, но в то же время фундаментальные ошибки, которые могут происходить при количественных опросах, которые не были от пилотированы с помощь качественных. Далее, рассматриваются ошибки в методологии известного учебника В.А.Ядова. Причины эих ошибок состоят в том, что со времени издания этого учебника в России прошло более 60 лет, а со времени издания зарубежных аналогов – 70 или даже 80. В те годы взгляды, изложенные Ядовым, были широко распространены, однако с тех пор методологические воззрения кардинально изменились, что признавал и сам Ядов. Наконец, в сборник включен фрагмент дискуссии о социологии Т.Парсонса, написанный автором данной книги. В дискуссии участвовали и другие социологи, однако общий ее объем получился таков, что не смог бы вместиться в формат данной книги. Желающие ознакомиться с дискуссией целиком, а также с работами самого Парсонса, могут сделать это в книге «О структуре социального действия», изданной в Москве в 2000 г.

Книга предназначена в первую очередь для социологов-теоретиков, экономистов, историков социологии, а также философов-методологов (здесь мы обращаем внимание на поразительное сходство методологических взглядов Т.Парсонса и К.Поппера, до сих пор оставшееся практически незамеченным).

Ключевые слова: методические ошибки, искажения результатов опросов, измерений рейтингов, социологическая теория, методология науки.

Глава 1. Методические проблемы опросов

1. СОЦИОЛОГИ НА ПАНЕЛЯХ

В социологических опросах существует мошенническая практика с использованием так называемых профессиональных респондентов. Профессиональные респонденты – это люди, «работающие» респондентами и получающие за эту работу некоторый (небольшой) доход. Как правило, они не имеют никакого отношения к тем целевым группам, которые должны быть опрошены. Работодатели таких респондентов (рекрутеры) формируют свои небольшие базы данных и регулярно звонят с предложениями типа: сегодня ты пользователь определенного вида шампуня, завтра ты выпускник такого-то учебного заведения, послезавтра сторонник такой-то политической партии и т.д.

Про широкое распространение практики использования профессиональных респондентов при рекрутировании фокус-групп писали неоднократно. Может быть, следует написать еще раз, но как-нибудь потом. Скажу только, что сейчас есть признаки того, что эта практика начинает себя изживать, т.е. заказать качественную фокус-группу вполне возможно. Но до сих пор мало кто писал об использовании профессиональных респондентов в количественных исследованиях.

Мошеннические предложения, как правило, предполагают некоторое риторическое вступление. В нашем случае оно звучит примерно так: технологии социологических (поквартирных) опросов созданы в 30 – 40 годы прошлого века и с тех пор устарели. Сегодня мы живем в мире компьютеров и телекоммуникаций, которые гораздо более эффективны. Отчасти это правда, но об этом тоже должен быть отдельный рассказ.

Здесь же я хочу рассказать конкретно, в чем же порой заключаются «инновационные» технологии социологических опросов. Начнем с того, что с помощью компьютерных и телекоммуникационных технология можно проводить три вида опросов.

1. Телефонные опросы. В странах запада репрезентативые телефонные опросы начали применяться примерно с 60-х годов. Этот метод стал конкурировать с поквартирным обходом, аргументы «за» и «против» оставляем за рамками этой статьи. В СССР до самого конца его существования телефонные опросы применялись редко из-за слабо развитой телефонизации в стране. В учебниках 70 – 80 годов писали, что необходимому уровню телефонизации соответствуют только Москва и Ленинград. Сейчас ситуация изменилась, и массовые телефонные опросы стали реально возможными по всей территории страны. Преимуществом телефонных опросов, если они проведены колл-центром, оснащенным современным оборудованием, является сплошная запись всех интервью, по которой заказчик имеет гарантированную возможность проконтролировать качество опроса.
2. Интернет-опросы. Все знают о технической возможности разместить в интернете вопрос или небольшую анкету и получить таким способом довольно большое количество ответов. Недостаток этого метода состоит в заметном смещении результатов по сравнению с репрезентативными опросами, поскольку аудитория интернета представляет собой особый сегмент, отличающийся по своим характеристикам от генеральной совокупности. Отчасти (но только отчасти!) эти отличия можно устранить с помощью приведения демографической структуры получившегося массива к структуре последней переписи или текущей статистики. Тем не менее, разница остается. Особенно велика она при проведении опросов на политические темы. Проблема еще состоит в том, что величина этой разницы заранее неизвестна, и для ее определения необходимо продублировать интернет-опрос обычным репрезентативным опросом. Тем не менее, если исследователь указал в отчете, что результаты получены методом интернет-опроса, то никаких претензий к нему нет (хуже, если этот момент в отчете не отмечен).
3. Опросы с помощью электронной почты. Ради них и написана эта статья. В принципе, почтовые опросы использовались в СССР с 60-х годов, а в странах Запада, возможно, даже с 20-х. Письма печатались на бумаге, заклеивались в конверт и отправлялись обыкновенной почтой. Возврат составлял около 20%, что по сегодняшним меркам следует считать очень большим показателем.

Сегодня бумажной почтовой рассылкой уже никто не пользуется, но есть возможность сделать рассылку по электронной почте. В некоторых случаях это правомерно. К примеру, возьмем некую организацию, имеющую филиалы во всех регионах страны (крупный банк или федеральная государственная структура). Допустим, головной офис этой организации хочет опросить с помощью анкеты руководителей некой службы (условно – начальников отделов кадров). Административный ресурс, которым располагает головной офис, позволяет ему получить практически 100% возврат заполненных анкет. Этот метод вполне правомерен и порой используется крупными корпоративными структурами.

Но если такой административной поддержки нет, ситуация резко осложняется. Возврат заполненных анкет при использовании почтовой рассылки сегодня оставляет не более 1%, обычно меньше. Это касается как физических, так и юридических лиц. Увеличить возврат можно дополнительными просьбами по телефону (но тогда проще просто провести телефонный опрос), введением оплаты за заполненную анкету (но тогда исчезает главное преимущество метода –дешевизна), просьбой от известного и авторитетного лица (но этому методу люди верят меньше всего, и возврат повышается незначительно).

Теперь представим себе «социолога», который хочет заработать побольше денег и ограничен лишь желанием не попасться на жульничестве. Перед таким «социологом» метод почтовой рассылки открывает большие возможности. Нужно лишь через социальные сети найти около 1500 людей, которые хотят немного заработать, и установить с ними связь по электронной почте. Типичный договор с такими респондентами примерно таков. Заказчик высылает по электронной почте анкеты, респондент заполняет их и возвращает заказчику, получая за это, скажем, 30 рублей. Конечно, это очень мало, но заполнение 10 анкет это уже 300 рублей. При этом для повышения надежности работы панели заказчики используют методы сетевого маркетинга: если заполнишь менее 10 анкет – ничего не получишь. (Пояснение: в социологии «панелью» называется опрос одних и тех же людей спустя какие-то промежутки времени. В научных целях такие опросы бывают полезны. Но, к сожалению, именно метод панельных опросов оказался очень удобен для жуликов).

Кто соглашается на такие условия? Обычно – студенты. Но при заполнении анкеты они проставляют произвольный возраст и профессию (либо заказчик сообщает им эти данные). На содержательные вопросы отвечают в меру своего разумения и фантазии (точно так же, как и профессиональный респондент в фокус-группах). Массив получается очень странный, но внешне подкопаться трудно. Когда он сводится в таблицы, то вроде бы получается и неплохо. Задним числом многое можно объяснить.

Какой смысл во всей этой процедуре? Очень простой – деньги. Предположим, что организатор панели получил от своего заказчика 1000 рублей за одну анкету. Себестоимость опроса никак не может превысить 100 рублей, скорее всего, она еще меньше. 900 рублей – чистая прибыль. Если заказчик «умный», он знает величину маржи и требует хороший откат. Если «глупый», вся сверхприбыль достается мошеннику.

В интернете можно найти очень много предложений о проведении социологических опросов на очень выгодных условиях – вот это оно и есть.

Существует еще один способ обмана заказчиков, строго говоря, не связанный именно с панельными исследованиями, но почему-то используемый именно в связи с ними. Предположим, заказчик и исследователь договариваются о проведении опроса 1500 человек, относящихся к определенной целевой группе. Если исследователь использует метод поквартирного или телефонного опроса, то на выходе заказчик получит массив, состоящий ровно из 1500 целевых респондентов. При этом, чтобы получить данный результат, исследователю пришлось обойти или обзвонить, к примеру, 4500 потенциальных респондентов (коэффициент фильтрации 3). В правильно составленном договоре никогда не указывается общее число посещений или звонков, а только величина массива, состоящего из целевых респондентов.

Но панелисты сумели завести иную моду, и странно, что до сих пор их никто не одернул. К примеру, панелист договаривается с заказчиком о тех же самых 1500 целевых респондентах. Далее он рассылает 1500 анкет, а на выходе получает, к примеру, 900 (но деньги берет, как за 1500!). И докладывает заказчику: мы разослали 1500 анкет, получили обратно 900, договор выполнен. Неправда. Никогда договоры на исследования так не составляются. Если исследователь пообещал опросить 1500 респондентов, то он обязан предоставить массив, состоящий именно из этого количества заполненных анкет.

Что можно посоветовать потенциальному заказчику? Во-первых, не пользоваться услугами панелистов (за исключением оговоренных выше особых случаев). Помните, что честно проведенная рассылка анкет по электронной почте дает возврат менее 1%. Если возврат в разы или десятки раз больше – это мошенническая панель. Во-вторых, требуйте и проверяйте исходные массивы, в том числе звуковые. При телефонном опросе такие массивы делаются автоматически. При поквартирном сейчас все серьезные фирмы переходят на использование планшетов, что тоже позволяет создать консолидированный звуковой файл. Отсутствие звукового файла говорит о том, что результаты опроса требуют проверки.

Один из маркетинговых приемов, часто используемых для продвижения продукта на рынок, состоит в том, чтобы общеизвестному продукту присвоить загадочно звучащее название или аббревиатуру, желательно на иностранном языке. Применительно к описанным выше видам опроса в последнее время появились такие аббревиатуры. Разъясним их значение, чтобы устранить всякую загадочность.

CAPI – Computer Assisted Personal Interviewing. Это обычный поквартирный или уличный опрос, в ходе которого интервьюер лично задает вопросы респонденту и полученные ответы фиксирует не на бумаге, а в планшете или смартфоне. Результаты опроса передаются в базу данных в реальном времени. Очень полезное нововведение, но никакой загадочности. В настоящее время все крупные организации, занимающиеся количественными опросами, перешли на этот метод сбора информации.

CATI – Computer Assisted Telephone Interviewing. Обычный телефонный опрос, результаты которого фиксируются в компьютере минуя бумажную версию. Все остальное так же, как и в CAPI.

CAWI – Computer Assisted Web Interviewing. Это компьютерная программа для обработки данных опросов по электронной почте. По сути – для обработки данных панельных опросов. Как и в предыдущих случаях – никакой загадочности. Сама программа ни в чем не виновата, но панели часто бывают жульнические. Если вам предлагают проведение опроса по технологии CAWI, целесообразно задать следующие вопросы.

1. Каков возврат анкет?
2. Предусмотрена ли плата респондентам, если да, то какая.
3. Есть ли возможность убедиться, что респондент действительно соответствует параметрам квоты, а не какой-нибудь студент, который врет, что ему 40 лет и что он сторонник определенной политической партии.

2. О СКРЫТЫХ ИСКАЖЕНИЯХ В СОЦИОЛОГИЧЕСКИХ ОПРОСАХ (2003 г.)

За прошедшие годы в адрес социологов неоднократно звучали обвинения в ангажированности и подтасовке публикуемых ими данных. В ходе региональных выборных кампаний публикация подтасованных социологических данных – действительно не редкость. Однако в отношении наиболее известных организаций федерального уровня – ВЦИОМа и ФОМа – подобные обвинения всегда были бездоказательными и, важно подчеркнуть, непрофессионально сформулированными. Возьмем на себя ответственность утверждать, что подтасовкой данных в угоду интересам заказчиков эти фирмы никогда не занимались. Но это не означает, что рейтинговые измерения точны и что в них нет нерешенных методических проблем, искажающих результаты. Провалы прогнозов результатов выборов на базе опросов были частыми с 1993 года, и у таких ошибок есть определенная причина или, точнее, комплекс причин.

За прошедшие годы в адрес социологов неоднократно звучали обвинения в ангажированности и подтасовке публикуемых ими данных. В ходе региональных выборных кампаний публикация подтасованных социологических данных – действительно не редкость. Однако в отношении наиболее известных организаций федерального уровня – ВЦИОМа и ФОМа – подобные обвинения всегда были бездоказательными и, важно подчеркнуть, непрофессионально сформулированными. Возьмем на себя ответственность утверждать, что подтасовкой данных в угоду интересам заказчиков эти фирмы никогда не занимались. Но это не означает, что рейтинговые измерения точны и что в них нет нерешенных методических проблем, искажающих результаты. Провалы прогнозов результатов выборов на базе опросов были частыми с 1993 года, и у таких ошибок есть определенная причина или, точнее, комплекс причин.

Географический сдвиг выборки

Из всех возможных причин несовпадения результатов опросов с результатами голосований рассмотрим одну, которая до последнего времени не становилась предметом публичного обсуждения. Гипотеза о воздействии этой причины на результаты рейтинговых измерений была выдвинута географом Владимиром Каганским (см. материал, опубликованный в “Газете.Ru”) и автором этой статьи. Речь идет о географическом смещении выборки.

Суть проблемы состоит в том, что географические территории (регионы, субрегиональные территории и населенные пункты), в которых проводятся выборочные опросы, обладают различной степенью транспортной и инфраструктурной доступности. Труднодоступные населенные пункты обычно не включаются в выборку с целью экономии затрат. Из-за этого при проведении опросов неизбежно возникает сдвиг результатов в сторону более доступных географических зон расселения и, как следствие, сдвиг выборки в сторону населения более урбанизированного, более образованного, более активного.

К сожалению, сведения о выборке, публикуемые социологическими организациями, не позволяют подробно проанализировать характер этого сдвига. На сайтах ВЦИОМа и ФОМа указано лишь, что опросы проводятся в 100 населенных пунктах, расположенных в 40 регионах России. Списки регионов и населенных пунктов не приводятся. Это делает невозможным проведение политико-географической экспертизы выборки. Тем не менее из этих данных становится ясно, что в 49 российских регионах социологические опросы вообще не проводятся. При этом есть основания предполагать, что эти 49 регионов представлены в основном периферийными субъектами РФ с малой численностью населения и слабо развитой инфраструктурой (примером такого региона является Камчатка).

Сходные проблемы возникают и внутри российских регионов, в которых плотность населения и обеспеченность инфраструктурой резко падают от центра к периферии. Недостаточный учет этого обстоятельства при построении выборки может очень существенно исказить результаты опросов. В частности, внутри каждого региона существует свой “красный пояс”, однако это явление в рамках федеральной социологии так и осталось неидентифицированным.

В целом, по оценке Владимира Каганского, системой выборочных опросов не охвачено около трети населения страны, представляющей ее межрегиональную и внутрирегиональную периферию.

Сдвиг выборки в сторону более урбанизованного населения неизбежно должен сказаться на соотношении рейтингов политических партий, поскольку политические установки населения коррелируют с уровнем его образования и степенью причастности к городскому образу жизни.

Многочисленные наблюдения за результатами опросов, в том числе региональных, и сопоставления их с итогами голосований позволяют сделать вывод о том, что в существующих выборках завышена доля “демократического” и занижена доля левого, протестного и пассивного электората. Чем хуже сформирована выборка, тем явственнее проявляется этот эффект.

Применительно к федеральным выборам можно ожидать, что в географически искаженной выборке будет занижена доля сторонников КПРФ и ЛДПР, но завышена доля “городских” партий, таких, как “Яблоко”, СПС и большинство малых партийных образований.

Коррекция рейтингов путем взвешивания

Высказанная выше гипотеза подтверждается самой практикой работы ВЦИОМа и ФОМа. Результаты первых опросов, проводившиеся в начале 90-х годов, показали, что рейтинги КПРФ в них существенно занижаются, а рейтинги “городских” партий, наоборот, завышаются.

Для приведения результатов исследований к правдоподобному виду ВЦИОМ, а вслед за ним и ФОМ используют процедуру, называемую взвешиванием.

Суть этой процедуры заключается в следующем. В анкету включается ретроспективный вопрос о голосовании на прошлых президентских выборах (в данный момент речь идет о выборах 2000 года). Распределение ответов на этот вопрос кладется в основу процедуры взвешивания, которая состоит в приравнивании данных опроса к результатам голосования на президентских согласно данным Центризбиркома.

Так, согласно официальным данным Центризбиркома, Г. Зюганов получил на президентских выборах 2000 году 20% голосов всех зарегистрированных избирателей. Однако, по данным августовского опроса ВЦИОМа, доля избирателей, указавших в анкете, что они на президентских выборах голосовали за Зюганова, в августе 2003 года составила лишь около 7%. Это означает, что искажение выборки привело к почти трехкратному занижению данного электорального показателя.

Для приведения данных опроса в соответствие с электоральной статистикой специалисты ВЦИОМа увеличивают численность электоральной группы сторонников Г. Зюганова, приравнивая ее к 20%. Это достигается путем присвоения соответствующим анкетам повышающего коэффициента, близкого к трем.

Аналогично доля ретроспективных сторонников В. Путина, согласно результатам опроса, составила около 50% вместо фактических 36%. Для корректировки этих данных соответствующим анкетам присваивается понижающий коэффициент, приблизительно равный 0,7.

Подобную процедуру коррекции осуществляет и ФОМ. В недавнем интервью руководитель ФОМа А.Ослон впервые публично признал, что его организация публикует не непосредственные результаты опросов, а так называемые “взвешенные” рейтинги, алгоритм вычисления которых соответствует описанному выше. Правда, точные коэффициенты А.Ослон назвать отказался, сославшись на профессиональную тайну (“Новые Известия”, 10.10.03). Однако сходство алгоритмов расчетов дает основания считать, что поправочные коэффициенты, используемые обеими организациями, близки друг к другу.

Результаты взвешивания

Целью взвешивания и его результатом является повышение в результатах опроса доли сторонников КПРФ и снижение доли сторонников В. Путина и “Единой России”.

В результате взвешивания рейтингов ВЦИОМа за август 2003 года число сторонников КПРФ увеличилось на 32%, то есть почти на треть, а число сторонников “Единой России” уменьшилось примерно на 17%. Точные данные по коэффициентам ФОМа отсутствуют, но очевидно, что они близки. Это позволяет приблизительно оценить эффект взвешивания и для этой организации.

В результате мы получаем следующую картину. Согласно данным ВЦИОМа, в августе 2003 года доля сторонников КПРФ до взвешивания составила 15% общего числа опрошенных, а после взвешивания – 20%. По данным ФОМа, рейтинг КПРФ в результате взвешивания возрос ориентировочно с 14% до опубликованных 19% (по состоянию на 21.08.03).

Рейтинг “Единой России” в результате взвешивания, по данным ВЦИОМа, наоборот, понизился с 21 до 17%. По данным ФОМа, он также снизился с ориентировочно с 26% до опубликованных 22%.

Таким образом, в результате взвешивания соотношение между рейтингами существенно изменилось: по данным ВЦИОМа, они поменялись местами, по данным ФОМа, сократили разрыв с 12 до 3 процентных пунктов.

Процедура взвешивания, используемая ВЦИОМом и ФОМом, практически не влияет на рейтинги других партий, включая ЛДПР, “Яблоко” и СПС. Это не означает, что данные рейтинги измерены правильно. Напротив, это может означать, что изначальное искажение рейтингов этих партий сохраняется.

Является ли взвешивание рейтингов корректной процедурой?

Правомерно ли компенсировать искажение выборки увеличением доли сторонников Г. Зюганова и уменьшением доли сторонников В. Путина, приравнивая их долю к результатам президентских выборов 2000 года? Насколько точными могут считаться полученные таким образом результаты?

Процедура взвешивания является счетной операцией, хорошо известной специалистам по прикладной математике, работающим в самых разных областях гуманитарных и технических дисциплин. Существуют и общеизвестные правила применения процедуры взвешивания. Основное правило гласит, что использование взвешивания может осуществляться только на основе не зависящих друг от друга характеристик. К примеру, при соблюдении определенных условий корректной может считаться процедура взвешивания рейтингов по демографическим или географическим квотам.

Однако взвешивание ожидаемых результатов выборов по результатам предшествующих выборов вряд ли может быть сочтено корректной процедурой, поскольку целью опросов как раз и является определение динамики электоральных установок.

Согласно данным ВЦИОМа, число людей, заявлявших в ходе опроса о том, что в 2000 году они голосовали за Зюганова, не является постоянным. За прошедшие три с половиной года оно колебалось в довольно широких пределах. Максимум наблюдался в октябре 2000 года, когда число таких ретроспективных сторонников составило 11%. Минимум в 5-7% наблюдается сейчас. Аналогичная картина наблюдается и у ФОМа.

Согласно процедуре взвешивания, этим ретроспективным рейтингам присваивается коэффициент, увеличивающий их долю до 20%. Последняя цифра превращается, таким образом, в своеобразную социологическую константу. Это противоречит самой идее динамических измерений.

Привнесение в результаты социологического исследования цифр официальной статистики Центризбиркома приводит к тому, что публикуемые рейтинги представляют собой сплав результатов опросов с результатами выборов 2000 года. Обе части этого “сплава” распределяются по массиву в трудно предсказуемых пропорциях, затрудняя адекватную трактовку полученной информации.

Существует и другая важная причина, по которой процедура взвешивания не может быть признана корректной. Эта причина лежит уже не в плоскости правил осуществления математических операций с массивами. Известно, и это подтверждено многочисленными экспериментами, что ретроспективные утверждения респондентов об их голосовании на предшествующих выборах часто не соответствуют действительности. Причина таких искажений связана не только с ограничениями памяти респондентов, но и с изменениями их политических установок. К примеру, какая-то часть респондентов, голосовавших в 2000 году за Зюганова, могла разочароваться в нем как в политическом лидере (судя по фокус-группам, эта гипотеза имеет право на существование) и пожелать скрыть факт голосования за него от интервьюера. По этой причине ретроспективные рейтинги политиков нельзя отождествлять с подлинной электоральной статистикой. В действительности они представляют собой один из видов политических установок, динамика которых могла бы представлять самостоятельный аналитический интерес.

Процедура взвешивания, используемая ВЦИОМом, исключает эту возможность, механически приравнивая численность утверждающих о своем голосовании за определенную кандидатуру с численностью проголосовавших за нее на последних выборах.

Результаты опроса, скорректированные взвешиванием, могут существенно искажаться за счет того, что сторонники Г. Зюганова и В. Путина, живущие на урбанизированных территориях, отличаются по своим установкам от их электоральных аналогов, проживающих на периферии. В частности, известно, что протестные настроения сторонников Г. Зюганова на урбанизированных территориях отличаются большей рациональностью и более выраженной ориентацией на выдвижение социальных требований. Периферия характеризуется традиционалистским способом голосования. По этой причине электоральная динамика в урбанизированных и неурбанизированных территориях может существенно различаться.

Наконец, и это, возможно, самое главное, корректировка выборки осуществляется только по сторонникам лидера КПРФ и по сторонникам власти, представленным сторонниками В. Путина. Но никто не сказал, что изначальное искажение выборки ограничивается только этими параметрами. Подлинные характеристики искажения остаются неизвестными, и это также может стать источником политических сюрпризов.

Вполне очевидно, что описанная выше процедура взвешивания не может использоваться вечно. Рано или поздно от нее придется отказаться. Г. Зюганов как политик не вечен, поэтому превращать ретроспективный рейтинг его персоны в константу социологических измерений по меньшей мере неразумно. Не вечна и сама КПРФ, по крайней мере в нынешней ее форме. К примеру, ожидаемое многими аналитиками превращение КПРФ в городскую партию социального протеста обессмыслит существующую процедуру взвешивания, поскольку результаты, полученные на ее основе, резко разойдутся с действительностью. Придется искать новые алгоритмы, которые все более будут напоминать откровенную подгонку результатов опросов под предполагаемый ответ.

Что надо делать?

Исправление сложившейся ситуации лежит, конечно, не в плоскости создания новых алгоритмов взвешивания или иных способов манипулирования исходными данными. Потенциально источников искажения результатов может быть несколько, но гипотеза о географическом сдвиге выборки должна быть проверена в первую очередь, поскольку она является наиболее обоснованной и проверяемой.

Сегодня вопрос о выборках является внутренним делом организаций, проводящих репрезентативные опросы. Ни одна из этих организаций не публикует полноценного их описания. Те описания, которые даются на их сайтах, делаются скорее в презентационной форме, исключающей возможность их анализа. Заказчики, по сути, должны поверить, что выборки, по которым проводился опрос, сделаны “высокопрофессионально”. Дискуссия о структуре и качестве выборок в публичном поле отсутствует. Отсутствие гласности в вопросе формирования выборок привело к принятию некорректных методических решений, которые воспроизводятся уже целое десятилетие.

Особо следует указать, что количественное увеличение объема выборок само по себе не устраняет географического сдвига. Если состав населенных пунктов или принципы их отбора в увеличенной выборке останутся неизменными, произойдет увеличение формальной математической, но не фактической точности исследования. Подлинным решением проблемы является увеличение глубины проникновения выборки в географическую систему расселения, которое теоретически может осуществляться и без увеличения числа опрашиваемых респондентов. Первым шагом в этом направлении должно стать проведение географического аудита существующих социологических сетей.

Каковы политические прогнозы?

Если гипотеза о географическом смещении выборок верна, она означает, что около трети населения страны, проживающей на ее географической периферии, не охвачена системой репрезентативных опросов. Эта треть страны в буквальном смысле представляет собой “страну неизвестную”. Протекающие в этой “стране” политические процессы, несомненно, повлияют на результаты предстоящих выборов. Поэтому они должны учитываться в политических прогнозах.

Как проголосует “неизвестная страна”? Возможно, тщательный анализ электоральной статистики в сопоставлении с данными опросов может дать результат, выражаемый в цифрах. Здесь же мы попытаемся подойти к проблеме сугубо аналитически, исходя из общих представлений о различиях характеристик “известной” и “неизвестной” страны.

В электорате “неизвестной” страны практически отсутствуют так называемые “городские” партии, наиболее крупными из которых являются “Яблоко” и СПС. При грубом подсчете это может означать, что их реальные рейтинги на одну треть меньше тех, которые получаются в результате опросов. Учитывая, что, согласно текущим измерениям, эти партии находятся на грани прохождения 5% барьера, их реальные шансы на прохождение в Государственную думу становятся призрачными, если только дефицит голосов не будет восполнен либо очень убедительной агитацией, либо стихийным притоком голосов городского протестного электората. Но таких тенденций пока не видно.

Многие аналитики прогнозируют, что результаты голосования для ЛДПР могут оказаться более благоприятными, чем это следует из сегодняшних рейтингов. Объяснения такому прогнозу даются в основном психологические, связанные с ростом протестной активности населения. Не отрицая возможной правильности этой гипотезы, отметим, что в эту же сторону может сработать и структурный фактор, связанный с географическим смещением выборки. В частности, следует обратить внимание на то, что в существующих выборках плохо представлена дальневосточная периферия страны, где позиции ЛДПР традиционно сильны.

Основная интрига предстоящих выборов связана с тем, как в “неизвестной стране” распределятся голоса между двумя основными партиями: КПРФ и “Единой Россией”. Предвыборная агитация слабо проникает в “неизвестную страну” и практически не воздействует на ее избирателей. Но в этой “стране” медленно протекают спонтанные имиджевые процессы, которые могут серьезно повлиять на результаты голосований.

Периферии, как уже говорилось, свойственен традиционалистский механизм голосования, ориентированный прежде всего на власть. Постсоветская эпоха привела к раздвоенности: часть электората ориентируется на прежнюю советскую, а часть – на новую российскую властные традиции. Новую традицию в настоящее время олицетворяет В. Путин, хорошо вписавшийся в эту роль в представлениях традиционалистского электората.

Тенденция переориентации традиционалистского электората на новую российскую власть, безусловно, существует, ее отмечают многие аналитики. Степень выраженности этой тенденции в “неизвестной стране” оценить трудно. Но все же не исключено, что благодаря ей “Единую Россию” на предстоящих выборах может ждать неожиданный успех.

Исходя из высказанных гипотез, наиболее вероятный партийный состав Государственной думы видится следующим: “Единая Россия”, КПРФ, ЛДПР и, возможно, блок “Родина”.

Благоприятный прогноз для “Родины” не связан с искажением выборки в ее пользу. Напротив, в силу новизны и относительно малой известности этот блок в настоящее время, безусловно, является “городской” партией, поэтому искажение происходит скорее в сторону завышения, чем в сторону занижения его рейтингов. Тем не менее персональная известность С. Глазьева и популярность его лозунгов могут сформировать для этой партии растущий тренд, который приведет к преодолению 5-процентного барьера.

Опубликовано на: http://www.gazeta.ru/elections2003/2003/10/a_60020.shtml

3. АУДИТ СОЦИОЛОГИЧЕСКИХ РЕЙТИНГОВ (2003 г.)

Пояснение 2008 г. Эта записка написана в 2003 году. Причиной для ее написания послужили необъяснимые колебания рейтингов. В частности, в ноябре 2002 г. почти вдвое возрос рейтинг СПС, в январе 2003 заметно упал рейтинг ЕР, в марте 2003 г. возрос рейтинг КПРФ. В последующие месяцы все эти рейтинги вновь возвращались в «норму», соответствующую их тренду. В Администрации президента РФ эти колебания объяснялись «купленностью» рейтингов. В нашей записке они были объяснены методическими проблемами, которые, скорее всего, были непреднамеренными (это не означает, что они были простительными). К сожалению, эти объяснения не повлияли на позицию Администрации, которая осталась при мнении, что ВЦИОМ «торгует» рейтингами. Результатом стала знаменитая акция по смене руководства ВЦИОМа, после которой прежний коллектив основал существующий ныне Левада-центр. Гипотеза Администрации о «купленности» рейтингов, на мой взгляд, оказалась непродуктивной в том смысле, что из нее не вытекала задача решения методических вопросов, могущих повысить точность социологических измерений и снизить их волатильность. Эти вопросы доныне так и остались нерешенными.

Пояснение 2019 года. С момента написания записки прошло 16 лет. За это время многое изменилось. Настоящую революцию в технологии маршрутных поквартирных опросов произвело внедрение планшетов, передающих данные опросов в он-лайн режиме на центральный сервер, фиксирующих аудио запись разговора интервьюера с респондентом и передающих координаты опроса м помощью GPS. Это позволило поднять достижимость респондентов примерно до 30% (сообщение Вероники Бизюковой из Левада-центра) и резко снизить фальсификации анкет. Тем не менее, данный и несколько последующих текстов интересны с точки зрения истории развития индустрии опросов в России. Далеко не все описанные в статьях недостатки сегодня исправлены, но прогресс в технологии поквартирных опросов за прошедшее время очень значителен.

Данная записка посвящена оценке обоснованности рейтингов политиков и политических партий, публикуемых ВЦИОМом. Предметом аудита стали рейтинги, моделирующие президентские и парламентские выборы. Для проведения аудита были использованы первичные массивы данных ВЦИОМа за период с декабря 2002 по март 2003 г.

Результаты аудита состоят в том, что рейтинги, публикуемые ВЦИОМом, нельзя считать достоверными результатами исследований. Основными причинами недостоверности рейтингов являются:

• изначальное искажение результатов опросов, существенно занижающее долю сторонников КПРФ в массиве. Это искажение корректируется сотрудниками ВЦИОМа путем применения процедуры взвешивания, что придает публикуемым данным достаточно произвольный характер;
• резкие колебания публикуемых рейтингов объясняются изменениями в составе вопросов и порядке их следования друг за другом, а также использовании наводящих вопросов.

Ниже эти факторы будут рассмотрены более подробно.

Изначальное искажение результатов опросов

Анализ массивов показал, что рейтинги, публикуемые ВЦИОМом, являются не непосредственным результатом исследований, а итогом определенных математических операций с ними. Это означает, что ВЦИОМ корректирует данные собственных исследований.

Причина, по которой ВЦИОМ прибегает к корректировке результатов, состоит в том, что в первичных данных, полученных в ходе опросов, систематически занижается доля коммунистического электората. Этот эффект проявлялся на всех прошлых федеральных выборах при сопоставлении данных опросов с объективными результатами голосований.

Систематическое смещение результатов рейтинговых замеров означает, что какие-то сегменты этого электората не охватываются опросом или охватываются им не в полной мере. На языке социологов это явление называется сдвигом выборки.

Существуют две основных группы причин, по которым выборки, используемые российскими социологическими службами, подвержены серьезному систематическому сдвигу. Очевидно, обе эти причины действуют совместно.

Фактор географического смещения, обусловленный невключенностью в выборку труднодоступных территориальных зон с целью экономии затрат. Из-за этого при проведении опросов неизбежно возникает сдвиг результатов в сторону в сторону населения более урбанизированного, более образованного, более активного, более «демократического» и менее склонного голосовать за коммунистов. Предлагаемое многими социологами количественное увеличение выборки в действительности этой проблемы ее не решает. Если не будет расширен состав географических зон исследования, величина смещения результатов останется прежней.

Фактор доступности респондентов. При проведении опросов какая-то часть респондентов отказывается от сотрудничества в интервьюерами либо оказывается для них недоступной. Число отказов резко увеличивается в случае плохой организации работы интервьюеров или недофинансирования социологических сетей. По имеющимся данным (правда, нуждающимся в проверке), во ВЦИОМе доля недоступных для опроса респондентов может достигать 70% и даже более. Смещение выборки, возникающее по этой причине, не может не оказывать существенного влияния на характеристики получаемых данных. Фактически, результаты опросов ВЦИОМа представляют не все население, а лишь специфическую его часть, состоящую из людей, идущих на контакт легче других.

Для приведения результатов исследований к правдоподобному виду ВЦИОМ использует процедуру, называемую взвешиванием. Суть этой процедуры состоит в следующем. В анкету включается ретроспективный вопрос о голосовании на прошлых президентских выборах. Распределение ответов на этот вопрос кладется в основу процедуры взвешивания, которая состоит в приравнивании данных опроса к результатам голосования на президентских выборах 2000 г. согласно данным электоральной статистики.

Так, согласно данным электоральной статистики Г.Зюганов получил на президентских выборах 2000 г. 20% голосов от всех зарегистрированных избирателей. Однако, по данным опросов ВЦИОМа, доля избирателей, указавших в анкете, что они на президентских выборах в 2000 г. голосовали за Зюганова, составляет лишь около 9%.

Для приведения этих данных в соответствие с электоральной статистикой специалисты ВЦИОМа увеличивают численность этой электоральной группы, приравнивая ее к 20%. Это достигается путем присвоения соответствующим анкетам повышающего коэффициента, приблизительно равного двум.

Аналогично доля ретроспективных сторонников В.Путина, согласно результатам опроса, составляет около 60% вместо фактических 36%. Для корректировки этих данных соответствующим анкетам присваивается понижающий коэффициент, приблизительно равный 0,6.

Использование процедуры взвешивания существенно меняет соотношение численности электоральных групп, применительно к которым осуществлена эта процедура – повышается доля сторонников коммунистов и занижается число «лоялистов», т.е. сторонников В.Путина и «Единой России».

Процедура корректировки массивов путем взвешивания при определенных условиях правомерна, но она может считаться корректной только при соблюдении необходимых правил. Главное правило состоит в том, что такая корректировка может осуществляться только по не зависящим друг от друга переменным. К примеру, корректной может считаться процедура взвешивания по демографическим или географическим факторам. Однако взвешивание прогнозируемых результатов выборов по результатам предшествующих выборов является явно некорректной процедурой.

Привнесение в результаты социологического исследования данных электоральной статистики приводит к тому, что публикуемые ВЦИОМом рейтинги представляют собой сплав результатов опросов с показателями электоральной статистики 2000 г. Обе части этого «сплава» распределяются по массиву в трудно предсказуемых пропорциях.

Это оказывает самое непосредственное влияние на подсчет текущих партийных рейтингов. Например, в результате взвешивания рейтинг сторонников КПРФ за период с декабря 2002 года по март 2003 увеличился на 4%, а рейтинг «Единой России» уменьшился на ту же величину. В результате электоральная ситуация поменялась на прямо противоположную (см. Таблицу 1).

Таблица 1. Рейтинги «Единой России» и КПРФ по данным ВЦИОМа до и после взвешивания (% к числу ВСЕХ опрошенных)

Процедура взвешивания практически не затрагивает величину рейтингов ЛДПР, СПС и “Яблока”. Это не означает, что данные рейтинги измерены правильно. Напротив, это может означать, что изначальное искажение рейтингов этих партий сохраняется. Учитывая, что в выборке ВЦИОМа завышена доля «демократического» электората, можно предположить, что по итогам голосования ЛДПР получит больше, чем предсказывают рейтинги, а СПС и “Яблоко”, соответственно, меньше. Это означает, что СПС и “Яблоко” могут на предстоящих выборах не попасть в Государственную Думу.

Структура анкеты и ее влияние на результаты рейтинговых измерений

Наряду с искажением соотношения рейтингов, значимая причина недоверия к результатам исследований ВЦИОМа состоит в резких колебаниях рейтинговых показателей, которые трудно объяснить с точки зрения текущих политических процессов. Использование процедуры взвешивания не является единственным фактором, влияющим на появление столь резких скачков показателей электоральных симпатий россиян.

Причину возникновения этих колебаний следует искать в структуре анкеты. Известно, что характер ответов на вопросы исследования зависит от их месторасположения в анкете. При этом ключевое значение имеют так называемые «разогревающие» вопросы, расположенные в анкете до вопросов о голосовании за партии.

Для того, чтобы рейтинговые измерения были достоверны, необходимо, чтобы «разогревающие» вопросы не настраивали респондентов «за» или «против» какой-либо политической партии, не формировали определенное отношение к ценностям или институтам, ассоциирующимся с той или иной партией.

Анализ исследовательской практики ВЦИОМ показывает, что данная социологическая служба недостаточно корректно использует «разогревающие» вопросы. Есть основания считать, что этот аспект оказывает самое непосредственное влияние на результаты проводимых этой службой рейтинговых измерений. Анализ анкет, использовавшихся ВЦИОМом за период с декабря 2002 по март 2003 г. выявил два основных фактора, делающих результаты опросов недостоверными или несопоставимыми.

Местоположение вопроса в анкете. Анализ показал, что вопросы о политических рейтингах располагаются в разных местах анкеты, т.е. их местоположение меняется от одного опроса к другому. Как можно понять, это связано с коммерческим характером проводимых опросов. Экспресс-опрос ВЦИОМ состоит из вопросов и блоков, заказанных различными клиентами. При этом стоимость включения вопроса в анкету зависит от места его расположения. Самые дорогие вопросы – в первой десятке, несколько дешевле – с 10 по 30, а ближе к концу анкеты – самые дешевые. По-видимому, анкета экспресс-опроса строится исходя из оплаченных предпочтений клиентов, а вопросы о партиях размещаются на «свободных местах».

Состав «разогревающих» вопросов. Принцип постоянства «разогревающих» вопросов в анкетах ВЦИОМа не соблюдается. Вопросы, стоящие перед замером рейтингов партий, варьируются из опроса в опрос. Еще более важно, что вопросы, используемые ВЦИОМом в качестве «разогревающих», не носят нейтрального характера. Они активно влияют на высказываемые респондентами политические установки, что и становится основным фактором искажения результатов.

Рассмотрим влияние этих факторов на конкретных примерах. Согласно данным ВЦИОМа, в январе необъяснимо упал рейтинг «Единой России», а в марте столь же необъяснимо возрос рейтинг КПРФ. Причины этих колебаний становятся ясны, если проанализировать структуру анкет за соответствующие месяцы.

В январском опросе 2003 г. перед исследованием электоральных предпочтений респондентам задавался целый блок вопросов от ответственности власти за «критическое положение» в сфере ЖКХ и образования, а также предлагалось одобрить либо не одобрить деятельность практически всех институтов государственной власти и членов правительства, в том числе, деятельность лидера «Единой России» Б.Грызлова, персональный рейтинг которого ниже, чем рейтинг партии. «Настройка» опрашиваемых на соответствующее отношение к деятельности власти и ее представителей оказала самое непосредственное влияние на величину рейтинга «Единой России».

В мартовском опросе2003 г. наблюдалась сходная, хотя и несколько отличная ситуация. В анкете содержался целый блок «разогревающих» вопросов, стимулирующий рост ностальгии в отношении советской системы. При этом «ностальгический» блок соседствует с откровенно «протестными» вопросами – о причинах «отсутствия серьезного экономического роста», об отношении к отставке экономического блока правительства. Все эти вопросы предшествуют теме электоральных предпочтений. Фактически, подобный «разогрев» активизирует протестные настроения среди респондентов и провоцирует их сделать соответствующий политический выбор. В результате не удив’ителен существенный рост рейтинга КПРФ, зафиксированный мартовским исследованием (в апреле и мае, по опубликованным данным, он снова упал).

Для исключения подобных искажений ВЦИОМу необходимо размещать вопросы о политических предпочтениях респондентов на одних и тех же местах анкеты и предварять их одними и теми же нейтральными «разогревающими» вопросами.

Сравнение данных ВЦИОМа и ФОМа

ФОМ использует методику взвешивания, практически совпадающую с методикой ВЦИОМа. Ниже приведены данные по обеим фирмам до и после взвешивания.

Таблица 2. Рейтинги «Единой России» до и после взвешивания (% от всех респондентов)

Таблица 3. Рейтинги КПРФ до и после взвешивания (% от всех респондентов)

Различия в рейтингах ФОМа и ВЦИОМа отчасти вызваны различиями в списках партий, заложенных в вопросы. Руководитель ФОМа А.Ослон неоднократно отмечал в своих выступлениях, что ВЦИОМ некорректно составляет список партий, включая в него «Женщин России» и другие несуществующие партии, которая «отбирают» голоса у ЕР. Однако при этом А.Ослон не упомянул, что в список ФОМа включена Аграрная партия, которая «отбирает» голоса у КПРФ. По данным ФОМа Аграрная партия на момент опроса имела рейтинг 4%. Это прямой вычет из электората КПРФ, рейтинг который, таким образом, оказался занижен, в результате чего электоральный показатель ЕР сделался более благоприятным.

4. ПРОБЛЕМА ПОВЫШЕНИЯ ТОЧНОСТИ РОССИЙСКИХ СОЦИОЛОГИЧЕСКИХ ИЗМЕРЕНИЙ

ГЛАВНЫЕ ВЫВОДЫ

1. Российская система репрезентативных социологических опросов сложилась в конце 80-х – начале 90-х годов. С тех пор основные ее элементы – выборка и организационные принципы функционирования – оставались практически неизменными. Ныне эта система перестала отвечать требованиям времени инуждается в модернизации. В условиях перелома электоральных трендов данная система утратила способность продуцировать точные социологические прогнозы.
2. Результаты рейтинговых измерений ведущих российских социологических служб – ФОМа и Левада-центра – на протяжении все истории своего существования (начиная с 1992 г. и по настоящее время) содержат в себе значимое систематическое искажение. Факт наличия этого искажения всегда был хорошо известен персоналу социологических служб, но скрывался от заказчиков и от широкой общественности. Причины и точный характер этого искажения никем не изучались.
3. Суть названного искажения, каким оно виделось в начале 90-х годов, состояла в том, что в результатах опросов по не вполне понятным причинамсистематически занижалась доля коммунистического электората (сторонников Г.Зюганова и КПРФ). Соответственно, завышалась доля электората с «демократическими» установками, лояльная Б.Ельцину. Позднее, в связи с маргинализацией «демократов», социологи стали говорить о завышении доли электората, лояльного власти (В.Путину, «Единой России»). В настоящее время наиболее близкой к действительности гипотетической формулировкой является следующая: в результатах опросов по непонятным причинам заметно завышается доля электората, лояльного власти, и занижается доля левого, протестного и пассивного электората. При этом следует учитывать, что отдельные параметры этого искажения могут доныне оставаться неизвестными.
4. Для сокрытия изначального искажения данных социологические службы на протяжении всего периода своего существования корректировали их путем применения математической процедуры, называемой взвешиванием, суть которой состояла в придании определенных коэффициентов отдельным частям массива. Скорректированные таким способом данные официально публиковались как непосредственные результаты опросов.Таким образом, ведущие социологические службы России дезориентировали заказчиков и широкую общественность, выдавая результаты определенных модельных построений (неважно, обоснованных или нет) за результаты исследований в собственном смысле этого слова.
5. Суть процедуры взвешивания, использовавшейся до 2004 г., состояла в приравнивании полученных путем опроса ретроспективных рейтингов политиков (Г.Зюганова, Б.Ельцина, позднее В.Путина) к официальным результатам последних выборов по данным ЦИК. Полученные таким способом коэффициенты распространялись на весь массив и служили основой для пересчета прогнозных рейтингов политиков, партий и других измеряемых анкетой показателей, что приводило к существенному изменению их величин и пропорций. Необходимость этой процедуры оправдывалась тем, что таким способом якобы удавалось устранить изначальное искажение результатов социологических измерений. В электоральном цикле 1999 (2000) – 2003 (2004) гг. заниженный, как предполагалось, электральный рейтинг Г.Зюганова был увеличен благодаря взвешиванию в 2 – 3 раза, а рейтинг В.Путина уменьшался примерно в 1,5 раза. Примерно в тех же пропорциях корректировались рейтинги КПРФ и «Единой России».
6. Начиная с 2004 г. в связи с фактическим исчезновением из политического поля фигуры Г.Зюганова используемый ФОМом алгоритм взвешивания был сменен с «президентского» на «партийный». Такая замена сделала несопоставимыми публикуемые политические тренды прошлого и нынешнего электорального циклов. Факт изменения алгоритма взвешивания был скрыт от заказчиков и широкой общественности.
7. Процедура взвешивания, фактически представляющая собой алгоритм экстраполяции результатов прошлых выборов на предстоящие, неизбежно должна была дать сбой в условиях изменения политических трендов. Ныне этот сбой проявил себя при проведении региональных опросов в Иркутской, Тульской областях и республике Марий Эл, где в октябре 2004 г. состоялись выборы в Заксобрания. Характер изначального искажения результатов опросов в новой политической ситуации изменился, и традиционная процедура взвешивания уже не смогла устранить это искажение. В результате прогнозы выборов оказались ложными по всем основным параметрам: завышены рейтинги «Единой России», КПРФ и ЛДПР, занижены рейтинги «Родины» и местных партийных блоков. Занижение в результатах опросов рейтингов «Родины» и местных блоков следует рассматривать как чрезвычайно серьезный факт, могущий свидетельствовать о начале перелома важного политического тренда.
8. Проверка массивов ФОМа выявила тот факт, что в ряде случаев обработчики массивов отступают от стандартной (принятой у них) процедуры взвешивания и переходят к так называемому многократному перевзвешиванию. В частности, такое многократное перевзвешивание было использовано в 39 и 40 волнах федерального исследования «Пента», а также в ряде волн региональных исследований (см. таблицу в основном тексте). Анализ процедур многократного перевзвешивания приводит к выводу, что оно осуществляется в тех случаях, когда полученные из поля данные чем-то не устраивают исполнителей, а стандартная процедура взвешивания не устраняет этот результат. Фактически напрашивается гипотеза о том, что процедура многократного перевзвешивания представляет собой алгоритм подгонки результатов под субъективно предполагаемый (и потому не обязательно верный) результат. Во всяком случае следует констатировать, что нигде в материалах ФОМа не содержится никаких объяснений по поводу использования процедуры многократного перевзвешивания. Отсутствует также и точное описание выполненных действий, поскольку соответствующие коэффициенты приводятся в закодированном виде. Во избежание подобных сомнений исполнителям следует предоставлять заказчикам точную информацию о проделанных процедурах и об их мотивах.
9. Особого упоминания заслуживает ситуация с проводимыми ФОМом опросами в Украине. В украинских опросах алгоритм взвешивания не используется, очевидно, потому, что вектор искажения неизвестен. Тем не менее, само это искажение наверняка существует, и оно может сработать неожиданным образом. До сих пор никто из социологов ФОМа или других социологических организаций не объяснил заказчикам и общественности, почему в России использование алгоритмов взвешивания (существенно меняющих соотношение рейтингов!) в России необходимо, а в Украине оно не требуется. Знание природы изначального сдвига помогло бы работать в Украине с более точными данными, избежав излишних политических рисков.

• В связи с отсутствием данных о природе изначального искажения результатов социологических измерений приходится исходить из гипотез об их возможных причинах. Таких гипотез сегодня существует четыре. Возможно, что в реальности они действуют совместно. Для оправдания использования процедуры взвешивания представители социологических служб предпочитают ссылаться на психологическую гипотезу, суть которой состоит в предположении о том, что люди отвечают на вопросы анкеты не так, как они думают. Эффекты такого рода в опросах действительно возникают, но они не могут служить оправданием использования некорретных процедур изменения результатов. Во-первых, мировая практика говорит о том, что психологические гипотезы могут быть конкретизированы и проверены, а результаты их эмпирической проверки содержательно истолкованы. Во-вторых, ссылка на психологическую гипотезу не должна камуфлировать возможного существования других, гораздо более значимых и технологичных факторов искажения, выражаемых следующими гипотезами:

-гипотезой географического сдвига выборки;
-гипотезой низкой доступности респондентов;
-гипотезой деградации социологического поля.

Все эти гипотезы вполне конкретны, проверяемы, а вызываемые ими факторы искажения в той или иной мере поддаются исправлению (последнее особенно касается гипотез географического сдвига и деградации поля).

• В целом положение с проведением социологических опросов в России следует оценить как крайне неблагополучное. Все основные технологические параметры всероссийских опросов, включая и структуру выборки, были созданы в конце 80- и начале 90-х годов. С тех пор они практически не обновлялись. Вся система социологического поля изначально была создана как непрозрачная как в организационном, так и в финансовом отношении. В последние годы элементы этой непрозрачности и черты деградации социологического поля значительно возросли, и ныне можно говорить о многоуровневой непрозрачности. Есть веские основания считать, что за этой непрозрачностью скрываются очень серьезные и массовые нарушения технологии, которые и являются первоисточником искажения социологических данных. Для исправления сложившейся ситуации необходим тотальный аудит всех технологических аспектов социологического поля, включая географическую и организационную его составляющие. В дальнейшем для получения полноценных данных потребуется, вероятно, радикальная реконструкция всей организации социологического поля.
• Для повышения прозрачности результатов социологических измерений социологическим службам необходимо предъявить требование о предоставлении заказчику (и, возможно, широкой общественности) непосредственных результатов социологических измерений, полученных до применения процедуры взвешивания или какой-то иной корректирующей процедуры. Необходимо установить строгое различие между первичными данными опроса и любыми модельными (прогностическими) построениями, сделанными на их основе.Такое разделение строго соответствует мировой практике. В России среди неспециалистов, к сожалению, мало известен тот факт, что зарубежные заказчики российских социологических категорически настаивают на том, чтобы передаваемые им данные и массивы не подвергались никаким счетным операциям типа взвешивания. Российским заказчикам необходимо взять на вооружение эту практику и устранить двойные стандарты в работе отечественных социологических служб.
• Для повышения точности социологических измерений следует обратить внимание на более проверяемые и технологичные факторы, вытекающие из названных выше гипотез. Конкретно предлагаются три главные группы мер:
  • создание принципиально нового подхода к построению всероссийской и региональных выборок;
  • осуществление комплекса мер по повышению доступности респондентов и качества их отбора;
  • осуществление комплекса мер по повышению технологической дисциплины и качества работы интервьюеров и региональных менеджеров.
• Предложение о разработке принципиально нового подхода к построению выборокбазируется на гипотезе географического сдвига, который подлежит устранению. Эта гипотеза подтверждается анализом выборок ФОМа в тех регионах, где проводится мониторинг выборов в Заксобрания. В частности, в большинстве этих выборок налицо сдвиг в сторону более урбанизированных и экономически развитых зон расселения. В ряде регионов в выборках не представлены особые территориальные образования, голосования в которых заметно повлияли на исход выборов. В экспертном сообществе могут существовать разные точки зрения по вопросу об исправлении этих искажений. Эти точки зрения заслуживают внимательного изучения. Наше конкретное предложение состоит в том, чтобы перейти от проектирования выборок на основе исключительно социально-демографических параметров территорий к проектированию с учетом) параметров их электоральных историй(т.е. с учетом не только социально-демографической и расселенческой, но и электоральной статистики). При этом следует иметь в виду, что в ряде случаев увеличение точности выборки может потребовать увеличения ее объема. Однако механическое увеличение объема выборок при сохранении существующих подходов к ее формированию результата не даст.
• Осуществление комплекса мер по повышению доступности респондентови качества их отбора, с нашей точки зрения, должно включать в себя осуществление следующих главных мер:
  • замену квотной выборки на случайнуюна этапе отбора респондентов в домохозяйствах (по ближайшему дню рождения или иным аналогичным методом). Социально-демографические квоты следует сохранить только как контрольный показатель;
  • организацию достоверной статистики и контроля недостижимости респондентови отказов от интервью. Это связано с тем, что значительная доля отказов связана с нежеланием интервьюеров добиваться интервью с «труднодоступными» респондентами (проще поставить «отказ от интервью», чем добиться самого интервью, выполнив все требования методики опроса). Необходимо также неукоснительно соблюдать и контролировать правило трех посещений;
  • особое требование должно предъявляться ко времени проведенияинтервью: не раньше 16-00, чтобы в выборку не попадали легкодоступные категории граждан. Этот параметр должен жестко контролироваться;
  • обеспечить равномерное распределениеинтервью по будням и выходным дням.

Названный список мер является предварительным. Его необходимо дополнить и доработать путем анализа практики работы существующих интервьюерских сетей, а также путем изучения мировой практики проведения репрезентативных опросов.

• Осуществление комплекса мер по повышению технологической дисциплиныи качества работы региональных звеньев социологических сетей. Для этого в первую очередь необходимо:
  • усилить контроль за региональными исполнителями со стороны московских офисов социологических служб, соблюдать все процедуры контроля: контроль достоверности проведенного интервью, контроль правильности прохождения маршрута, контроль правильности отбора респондентов в домохозяйствах, контроль времени, затраченного на проведение интервью;
  • увеличить объем контролируемой выборкидо 30-50% (сейчас он обычно осуществляется на уровне 10 – 15%, в лучшем случае 20%), а случае обнаружения фактов фальсификации – 100%;
  • организовать альтернативную сетьдля осуществления контроля поля (такая сеть организована службой «Gallup», альтернативный контроль в которой проводится весьма успешно). Целесообразно рассмотреть вопрос о передаче функций контроля за полем независимым организациям, специализирующимся только на полевом аудите.

Описание проблемы

Исходная проблема, вызвавшая необходимость написания данной записки, состоит в неудовлетворительной точности прогнозов результатов выборов в региональные Заксобрания, сделанных на основе репрезентативных опросов, проведенных ФОМом в соответствующих регионах.

Однако проблема валидности социологических измерений актуальна и для прогнозирования результатов выборов (а также динамики других политических процессов) федерального уровня. Те методы измерения и прогнозирования, которые могли давать приемлемые результаты в условиях стабильности и инерционности электоральных установок, могут дать резкий сбой в случае изменения политических трендов, которое наблюдаются сейчас.

В связи с этим анализ проблемы валидности рейтинговых измерений будет дан в следующей логике. Сначала будет зафиксирован известный многим социологам, но не афишируемый ими факт наличия изначального скрытого искажения в российских рейтинговых опросах. Затем будет показано влияние этого фактора на результаты измерений и описаны методы, с помощью которых социологи пытаются скорректировать данное искажение. Этот вопрос будет рассмотрен применительно как к федеральному, так и к региональному уровням. Далее будут изложены предполагаемые причины искажения результатов и даны предложения по повышению валидности социологических опросов.

1. Систематическое искажение результатов рейтинговых
   измерений и алгоритм их корректировки

Представителям российского социологического сообщества хорошо известен тот доказуемый факт, что ведущие социологические службы страны – ФОМ и Левада-центр на протяжении более 10 лет (конкретно с 1992 г) постоянно получают из поля информацию о рейтингах, содержащую в себе некое изначальное искажение.

Это искажение в виде систематической и регулярной ошибки неизменно давало о себе знать при сравнении результатов опросов с результатами всех без исключения выборов и референдумов, которые проводились в течение названного исторического периода.

Факт наличия систематического искажения был хорошо известен персоналу социологических служб, но скрывался от заказчиков и от широкой общественности.

Для сокрытия искажения данные, полученные непосредственно из социологического поля, подвергались корректировке с помощью алгоритма, называемого взвешиванием. Скорректированные таким способом данные, официально публиковались как непосредственные результаты опросов. Таким образом, результаты определенных модельных построений (неважно, обоснованных или нет) неправомерно выдавались за результаты исследований в собственном смысле этого слова.

Факт использования процедуры взвешивания скрывался представителями ФОМа и Левада-центра на протяжении более, чем десяти лет. Лишь после того, как в конце 2003 года в СМИ появился ряд разоблачительных публикаций, на эти разоблачения последовал определенный ответ. Руководитель ФОМа А.Ослон официально признал, что его служба действительно корректирует результаты исследований путем взвешивания, однако дальнейшие подробности сообщить отказался. Позднее на сайте ФОМа появились некоторые пояснения по этому вопросу, однако чрезвычайно краткие и не дающие ответов на многие важные вопросы.

Что касается Левада-центра, то он просто проигнорировал указанные публикации. Не выступили ни с какими разъяснениями и другие социологические службы. Подлинные цифры результатов рейтинговых измерений по-прежнему остаются внутренней информацией социологических служб, некоторые из которых считают себя вправе корректировать ее по собственному усмотрению.

В связи с тем, что ведущие социологические службы предпочли не анализировать причины возникновения изначальной ошибки, а скрывать ее существование, подлинная природа искажения никем не изучалась и доныне остается неизвестной. На этот счет существует лишь ряд гипотез, которые будут описаны ниже. Неизвестны и точные характеристики искажений, поскольку не до конца понятен их вектор.

Представления социологов о природе искажения менялись с течением времени. В начале 90-х годов данная проблема понималась следующим образом. Считалось, что по не вполне понятным причинам в результатах опросов систематически занижалась величина коммунистического электората (сторонников Г.Зюганова и КПРФ). Соответственно, завышалась доля электората с «демократическими» установками, лояльная Б.Ельцину.

Позднее, в связи с маргинализацией «демократов», социологи стали говорить о завышении доли электората, лояльного власти. О масштабах подобного завышения можно судить на примере данных о рейтинге В.Путина и «Единой России» за период с 2000 по 2003 гг. (все цифры даны в % к числу всех зарегистрированных избирателей / всех опрошенных респондентов).

Таблица 1.Взвешенные и невзвешенные рейтинги В.Путина и «Единой России» в электоральном цикле 1999 (2000) – 2003 (2004) гг.

Данные показывают, что на протяжении прошлого избирательного цикла результаты голосования за В.Путина составили 36% в 2000 году и 47% в 2003 году (в среднем условно 41%). Что же касается результатов опроса, полученных ФОМом непосредственно из поля, т.е. до применения процедуры взвешивания, то в среднем за период (усреднены все результаты измерений) он составил 61%, причем в первой половине электорального цикла он ни разу не опустился ниже отметки 50%, а во второй – ниже отметки 60% (см. Приложение 1 и 2). Аналогичная ситуация складывается и с рейтингом «Единой России», который в невзвешенном состоянии на протяжении всего межвыборного периода почти в 1,5 раза превышал среднюю величину рейтингов ЦИК.

Применение процедуры взвешивания (см. крайний справа столбец) приблизило результат измерения к фактическому положению дел, однако такое улучшение следует рассматривать скорее как подгонку под предполагаемый ответ, чем как результат повышения точности прогноза.

Сегодня в условиях перелома электоральных трендов, связанных, в частности, с окончательным исчезновением в общественном сознании дихотомии «демократы – коммунисты», исходное искажение рейтингов, очевидно, сохраняется, хотя его направленность становится менее очевидной.

Наиболее близкой к действительности сегодня представляется следующая формулировка: в результатах опросов по непонятным причинам заметно завышается доля электората, лояльного власти, и занижается доля левого, протестного и пассивного электората.

Необходимо подчеркнуть, что эта формулировка является гипотетической. Расхождения, фиксируемые при сопоставлении результатов опросов с результатами выборов, описывают не само изначальное искажение, а лишь его «проекцию» на заданный набор переменных. Поэтому искажение может содержать в себе невыявленную латентную часть, которая неожиданно может стать явной при смене политических трендов или изменении общественной повестки дня. Неизвестность природы фактора искажения может привести также к неожиданным и серьезным ошибкам в прогнозах выборов и результатах других общественных процессов. Могут быть не учтены неизвестные параметры искажения (например, преувеличиваться или преуменьшаться фактор национализма).

2. Описание процедуры взвешивания и оценка ее корректности

Перед описанием процедуры взвешивания необходимо сделать два важных пояснения.

Во-первых, процедура взвешивания является не единственной моделирующей процедурой, используемой социологами для повышения точности выборных прогнозов. Многие социологи, включая руководителя ФОМа А.Ослона, считают, что успешный прогноз выборов возможен лишь на основе правильного моделирования явки избирателей, на основе которой должны разрабатываться поправочные коэффициенты к рейтингам политиков и политических партий. Такой алгоритм моделирования имеет право на существование, однако его не следует путать с указанной выше процедурой взвешивания. Эти процедуры абсолютно независимы друг от друга. В практике ФОМа и Левада-центра они обычно используются совместно в следующем порядке: сначала производится взвешивание, потом моделирование явки. Правомерность такого алгоритма моделирования могла бы быть предметом дискуссии, однако проблема заключается в том, что моделирование явки является предметом подробного публичного описания и обсуждения, использование процедуры взвешивания не оглашается.

Во-вторых, алгоритм моделирования, который был выше назван процедурой взвешивания, в действительности является не единым алгоритмом, а семейством родственных процедур, которых теоретически существует бесконечное множество. В практике социологических служб используются два основных алгоритма взвешивания: по президентским и по партийным рейтингам.[1] Оба вида взвешивания также имеют большое число модификаций, многие из которых сложно выявить даже при детальном анализе первичных массивов.

Опишем суть процедуры взвешивания на примере президентской ее разновидности. Для ее осуществления в анкету включается не один, а два вопроса о президентском голосовании: прогнозный («За кого вы проголосуете, если выборы состоятся в ближайшее воскресенье?») и ретроспективный («За кого Вы проголосовали на прошлых выборах?»). В основу взвешивания кладется соотнесение ответов на второй вопрос с данными ЦИК о результатах последних выборов.

Поскольку президентский алгоритм взвешивания использовался ФОМом и Левада-центром в прошлом избирательном цикле, воспроизведем алгоритмы расчетов этих служб на примере результатов выборов 2000 года.

Согласно официальным данным Центризбиркома, в 2000 г. Г.Зюганов получил на президентских выборах 20% голосов всех зарегистрированных избирателей. Однако, по данным опроса ФОМа и Левада-центра (возьмем для примера данные за август 2003 г.), доля избирателей, указавших в анкете, что они на прошлых президентских выборах голосовали за Зюганова, в августе 2003 года составила лишь 7 – 8%.

Для приведения результатов опроса в соответствие с электоральной статистикой специалисты ФОМа и Левада-центра увеличили численность электоральной группы сторонников Г.Зюганова, приравнивая ее к 20%. Такой результат достигается путем присвоения соответствующим анкетам повышающего коэффициента, близкого к трем.

Аналогично доля ретроспективных сторонников В.Путина, согласно результатам опроса, составила около 50% вместо фактических 36%. Для корректировки этих данных соответствующим анкетам присваивается понижающий коэффициент, приблизительно равный 0,7.

После присвоения коэффициентов названным частям массивов осуществляется формальный счет, исходя из которого рассчитываются прогнозные рейтинги Г.Зюганова, В.Путина и других политиков, рейтинги всех политических партий и все остальные показатели опроса. Эти скорректированные данные публикуются и передаются заказчику как непосредственные результаты опроса.

На первый взгляд, в результате взвешивания структура прогнозных рейтингов становится более реалистичной и обладает большей прогностической силой. Однако в действительности она лишь приближается к структуре рейтингов прошлого избирательного цикла и фактически (с небольшими поправками) копирует их. Такой метод прогнозирования представляет собой завуалированную экстраполяцию результатов прошлых выборов на предстоящие. Он может давать приемлемые (или кажущиеся приемлемыми) результаты в условиях сугубо инерционной политической динамики. Изменения в трендах, ломающие такую динамику, делают очевидной всю некорректность применяемой методики.

3. Изменения алгоритмов взвешивания
   в связи с изменением федеральных политических трендов

До 2004 г. описанный выше алгоритм взвешивания, несмотря на его некорректность, использовался единообразным способом на протяжении длительных периодов времени обеими рассматриваемыми социологическими службами. Это обеспечивало, по крайней мере, сопоставимость рейтингов от одного замера к другому.[2] Однако в 2004 году период политической инерционности закончился. Это повлекло за собой изменение трендов и, как следствие, перетряску используемых ФОМом и, предположительно, Левада-центром, алгоритмов коррекции результатов опросов.

Первый перелом политических трендов, произошедший в конце 2003 – начале 2004 г., состоял в фактическом исчезновении из политического поля фигуры Г.Зюганова, ретроспективный рейтинг которого на протяжении целого десятилетия использовался ФОМом м Левада-центром как своего рода константа российских социологических измерений.

В связи с невозможностью использования «зюгановской константы» начиная с 2004 г. ФОМ и, вероятно, Левада-центр, без каких-либо объявлений сменили алгоритм взвешивания с президентского на партийный, т.е. основанный на ретроспективных партийных рейтингах. Информация об этом изменении вновь была скрыта от заказчиков и от широкой общественности. В частности, не было разъяснено, что в результате такого действия рейтинговые ряды прошлого и нынешнего электорального циклов сделались несопоставимыми.

Второе очевидное изменение трендов наблюдается сейчас, в сентябре-октябре 2004 г. Процессы этих изменений находятся еще в самом начале, но есть основания считать, что они носят глубинный характер, связанный с проходящими в стране политическими реформами. В этих условиях прежние алгоритмы корректировки результатов опросов неизбежно начинают давать сбои. Сотрудники ФОМа и, вероятно, других социологических организаций, использующих сходные алгоритмы, пытаются скомпенсировать вновь возникающие аномалии все новыми дополнительными процедурами взвешивания, что неизбежно ведет к усилению хаоса в данных и ко все более откровенной подгонке результатов под ожидаемый (причем зачастую ошибочный) результат.

Тенденция к усилению хаоса в использовании алгоритмов взвешивания может быть проиллюстрирована на свежих примерах деятельности ФОМа как федерального, так и регионального уровня.

4. Последствия результатов взвешивания
   в опросах федерального уровня

Результаты взвешивания рейтингов федерального уровня могут быть проиллюстрированы на примере последних волн опроса ФОМа в сентябре-октябре 2004 г. (с 38 по 41 волны).[3] В Таблице 2 приведены данные результатов опроса ФОМа в том виде, в каком они пришли из социологического поля, т.е. до применения процедуры взвешивания. Данные показывают, что, как и в прошлом избирательном цикле, невзвешенные рейтинги «Единой России» примерно в 1,5 раза превышают данные ЦИК, относящиеся к последним выборам. Рейтинг КПРФ и ЛДПР в невзвешенных данных приблизительно соответствует данным ЦИК, а рейтинг «Родины» выглядит заниженным (но каков он в действительности –неизвестно).

Таблица 2 Невзвешенные данные по результатам опросов ФОМа в октябре 2004 г.

В Таблице 3 приведены результаты опросов в том виде, в каком они были официально опубликованы на сайте ФОМа. Из них видно, что рейтинг «Единой России» выдерживается на «приемлемом» уровне около 25%. В случае отклонения от этого уровня принимаются меры, зачастую весьма искусственные, по его удержанию в этих априорно заданных границах.[4]Рейтингу КПРФ дано некоторое приращение, обоснованность которого ничем не обоснована, а рейтинг «Родины» по-прежнему выглядит заниженным. Последнее обстоятельство выглядит весьма сомнительным, учитывая растущий тренд «Родины» на выборах в региональные Заксобрания.

Таблица 3. Фактически опубликованные данные ФОМа

Анализ результатов взвешивания данных в 38 – 41 волнах опроса выявил еще одну проблему, а именно применение алгоритма многократного перевзвешивания, используемого в тех случаях, когда результаты обычного взвешивания по каким-то (скорее всего, субъективным) причинам не устраивают специалистов ФОМа. В рассматриваемом случае метод многократного перевзвешивания был использован в отношении 39 и 40 волн.

Стандартный алгоритм взвешивания, обычно используемый ФОМом в текущем избирательном цикле, в несколько упрощенном виде сводится к следующему. На первом этапе берутся данные ЦИК о результатах последних выборов в Госдуму (по партиям) и сравниваются с результатами ретроспективного рейтинга, полученного в ходе последнего опроса («За какую партию Вы проголосовали на прошлых выборах?»). Делением первого на второе получаются весовые коэффициенты, присваиваемые каждой партии. Далее весь массив анкет делится на подмассивы, образованные ретроспективными сторонниками соответствующих партий. Конкретно это означает, что те анкеты, в которых респонденты заявили, что на прошлых выборах они голосовал за «Единую Россию», образуют один подмассив, за КПРФ – другой, и т.д. Каждому подмассиву присваивается названный коэффициент, после чего осуществляется формальный подсчет взвешенных прогнозных рейтингов и всех других показателей. Выше уже говорилось о том, что использование такого алгоритма выглядит крайне некорректным, но этот алгоритм, по крайней мере, единообразен и воспроизводим.

Анализ массивов ФОМа, а также Левада-центра, приводит к однозначному выводу, что иногда этот алгоритм не соблюдается, а вместо него используется многократное перевзвешивание. Причиной для использования такого алгоритма обычно является необъяснимое (или кажущееся необъяснимым) нарушение плавности тренда какого-либо из электоральных показателей. В этом случае у исследователей возникает своего рода паника, которая выражается в стремлении подогнать рейтинговые показатели под плавный ожидаемый тренд. Сложность этой проблемы состоит в том. что подгонка одного показателя обычно влечет за собой «проваливание» другого, который тоже начинает подгоняться под приемлемый уровень. В этих условиях начинают использоваться алгоритмы компьютерного счета, позволяющие путем многих (зачастую нескольких десятков или даже сотен) итераций привести результаты к «красивому» виду. При этом если алгоритм однократного взвешивания при всей его некорректности может иметь под собой хоть какие-то основания, то алгоритм многократного перевзвешивания представляет собой откровенную процедуру подгонки данных под предполагаемый ответ. Результаты этого перевзвешивания по своей валидности ничем не отличаются от простого вычеркивания одних цифр и вписывания других.

В Таблице 4 приведены данные по анализируемым волнам опросов, взвешенные методом однократного взвешивания. Данные по волнам 38 и 41 идентичны в этой и в прошлой таблицах, данные по волнам 39 и 40 позволяют оценить эффект многократного взвешивания. Сравнение этих данных позволяет выдвинуть гипотезу о том, что исходным мотивом для использования многократного перевзвешивания в данном случае было необъяснимое снижение рейтинга КПРФ, имеющееся в исходном (невзвешенном) массиве. Алгоритм однократного взвешивания не устранил этого эффекта, поэтому, как можно предполагать, было использовано многократное.

Однако использование многократного перевзвешивания нередко приводит к неприятным казусам, который проявился в 40 волне. По сообщениям многих свидетелей на форумах в Интернете, именно в этой волне электоральный рейтинг В.Путина необъяснимо упал на 9% (с 49% до 40%). Эта информация продержалась на сайте ФОМа несколько часов, после чего была заменена на более приемлемую цифру 46%. Объяснения сотрудников ФОМа сводились к тому, что это была простая техническая ошибка или опечатка. Однако факт использования в этой волне алгоритма многократного перевзвешивания делает правдоподобной иную гипотезу, состоящую в том, что сотрудники, осуществлявшие перевзвешивание, успешно подогнали партийные рейтинги, но не заметили, что «провалили» рейтинг В.Путина. Во всяком случае, именно к такому результату привел нас один из вариантов многократного перевзвешивания, по-видимому, близкий к тому, который использовался сотрудниками ФОМа. (Необходимо пояснить, что в случаях многократного перевзвешивания в массивах ФОМа не указывается точная информация, позволяющая строго воспроизвести ее алгоритм, поскольку коэффициенты даются в закодированном виде).

Начиная с 41 волны рейтинг КПРФ вновь по необъяснимым причинам пришел в «норму». О причинах этого можно только догадываться. Может быть, это произошло само по себе, возможно, были произведены какие-то изменения в анкете. Кроме того, не исключено, что интервьерам были даны дополнительные квотные задания, «исправляющие» предполагаемый перекос. Так или иначе, применение алгоритма многократного взвешивания стало не нужным, и взвешивание вновь стало осуществляться по обычному алгоритму.

Таблица 4. Данные, взвешенные по типовому алгоритму ФОМа

5. Последствия результатов взвешивания в опросах
регионального уровня

Проблема изначального искажения результатов опросов с невыявленными причинами, а также несостоятельность корректировки этих результатов посредством взвешивания, в полной мере проявилась в региональных опросах ФОМа. Вполне очевидно, что закономерности региональных выборов, происходящие к тому же в условиях общего изменения политических трендов, оказались иными, чем на прошлый федеральных выборах. Поэтому механизм экстраполяции думских выборов декабря 2003 года на предстоящие региональные выборы оказался несостоятельным.

Результаты рейтинговых измерений ФОМа дали крайне неточный результат во всех трех регионах, в которых прошли выборы в Заксобрания в октябре 2004 г.

Визуально эта неточность для некоторых наблюдателей была закамуфлирована сравнением официальных результатов выборов, рассчитанных от числа фактических участников голосования с результатами опросов, рассчитанных от всех опрошенных респондентов. Действительно, при сравнении этих цифр может возникнуть иллюзия, что результаты опросов и голосований хотя и расходятся, но не столь существенно.

Для простоты приведем сравнение по рейтингам «Единой России», а полные результаты сравнения по всем партиям будут даны ниже. Согласно официальным данным ФОМа, усредненный рейтинг «Единой России» по трем регионам составил 23,4% от всех опрошенных, а по данным ЦИК 28,6% от всех проголосовавших (расхождение минус 5,2%).

Картина радикально меняется при проведении более корректного сравнения. Если пересчитать данные ЦИК в процентах ко всем зарегистрированным избирателям, то есть привести их к виду, сопоставимому с результатами опроса, мы получим, что усредненный рейтинг «Единой России» составил всего лишь 9,3%, а величина ошибки – плюс 14,1%. Сходная картина наблюдается и по всем остальным партиям, принимавшим участие в голосованиях.

Стандартное объяснение расхождений между результатами опросов и итогами выборов со стороны ФОМ состоит в следующем. Результаты опросов нельзя отождествлять с прогнозами выборов потому, что технология опросов зачастую неверно (по объективным причинам) прогнозирует явку избирателей. Поэтому, по мнению ФОМа, для получения корректных прогнозов необходимо создание специальных математических моделей, позволяющих перейти от непосредственных результатов опросов к прогнозам результатов выборов. Такая точка зрения имеет право на существование, но она не должна камуфлировать существование других факторов, способных сделать невалидными результаты рейтинговых измерений. Использование процедур моделирования явки не должно также скрывать за собой использование необъявленных и сомнительных по своему содержанию моделирующих процедур типа взвешивания.

Анализ массивов ФОМа по 18 регионам показывает, что в них используются те же алгоритмы взвешивания данных, что и в опросах федерального уровня. Вновь можно говорить о применении алгоритмов однократного и многократного взвешивания, первый из которых обозначен цифрой 1, а второй – цифрой 2 (см. табл. 5).

Специфика использования первого алгоритма осложняется тем, что данные ЦИК по выборам федерального уровня в данном регионе приходится проецировать на ожидаемые результаты региональных выборов, что может внести в результат очень серьезные систематические ошибки (что фактически и произошло).

Мотивы перехода от первого алгоритма взвешивания ко второму (многократному) требуют специального анализа. Во всяком случае, видна бессистемность в использовании этих алгоритмов, отражающая ситуационность принятия решения и неуверенность исследователей в достоверности своих данных.

Таблица 5. Алгоритмы взвешивания в региональных исследованиях

Использование алгоритма взвешивания в том или ином варианте не привело к приемлемому результату прогноза выборов. Согласно данным Таблицы 6, экстраполирование результатов федеральных выборов декабря 2003 г. на ожидаемые результаты региональных выборов привело к некоторому сокращению разрыва между прогнозным и фактическим рейтингом «Единой России», но этот разрыв все равно остался неприемлемо высок.

Вместе с тем, экстраполяция федеральных выборов привела к резкому завышению прогнозных рейтингов КПРФ и, особенно, ЛДПР, а также значительному занижению рейтингов местных партий (особенно резко это видно в таблице с усредненными данными по трем регионам, где фактический суммарный рейтинг «других партий» фактически составил почти 30% против примерно 8% по данным опроса.

Лишь в Республике Марий Эл, характеризующейся традиционным типом голосования, имеющим черты сходства с федеральными выборами, результаты опроса менее резко отклонились от результатов голосования, но и здесь очевидно резкое завышение прогнозного рейтинга ЛДПР и, в меньшей степени, КПРФ.

Таблица 6. Сравнение электоральных рейтингов политических партий (по данным ФОМ) с результатами федеральных и региональных выборов (по данным ЦИК)

Выше уже говорилось, что специалисты ФОМа, признавая расхождение между результатами опросов и объективными данными голосований, объясняют это тем, что опросы недостаточно корректно прогнозируют явку избирателей. Поэтому, по их мнению, для получения точного прогноза необходимо использовать специальную модель, учитывающую влияние фактора явки на результаты выборов.

Вариантов оценки предстоящей явки и моделей, основанных на их основе, существует много. Ниже для проверки гипотезы о влиянии фактора явки приведены расчетные данные, основанные на трех видах моделей, исчисляющих явку от числа определившихся в выборе партии, от числа точно решивших голосовать и от числа окончательно решивших прийти на выборы.

Под числом определившихся в выборе партии понимается та совокупность респондентов, которая при ответе на вопрос «Если бы выборы состоялись в ближайшее воскресенье, за какую партию Вы бы проголосовали?» назвала какую-либо конкретную партию или выбрала позицию «против всех». Эта совокупность принимается за 100%, и все рейтинги рассчитываются от этой базы. Затруднившиеся ответить или заявившие о том, что не пойдут на выборы, исключаются из расчетов (т.е. приравниваются к неявившимся).

Под числом точно решивших прийти голосовать понимается совокупность респондентов, выбравших соответствующую позицию в отдельном вопросе анкеты «Собираетесь ли Вы принять участие в выборах?». Возможны ответы обычно формируются в виде следующей шкалы: точно приму участие, скорее приму участие, скорее не приму участие, точно не приму участие. В этом случае под решившими пойти на выборы могут считаться либо те, кто выбрал только первую позицию, либо выбравшие первые две, причем во втором случае некоторые исследователи присваивают категории «скорее приму участие» некий понижающий коэффициент. В данном случае для расчетов был использован первый вариант, что мотивировалось в первую очередь низкой реальной явкой на выборы, практически точно совпавшей с численность первой категории респондентов, точно решивших пойти на выборы.

Под числом окончательно решивших пойти на выборы понимается совокупность респондентов, которой после вопроса «Собираетесь ли Вы пойти на выборы?» задается дополнительный контрольный вопрос: «Является ли Ваше решение окончательным?». Методика расчета явки, основанная на последнем вопросе, является оригинальной разработкой ФОМа и, насколько известно, не используется другими социологическими службами. В нашем случае эта методика также была использована для подсчета явки с целью определения ее прогностической силы (см. Таблицу 7)

Все три варианта расчетов явки были проведены как для взвешенных, так и для невзвешенных данных.

Результаты расчетов, если говорить коротко, свелись к тому, что все три варианта моделей, как во взвешенном, так и в невзвешенном состоянии, оказались близкими друг к другу и не дали удовлетворительного прогноза.

Причина, очевидно, состоит в наличии первичного искажения исходных данных опросов, которые, несмотря на все усилия специалистов по моделированию, так и не удалось привести к приемлемому с прогностической точки зрения виду.

Фактор моделирования явки, несомненно, важен для прогнозирования результатов выборов, хотя значение конкретного способа прогнозирования явки, по-видимому, преувеличивается.

Что же касается алгоритма взвешивания, то результаты расчетов показали его деструктивную роль: механически уменьшая погрешность по «Единой России», он увеличивает ее по всем остальным позициям, ухудшая качество прогнозного результата..

Таблица 7. Прогнозные результаты региональных выборов, основанные на различных моделях явки избирателей

6. О причинах изначального искажения результатов российских социологических измерений и мерах по их преодолению

Выше уже говорилось о том, что сокрытие самого факта изначального искажения результатов социологических измерений привело к тому, что это явление никем систематически не изучалось и не анализировалось. Прямую ответственность несут за это руководители ведущих российских социологических служб – ФОМа и Левада центра. Особенно велика ответственность руководителей Левада-центра (прежнего ВЦИОМа), поскольку именно они в 1992 году ввели в практику использование процедуры взвешивания, а ФОМ позднее лишь механически скопировал ее. В последующие годы обе организации, и особенно ФОМ, обладая большими ресурсами, могли без спешки вернуться к изучению этой проблемы, выявить ее причины и предложить алгоритм решения. Организации, проделавшей такую работу, она принесла бы несомненную научную славу. Тот факт, что такая работа не была сделана, свидетельствует о низком профессиональном и, особенно, моральном уровне руководителей названных организаций.

О неприемлемости использования процедуры взвешивания говорит, в частности, тот малоизвестный неспециалистам факт, что зарубежные заказчики социологических опросов в России категорически настаивают на том, чтобы передаваемые им данные и массивы не подвергались никаким счетным операциям типа взвешивания. Российские заказчики, к сожалению, зачастую не обладают квалификацией, необходимой для такой постановки вопроса, чем и пользуются названные социологические службы, откровенно используя политику двойных стандартов – для экспорта и для внутреннего потребления.

Для полноты картины особого упоминания заслуживает ситуация с проводимыми ФОМом опросами в Украине. В украинских опросах алгоритм взвешивания не используется, очевидно, потому, что вектор изначального искажения там неизвестен, поэтому использовать алгоритмы подгонки становится рискованным. Тем не менее, само это искажение наверняка существует, и оно может сработать неожиданным образом. До сих пор никто из социологов ФОМа или других социологических организаций не объяснил заказчикам и общественности, почему в России использование алгоритмы взвешивания в России необходимо, а в Украине не требуется. С социально-географической точки зрения Украина устроена иначе, чем Россия, однако знание природы изначального сдвига социологических данных в России, несомненно, помогло бы более правильно построить выборку и в Украине, избежав тем самым излишних политических рисков.

В настоящее время среди российских социологов существуют разные точки зрения относительно причин изначального искажения результатов опросов. Эти точки зрения могут быть сведены к четырем основным гипотезам, причем в действительности причины, вытекающие из этих гипотез, могут действовать совместно. Этими гипотезами являются: психологическая гипотеза, гипотеза географического сдвига выборки, гипотеза низкой доступности респондентов, гипотеза деградации социологического поля. Для более полного раскрытия этих гипотез при подготовке данной записки был проведен опрос 10 экспертов (социологов и географов), мнения которых учтены в нижеследующем описании.

Психологическая гипотеза. Применительно к рейтингу В.Путина и «Единой России» суть этой гипотезы состоит в том, что после прошедших выборов часть респондентов, голосовавших иначе, или вообще не участвовавших в голосовании, в ситуации опроса «присоединяется к победителям», завышая тем самым их рейтинги. В некоторых случаях, например, непосредственно после убедительной победы на выборах, эффекты такого рода, по-видимому, имеют место. Однако эта теория многого не объясняет: например, систематического завышения рейтингов В.Путина и «Единой России» в межвыборный период, а также завышения рейтингов непопулярного Ельцина в прошлых электоральных циклах. В любом случае можно констатировать, что ни ФОМ, ни Левада-центр не сделали никаких попыток операционализировать и проверить эту гипотезу, а также отделить влияние этого фактора от других. Сегодня психологическая гипотеза превратилась в своего рода палочку-выручалочку, на которую руководители социологических служб списывают любые провалы прогнозов выборов, не анализируя иных, более существенных и технологичных причин.

Гипотеза географического сдвига выборки. Эта гипотеза неоднократно высказывалась многими авторами, в том числе политическим географом В.Каганским, в его публикации в «Газете.ру» 9 октября 2003 г. Суть гипотезы состоит в том, что структура выборки опросов общественного мнения не репрезентативна в пространственном отношении, в ней не представлены многие типы территорий и поселений. По оценке В.Каганского, системой выборочных опросов не охвачено около трети населения страны, представляющей ее межрегиональную и внутрирегиональную периферию. Важно, что российские выборки фактически не менялись уже более десяти лет, то есть со времени возникновения в России репрезентативных опросов населения. В своей статье В.Каганский приводит конкретные примеры «электоральных аномалий» и абсолютно справедливо замечает, что гипотеза географического сдвига строго операциональна и количественно проверяема. Однако ведущие социологические службы страны игнорируют этот призыв и фактически блокируют возможность проведения географического аудита своих выборок. Проведение такого аудита, разработка принципиально нового поколения выборки, проведение широкой профессиональной дискуссии по проблемам ее построения являются необходимыми условиями устранения искажений результатов опросов.

Фактор географического смещения выборки мог стать одной из основных причин неудовлетворительности результатов опросов, направленных на прогнозирование результатов выборов Заксобраний регионов.

Гипотеза низкой доступности респондентов. Известно, что при проведении опросов какая-то часть респондентов отказывается от сотрудничества в интервьюерами либо оказывается для них недоступной. В последние десятилетия число таких отказов растет, и Россия не является исключением из этой тенденции. Проблема, однако, заключается в том, что ведущие социологические службы России, по-видимому, занижают масштабы этой проблемы и не принимают конструктивных мер по ее разрешению. По данным ФОМа, опубликованным на его сайте, от участия в опросах отказываются от 30 до 35% респондентов. Эта цифра выглядит заниженной и нуждается в проверке, поскольку по данным специалистов-полевиков в Москве процент отказов при проведении поквартирных опросов составляет около 80%, а в среднем по России – около 50%. Число отказов может резко увеличиваться в случае плохой организации социологического поля (см. следующую гипотезу). Смещение выборки, возникающее по этой причине, не может не оказывать существенного влияния на характеристики получаемых данных. Фактически, результаты опросов представляют не все население, а лишь специфическую его часть, состоящую из людей, идущих на контакт легче других. Хотя данная проблема в своей основе имеет объективный характер, необходим аудит ее состояния, оценка возможностей преодоления, а также проведение методических экспериментов, направленных на определение величины и вектора возможного смещения результатов.

Гипотеза деградации социологического поля. Этот фактор сегодня мало кем принимается во внимание, а между тем его действие может оказаться очень серьезным. Работа структур, осуществляющих полевые работы в регионах, сегодня малопрозрачна даже для головных офисов московских социологических служб. Во многих регионах на все московские фирмы де-факто работают одни и те же люди, т.е. одни и те же менеджеры и одни и те же интервьюеры. Сформировался слой профессиональных интервьюеров, зарабатывающих этим деньги и зачастую проводящих опросы с грубыми нарушениями технологии. Московские головные офисы хотя и проводят 10 – 15% контроль, но этот контроль зачастую формален и не слишком дотошен. По мнению специалистов-полевиков, изощренность нарушений растет, процент раскрываемости падает. Московские головные офисы практически ничего не делают для исправления этой ситуации, в результате чего деградация социологического поля усиливается (по мнению многих полевиков, эти процессы особенно ускорились после 2000 года). Рост нарушения маршрутов, проведение опросов в территориально более доступных местах, а также прямая фальсификация анкет могут стать одной из причин искажения результатов, поскольку интервьюеры, фальсифицирующие анкеты, неявно ориентируются на доступную им рейтинговую информацию о высоком рейтинге В.Путина и «Единой России». Появление касты профессиональных интервьюеров противоречит мировой практике проведения репрезентативных опросов, согласно которой во избежание «усталости» интервьюеров производится регулярная их ротация (увольнение старых и найм новых).[5] Для исправления положения необходим аудит технологического состояния социологических сетей и принятие мер по подъему технологической дисциплины опросов. Так, по выражению одного из опрошенных экспертов,

• «…до тех пор, пока мы будем работать через региональных посредников, где сидят мелкие князьки, которые ограничивают свободу нашего выбора, даже не выборка будет определять качество результатов, а стиль работы регионального партнера».

[1] Перевзвешивание массивов ФОМа по социально-демографическим и территориальным квотам здесь подробно рассматриваться не будет. Кратко отметим, что перевзвешивание увеличенной московской квоты, введенной для повышения ее репрезентативности, вполне корректно. Процедуры перевзвешивания по другим территориальным сегментам требуют специального анализа. Что же касается перевзвешивания социально-демографических квот, то выскажем мнение, что столь длительно работающая на рынке и столь богатая организация, как ФОМ, могла бы довести свою технологию до уровня, при котором такое перевзвешивание сделалось бы либо не нужным, либо использовалось в самых минимальных размерах или в экстренных случаях (например, в случае каких-то непредсказуемых сбоев в работе региональных звеньев).

[2] Однако систематическое использование этого алгоритма камуфлировало ряд важных тенденций, которые при правильной интерпретации позволили бы заблаговременно спрогнозировать тенденцию электорального упадка Г.Зюганова и КПРФ. Почти трехкратное падение численности респондентов, решающих указать, что на прошлых выборах они голосовали за Г.Зюганова, должно было подтолкнуть исследователей не к тому, чтобы искусственно завышать долю сторонников этого политика, а навести на мысль о раскручивании против него так называемой «спирали молчания». Именно такая трактовка падения ретроспективного рейтинга описана в известной российским социологам книге Э.Ноэль-Нойман «Открытие спирали молчания» на стр. 68 – 70. Существовал и ряд других тенденций, которые больше заслуживали содержательной трактовки, чем камуфлирования.

[3] 38 волна – 18-19 сентября, 39 волна – 25-26 сентября, 40 волна – 02-03 октября, 41 волна – 09-10 октября.

[4] К примеру, по результатам опроса, проведенного 12 – 13 июля 2004 г., рейтинг «Единой России», согласно опубликованным данным, необъяснимо упал примерно на 3%. В следующей (25) волне опроса анкета ФОМа была изменена: список партий, предлагавшийся респондентам, был сокращен с 10 до 7, а партия «Единая Россия» была передвинута в списке с девятого на второе место. Известно, и это подтверждено данными самого ФОМа, что исключение из списка малых партий приводит в основном к соответствующему приращению рейтинга «Единой России». К такому же эффекту (в пределах 1 – 2%) приводит и выдвижение партии на первые места списка.

[5] При проведении большого социологического исследования в Казахстане зимой 2004 года наша исследовательская группа столкнулась с фактом массовых фальсификаций анкет местными профессиональными интервьюерами, обслуживающими казахстанские социологические фирмы, работающие, в том числе, и по российским заказам. Работу, выполненную такими интервьюерами, приходилось переделывать целыми территориальными кустами. При этом вновь набранные интервьюеры, в полном соответствии с мировой практикой, работали гораздо добросовестнее.

5. О ДОСТИЖИМОСТИ РЕСПОНДЕНТОВ

К сожалению, социологи мало пишут о проблеме достижимости респондентов в количественных исследованиях. Кажется, первым об этой проблеме упомянул Алексей Левинсон из Левада центра в каком-то публичном обсуждении, стенограмма которого была опубликована. Это было более 8 лет назад и источник сейчас найти трудно. Тогда Левинсон сообщил, что достижимость респондентов в населенческих опросах составляет около 25%. Ровно столько же получилось и в моем контрольном исследовании в Хакасии. Основные причины недостижимости были таковы: никого нет дома 34%, респондент вне квоты 18%, отказ респондента 13%, прочие причины 10%. Всего недостижимо 75%, успешные интервью 25%.

В Москве достижимость респондентов при маршрутных поквартирных опросах намного ниже и, по моим сведениям, составляет около 10%, а возможно и меньше. Телефонные интервью дают примерно такие же цифры достижимости. Согласно моим данным, полученным, правда, около 10 лет назад, достижимость респондентов в телефонном опросе составила около 20% (это был большой опрос конкретно по Москве с репрезентацией по административным округам, 5 тыс. респондентов).

Еще мне хотелось бы упомянуть пиаровскую акцию «Голосуем за страну», проведенную в 2003 году (см. статью, но в сильно пиаровском изложении на сайте newsrucom.ru «Региональнные праймериз принесли сенсационные результаты»). Я тогда участвовал в этой акции в Белгороде. Суть акции состояла в следующем: в трех городах России организовали как бы пробное голосование. Напечатали бюллетень со списком уже утвержденных кандидатов, в одной из школ поставили урну для голосования и создали антураж, максимально похожий на настоящие выборы.

Жители ближайших домов были оповещены об акции и их призвали принять участие. Напоминаю, что тогда в бюллетенях еще была позиция «против всех». Поскольку к избирательной урне подошли буквально единицы жителей (как в общем-то и ожидалось), я дал указание обойти все квартиры надлежащих домов и провести как бы социологический опрос. Было утро воскресенья, около 12 часов. Мне очень жаль, что конкретные результаты не сохранились, но примерно они таковы. Достижимость респондентов составила около 30%, может быть, даже больше. Наряду с этим было очень много отказов. Некоторые открывали дверь и отказывались «голосовать», некоторые даже не открывали, а вели переговоры через дверь и тоже отказывались, а то и посылали матом. Эффект утра воскресенья состоял в том, что квартир, где вообще никто не отозвался на звонок, было довольно мало.

Кстати, этот факт делает весьма подозрительными результаты упомянутого выше контрольного опроса следующем аспекте: там причина «никого нет дома» там заняла первое место по количеству причин недостижимости. Возникает подозрение, что интервьюеры ходили в будние дни в рабочее время и не соблюдали правило трех посещений.

Результаты “праймериз” были примерно одинаковыми во всех трех городах и состояли в следующем: в них было аномально высокое количество «голосований» против всех. Видимо, люди были раздражены тем, что их побеспокоили утром в воскресенье. А может быть, сама акция им чем-то не понравилась (кстати, ходили с урной для голосования). Но когда количество таких «голосований» приравняли к данным ВЦИОМа, и пересчитали на 100%, то картина получилась в общем близкой к тому, что показывали репрезентативные опросы. Я тогда сразу подумал, что если вести штрафы за неучастие в выборах, доля протестного голосования катастрофически возрастет, поэтому лучше не будить лиха, покуда оно спит.

Описанные выше результаты можно обсуждать с разных точек зрения. Я остановлюсь на следующем аспекте: методологии прогнозирования результатов выборов. Будем сравнивать два эффекта: отказ от участия в соцопросах и отказ от участия в выборах. Вопрос о явке на выборы включается во все всероссийские опросы. Свежих данных у меня нет, поэтому ограничимся условным примером. Предположим, что по данным опроса явка должна составить 50%. Такая цифра для думских выборов является завышенной, и очень часто усилия социологов направлены на то, чтобы понизить эту цифру до реальных значений. Например, делают очень дробную шкалу ответов в соответствующем вопросе и в качестве прогноза берут только позицию «совершенно точно пойду на выборы» – типичный пример борьбы с парадоксом ЛаПьера.

Но в данном случае этот парадокс осложнен крупной методической ошибкой. На выборах явка считается от всего электората. Следовательно, и оценка явки на основе данных опроса должна моделироваться от всех посещений домохозяйств, а не только от тех, которые были результативными. Отказ отвечать является эквивалентом отказа идти на выборы, правда, осложненный все тем же парадоксом ЛаПьера. Правда, и среди тех, кто согласился отвечать, многие тоже заявляют, что не пойдут на выборы. Эти цифры необходимо перемножить. Потому, что нельзя напрямую сравнивать реальную явку, исчисляемую от всего электората, с показателем явки, исчисленным, условно, от 25% респондентов, согласившихся отвечать.
При достижимости респондентов на уровне 25% и данных опроса о явке 50% в пересчете на весь электорат прогноз явки составит 12,5%. При всем нежелании российских избирателей ходить на выборы явка даже на думские выборы по данным ЦИК все-таки значительно больше. Даже если ЦИК какими-то способами завышает явку, все равно реальная явка получается, наверное, не ниже, а выше прогнозной. Соответственно, нужно искать алгоритмы не понижения, а повышения этой цифры до разумных значений. Разумеется, я имею в виду не разного рода подтасовки, а алгоритмы моделирования значений явки. Хотя кто знает, может быть эти 12,5% и являются реальным прогнозом явки, а остальное от лукавого?

Рейтинги партий или иных политических субъектов, полученных от тех респондентов, которые согласились отвечать на вопросы интервьюеров, сравниваются с результатами голосования тех людей, которые пришли на выборы. Если проигнорировать парадокс ЛаПьера, то это сравнение корректно. Но результаты выборов сильно зависят от показателя явки, и прогнозы рейтингов это учитывают. В данный момент я не берусь судить, как предлагаемый мною алгоритм исчисления явки повлияет на рейтинги. Может быть, и не повлияет. Но может и повлиять.

Конечно, приведенные выше рассуждения условны, и сделаны, что называется, для собственного удовольствия. Потому, что практика выборов может основываться на своего рода инверсии. Берут, например, завышенные данные опросов (да, все-таки завышенные, несмотря на то, что есть, эффекты, которые их понижают), возможно, как-то их корректируют, исходя из каких-то политических соображений. Далее разверстывают эти данные по регионам, муниципалиям и т.д. В итоге результаты выборов хорошо согласуются с данными социологических опросов.

6. СОЦИОЛОГИЯ И АСТРОФИЗИКА

Россия и Украина как разные галактические образования

(Записка написана в промежутке между первым и вторым туром украинских выборов 22 октября 2004.)

В ситуации, когда возникает так называемая война рейтингов, возникает проблема неучтенных факторов, которые могут повлиять на итоговый результат измерения.

Когда-то, очень давно, еще подростком, у меня был профессиональный выбор – хотелось одновременно стать астрофизиком и социологом, – и я выбрал социологию. Теперь, на склоне лет, я вдруг для себя открыл, что и в астрофизике, и в социологии появилась одна сходная проблема, очень похожая по своей структуре, и в обоих случаях не до конца решенная.

Если говорить об астрофизике, то коротко дело состоит в том, что, согласно последним данным, массы солнц, планет, излучений и все известные науки массы составляют лишь около 4% процентов всей массы Вселенной, тогда как остальное составляет так называемая невидимая масса и невидимая энергия.

У невидимой массы есть важное свойство – она способна отклонять световые лучи. Таким образом, та картина вселенной, которую мы видим, искажена неким мощным неизвестным фактором. Удивительное дело, но нечто похожее мы имеем в социологии, а именно при проведении социологических измерений. Дело в том, что многие результаты, которые мы получаем из социологического поля, разительным образом контрастируют с объективными данными типа данный Центризбиркома, и это происходит не в последнее время, а за весь период существования репрезентативных опросов на постсоветском пространстве, когда еще не было столь масштабных и, главное, одновекторных фальсификаций.

Систематическое (причем очень серьезное) смещение результатов социологических опросов вынуждает многих социологов принимать какие-то корректирующие действия, чтобы получить данные, более похожие на те, которые получатся в результате голосовании. Причем, подобно астрофизикам, это надо сделать, не до конца понимая природу этих факторов. То есть приходится действовать отчасти вслепую, и ясно, что всегда остаются сомнения в том, насколько верны были эти корректирующие действия.

Такие эффекты, т.е. воздействие неизвестного фактора, – это вполне общеизвестный факт, они проявляются в исследованиях «Левада-центра», они проявляются в исследованиях Фонда «Общественное мнение». К сожалению, мне неизвестна точная ситуация, которая имеет место в РОМИРе, и в новом ВЦИОМе. Кажется, новый ВЦИОМ категорически отказался от процедуры перевзвешивания, за что честь ему и хвала. Осталось собственно говоря, немного: выявить причину отклонения. Это вполне можно сделать экспериментально. Но пока руки до этого еще ни у кого не дошли.

Тем не менее, остается фактом, что те данные, которые получаются непосредственно из поля, часто оказываются шокирующе завышенными (или, наоборот, заниженными), например, по сравнению с недавно опубликованными данными Центризбиркома.

Ясно, что в таких условиях социологические фирмы идут на разные ухищрения с целью угадать результаты голосования и с помощью различных манипуляций подогнать их под предполагаемый результат. Этот факт оставался неизвестен широкой общественность вполоть до 2003 года, когда вышла моя первая публикация на эту тему – см. «О скрытых искажениях в социологических опросах». После той публикации описание механизма корректировки было выложено сайтах Фонда «Общественное мнение» и Левада-центра». Правда, эти описания надо еще поискать, да и внятность изложения тоже оставляет желать лучшего, но все же это лучше, чем отсутствие каких-либо объяснений и сокрытие самого факта корректировки.

Я возвращаюсь к начальной теме, а именно к точности социологических измерений. К сожалению, когда механизм искажающего воздействия неизвестен, то, вообще говоря, нам не известна и точность наших корректирующих усилий по получению более точных прогнозов.

До сих пор я говорил в основном о сложной российской ситуации. Повторяю, что неплохо было бы серьезнее разобраться с теми эффектами, о которых я говорю. На мой взгляд, существуют как минимум 4 разных гипотезы, которые объясняют появление такого рода эффектов, я не буду сейчас их касаться. Лично я придерживаюсь одной или, может быть, одновременно двух гипотез. Могут быть иные точки зрения, они достойны обсуждения и эмпирической проверки. Но разрешите перейти непосредственно к теме нашего обсуждения, а именно к результатам выборов в Украине.

Дело в том, что Украина, по сравнению с Россией, напоминает другую галактику. Если галактика Россия моноцентрична, то галактика Украина биполярна. Может быть, имеют место и другие отличия. В этих условиях, в силу непроясненности вопроса и неизвестности природы искажающих факторов, отсутствует какая бы то ни было возможность разумной корректировки. Поэтому все социологические службы дают тот сырой балл, который получается непосредственно из поля. Само по себе это хорошо, плохо лишь то, что этот балл страдает катастрофической 10% погрешностью, которая самым серьезным образом повлияет на политическое будущее этой страны (в хорошую или плохую сторону – не берусь судить).

Точно такая же проблема, кстати, возникла в Казахстане, где я работал лично в преддверии парламентских выборов. Там искажающие факторы тоже были неизвестны, и неизвестно, в какую сторону нужно вести такую корректировку (поясняю, что использование корректирующих моделей не запрещено, запрещено лишь сокрытие их методики и самого факта их использования). Поскольку мы не занимаемся скрытой корректировкой рейтингов, мы отдали заказчику сырой балл, полученный из поля. В целом результат оказался неплохим. Тем не менее, итоги выборов нас где-то настораживают. Мы сильно недооценили потенциал партии «Ак жол», и не исключаем, это связано с такого рода искажающими эффектами.

Анализируя данные по Украине сегодня (октябрь 2004 г.), мы вынуждены, по крайней мере, мысленно, учитывать некий фактор неопределенности, существования отклоняющей «темной массы», природа которой до сих пор остается непонятной. И в зависимости от того, какие гипотезы мы применим к этой ситуации, баланс рейтингов между основными кандидатами может качнуться в ту либо в другую сторону, причем очень сильно.

В какую сторону сработает в данном случае фактор неопределенности? Ответ на этот вопрос мы уже знаем: тяготение «темной массы» оказалось столь велико, что искажение составило 10% в пользу Януковича. Если бы не это искажение, картина для Януковича была бы поистине благостной. Но на деле получилось иначе.

Я не обсуждаю вопрос о том, победа какого кандидата была бы лучшей для Украины и для России, но несомненно, что если бы борющиеся команды знали об этом эффекте и понимали его природу, результат выборов был бы более предсказуем и менее скандальным. Наверное, и более справедливым для тех, кто придерживается демократических ценностей.

7. ОПЫТ КОНТРОЛЬНОГО ИССЛЕДОВАНИЯ ПРИ ПРОВЕДЕНИИ КОЛИЧЕСТВЕННОГО ОПРОСА В 2004 г.

Краткое описание исследования

Настоящее контрольное исследование было проведено в одном из российских регионов параллельно с опросом, который проводился агентством ХХХ. Цель исследования состояла в нахождении методов повышения точности прогнозов результатов региональных выборов.

Объем выборки контрольного исследования – 1600 чел. Анкета контрольного исследования совпадала с анкетой ХХХ за одним исключением: в контрольном исследовании респондентам сообщалась более подробная информация о лидерах региональных отделений политических партий (как в избирательном бюллетене).

При разработке выборки были приняты меры, предотвращающие смещение результатов вследствие географического сдвига. Для повышения надежности результатов в ходе опроса использовался 100% контроль заполнения анкет (путем обхода всех охваченных исследованием домохозяйств).

Главные результаты

1. В ходе контрольного исследования было выявлено 267 случаев фальсификации анкет, что составляет 16,7% от объема массива. Все эти анкеты были переделаны заново. Названный процент фальсификации следует рассматривать как минимальный, поскольку на стадии первичного контроля также было выявлено не поддающееся точному учету, но значительное число случаев подделки анкет (местный супервайзор браковал и переделывал целые маршруты). Поэтому суммарный объем фальсификаций может быть оценен на уровне 30% и даже выше.
2. В рамках контрольного исследования весь массив сфальсифицированных анкет был сохранен и обработан. Сравнение данных подлинного и сфальсифицированного массивов привело к выводу, что фальсификация анкет приводит к завышению рейтингов «Единой России», В.Путина и популярных региональных лидеров. Вероятно, это связано с тем, что фальсификаторы, не зная истинного положения дел, ориентируются на наиболее известные политические бренды.
3. Процент достижимости респондентов в контрольном исследовании составил 25% от числа посещенных домохозяйств. Этот результат является типичным для современных российских исследований. В хорошо отлаженной системе опросов при двухнедельном цикле процент достижимости может быть увеличен до 30% - 40% за счет планирования времени посещения домохозяйств, применения правила трех посещений, усиления контроля за действиями интервьюеров и ряда других известных социологам мер, которые пока слабо используются в российской практике.
4. Прогнозные рейтинги контрольного исследования и исследования ХХХ, исчисленные в процентах от всех опрошенных, оказались близки. Однако в рейтингах ХХХ заметно более велика доля затруднившихся ответить, что делает не вполне корректным прямое сопоставление этих рейтингов.
Рейтинг блока «За наш регион» в контрольном исследовании оказался выше, чем исследовании ХХХ (6% против 4% в процентах от всех опрошенных).
5. Ретроспективные рейтинги, в отличие от прогнозных рейтингов, заметно различаются в контрольном исследовании и исследовании ХХХ. В исследованиях ХХХ ретроспективные рейтинги «Единой России» и В.Путина в полтора-два раза превышают фактические (по данным ЦИК).
В контрольном исследовании ретроспективные рейтинги «Единой России» и В.Путина намного ниже и близки к данным ЦИК. Это позволяет сделать вывод о том, что при качественно проведенных полевых работах корректировка данных посредством процедуры взвешивания становится не нужной.
6. В современных российских условиях для получения достоверных социологических данных необходимо осуществлять 100-процентный контроль за ходом полевых работ, организационно управляя им из Москвы.

Результаты исследования

1. Методика контрольного исследования

• повышение валидности анкеты;
• устранение географического сдвига выборки;
• усиление контроля за ходом полевых работ.

Поскольку одна из целей контрольного исследования состояла в сравнении его результатов с результатами опроса ХХХ, ниже будут описаны сравнительные характеристики обоих исследований, относящиеся к каждому из названных блоков.

1.1. Анкета

Анкета контрольного исследования совпадала с анкетой ХХХ за одним исключением, касающимся той части анкеты, которая направлена на измерение рейтингов региональных отделений политических партий.

В исследованиях ХХХ до ноября 2004 г. в составе соответствующих вопросов указывались только наименования политических партий, а с ноября 2004 г. еще и фамилии тройки лидеров региональных отделений.

В контрольном исследовании наряду с названиями партий и фамилиями лидеров сообщалась также краткая информация об этих лидерах, соответствующая той информации, которая указывается в избирательных бюллетенях. Цель этого нововведения состояла в том, чтобы максимально приблизить процедуру опроса к процедуре реальных выборов и устранить возможную путаницу в понимании респондентами смысла задаваемых им вопросов (при отсутствии необходимых уточнений респонденты могли путать региональные выборы с федеральными и оценивать свои предпочтения в соответствии с восприятием федеральных, а не региональных политических брендов).

1.2. Выборка

Выборка контрольного исследования строилась таким образом, чтобы в максимальной степени предотвратить географический сдвиг в сторону урбанистических территорий.

Сравнение выборки контрольного исследования с выборкой ХХХ затруднено из-за отсутствия информации о некоторых характеристиках последней. По имеющимся данным можно сказать, что сегмент городов в выборке ХХХ представлен без искажений. Что же касается сегмента поселков городского типа и села, то вопрос о наличии или отсутствии в них географического сдвига требует уточнения.

Ниже будут описаны основные параметры выборки контрольного исследования. Там, где это возможно, они будут сравниваться соответствующими параметрами выборки ХХХ.

Объем выборки контрольного исследования составлял 1600 чел., объем выборки ХХХ – 1000 чел. Увеличение объема выборки в контрольном исследовании было сделано не только для снижения величины математической ошибки, но и для повышения ее географической представительности.

Число географических точек опроса. По этому параметру выборка контрольного исследования близка к выборке исследования ХХХ: первая включала в себя 26 населенных пунктов, вторая – 24. Обе выборки включали в себя равное количество городов и поселков городского типа. В сельском сегменте выборка контрольного исследования включала в себя на два села больше.

Представительство городов. В обеих выборках были представлены все 5 городов региона. Число респондентов, приходящееся на каждый город, в обеих выборках строго пропорционально доле населения этих городов в общей численности населения региона (отклонений нет).

Представительство поселков городского типа. В регионе имеется 12 поселков городского типа, из них в обеих выборках было представлено по 5. Однако в выборке ХХХ имеется определенный сдвиг в сторону более крупных по числу жителей поселков.

Представительство сельских населенных пунктов. Сведения о сельских населенных пунктах в описании выборки ХХХ отсутствуют, поэтому сравнение ее параметров с параметрами выборки контрольного исследования невозможно.

В выборке контрольного исследования были представлены 16 сельских населенных пунктов, из них 3 райцентра и 13 сел, не являющихся райцентрами. Последние были стратифицированы в зависимости от численности их населения и удаленности от райцентра.

Для предотвращения географического сдвига выборки отбор сельских населенных пунктов осуществлялся во всех 8 сельских районах.

Количество маршрутов. В контрольном исследовании для предотвращения географического сдвига выборки внутри населенных пунктов была установлена предельная численность респондентов на маршруте – 10 человек (в отдельных случаях до 12). Таким образом, вся выборка была разбита приблизительно на 160 маршрутов. Из них на Н. пришлось 45 маршрутов, Ч. – 20, и т.д. Маршруты выбирались в разных частях населенного пункта с различной удаленностью от центра и с разными типами застройки. В Н. при выборе маршрутов отбор наименований улиц осуществлялся случайным образом (по алфавиту).

Квотные задания. Отбор респондентов в каждом домохозяйстве осуществлялся согласно квотному заданию, включавшему в себя половозрастные квоты и ограничение по числу респондентов с высшим образованием. Квоты по всем 5 городам устанавливались в соответствии с демографической структурой населения каждого города. Квоты для поселков городского типа и сельских населенных пунктов определялись в соответствии со структурой населения соответствующего сегмента в целом.

1.3. Организация опроса

В соответствии с основной целью контрольного исследования в нем, по сравнению с обычно проводящимися исследованиями, были усилены меры по контролю за проведением опроса по следующим направлениям:

фиксация статистики достижимости респондентов;

выявление случаев фальсификации анкет.

Статистика достижимости респондентов. Вопрос о достижимости респондентов важен в связи с тем, что труднодостижимые респонденты (отсутствующие дома, отказывающиеся вступать в контакт с интервьюером и т.д.) могут отличаться по своим политическим установкам от тех, кто легче идет на контакт. В соответствии с этим в исследованиях важно достоверно фиксировать процент достижимости респондентов, чтобы затем принимать меры по его повышению и контроля за результатами.

В проведенном исследовании процент достижимости респондентов составил 25% от общего числа посещений домохозяйств (методика учета видна из приведенной ниже таблицы). Этот результат является типичным для современных российских исследований.

В хорошо отлаженной системе опросов при двухнедельном цикле процент достижимости может быть увеличен до 30% - 40% за счет планирования времени посещения домохозяйств, применения правила трех посещений, усиления контроля за действиями интервьюеров и ряда других известных социологам мер, которые пока слабо используются в российской практике. Возможность дальнейшего повышения процента достижимости требует экспертной и экспериментальной проработки.

При оценке процента достижимости респондентов важно использовать единую методику, поскольку исключение из учета отдельных позиций (например, «респондент вне квоты») может привести к формальному увеличению показателя без изменения его реальной величины.

ТАБЛИЦА 1. Причины недостижимости респондентов, % к числу случаев недостижимости

Выявление случаев фальсификации анкет. Для гарантированного обеспечения достоверности результатов опроса в исследовании был применен принцип сплошного (100%) контроля за ходом полевых работ, в ходе которого контролер посещал все указанные в маршрутах домохозяйства. Для осуществления этой работы из Москвы в регион был направлен контролер, который на месте сформировал бригаду контролеров в составе 10 человек. При этом московский контролер лично обошел около 800 обозначенных в маршрутах домохозяйств (50% выборки). При посещении домохозяйства контролер фиксировал факт проведения опроса, продолжительность заполнения анкеты, а также задавал респонденту пять контрольных вопросов: два вопроса по голосованию (за кандидата в губернаторы и за партии), два вопроса по явке и один вопрос по осведомленности об участвующих в выборах партиях. Достоверно заполненными считались только те анкеты, которые отвечали следующему набору критериев: найдено соответствующее домовладение и указанный в анкете респондент; факт опроса подтвержден респондентом; продолжительность опроса, по словам респондента, составила не менее 15 минут; при ответе на контрольные вопросы респондент называл те же позиции, которые обозначены в анкете.

В результате контрольных мероприятий было выявлено 267 сфальсифицированных анкет, что составляет 16,7% объема выборки. По всем этим анкетам опрос был проведен заново, поэтому общее число респондентов составило, как запланировано, 1600.

Названный процент фальсификации следует рассматривать как минимальный по следующим причинам.

Во-первых, указанная доля сфальсифицированных анкет была выявлена несмотря на то, что перед проведением опроса были приняты профилактические меры: повышена плата интервьюерам за анкету; супервайзор, бригадиры и все интервьюеры были предупреждены о будущем 100% контроле.

Во-вторых, местный руководитель поля, которому была назначена премия за хорошее выполнение работ, осуществлял собственный выборочный контроль. Точные результаты этого контроля неизвестны, но, по оценке московского контролера, на этой стадии контроля был выявлен не меньший процент фальсификаций, поскольку по его результатам браковались целые маршруты.

Таким образом, типичный для России уровень фальсификации анкет при проведении социологических опросов может быть оценен на уровне 30 – 50%, а в отдельных недобросовестных случаях и более.

Для получения достоверных социологических данных необходимо осуществлять 100-процентный контроль за ходом полевых работ, организационно управляя им из Москвы.

2. Результаты контрольного исследования

2.1. Сравнение прогнозных рейтингов

Прогнозные рейтинги контрольного исследования и исследования ХХХ, исчисленные в процентах от всех опрошенных, оказались близки.

Этот тезис требует определенных методических пояснений. Как известно, агентство ХХХ корректирует результаты своих опросов, применяя так называемую процедуру взвешивания. Суть этой процедуры состоит в приравнивании полученных путем опроса ретроспективных рейтингов политических партий к официальным результатам выборов в Госудуму по данным ЦИК. Полученные таким способом коэффициенты служат основой для пересчета прогнозных рейтингов политиков, партий и других измеряемых показателей. Необходимость этой процедуры обосновывается тем, что с ее помощью удается устранить изначальное искажение результатов социологических измерений, выражающееся в завышении рейтингов В.Путина и «Единой России».[1]

Учитывая, что результаты контрольного исследования не корректировались путем взвешивания, правильным будет сравнение их с невзвешенными рейтингами ХХХ. Такое сравнение указывает на близость полученных данных, хотя некоторые расхождения между ними все же имеются. Что же касается взвешенных результатов исследования ХХХ, то они заметно отличаются от невзвешенных данных обоих исследований.

ТАБЛИЦА 2. Рейтинги кандидатов на должность главы региона (% от всех опрошенных)

ТАБЛИЦА 3. Рейтинги политических партий, участвующих в выборах в закособрание региона (% от всех опрошенных)

Несмотря на близость полученных данных, между результатами контрольного исследования и невзвешенными результатами исследования ХХХ имеются определенные различия, особенно в части, касающейся партийных рейтингов.

Во-первых, в результатах контрольного исследования значимо выше рейтинг блока «За наш регион» (6% в контрольном исследовании и 4% в исследовании ХХХ). Рейтинг ЛДПР в контрольном исследовании также превышает аналогичный рейтинг ХХХ, хотя и не столь значимо.

Во-вторых, в контрольном исследовании заметно ниже, чем у ХХХ, доля респондентов, затруднившихся ответить, а также тех, кто не пойдет на выборы. Причины данного расхождения не ясны. Однако следует отметить их важность для построения политических прогнозов, поскольку фактически они увеличивают разницу между результатами обоих исследований. Если рассчитать рейтинги партий в процентах не от всех опрошенных, а от числа определившихся в выборе (т.е. выбравших ту или иную позицию в «избирательном бюллетене») то различие между невзвешенными рейтингами заметно возрастет. На примере «Единой России» видно, что это различие возрастает с 1% до 7%. Одновременно сближаются друг с другом невзвешенные данные контрольного исследования и взвешенные данные ХХХ. Если результаты контрольного исследования считать валидными, то они приводят к выводу о том, что для составления прогнозов процедура взвешивания не нужна, поскольку качественно проведенные полевые работы приводят к получению данных, делающих эту процедуру избыточной.

ТАБЛИЦА 4. Сравнение рейтингов «Единой России» в % от всех опрошенных и в % от определившихся в выборе

2.2. Сравнение ретроспективных рейтингов

Невзвешенные ретроспективные рейтинги, исчисленные в процентах от всех опрошенных, в отличие от прогнозных рейтингов, заметно различаются в контрольном исследовании и исследовании ХХХ.

В исследованиях ХХХ ретроспективные рейтинги «Единой России» и В.Путина в полтора-два раза превышают фактические рейтинги по данным ЦИК. Эта закономерность, присущая данным ХХХ, проявилась и в данном исследовании. Столь сильные различия и являются обоснованием для применения процедуры взвешивания, приравнивающей результаты опроса к данным ЦИК.

В контрольном исследовании ретроспективные рейтинги «Единой России» и В.Путина намного ниже, чем в исследовании ХХХ, и близки к данным ЦИК. Этот факт позволяет в порядке предположения сформулировать два важных вывода.

Во-первых, систематическое завышение рейтингов «Единой России», В.Путина, а также, возможно, других популярных партий и политиков может объясняться присутствием в массиве значительной доли сфальсифицированных анкет. Обоснование этой гипотезы см. ниже.

Во-вторых, если данные контрольного исследования считать валидными, они приводят к выводу о том, что при качественно проведенных полевых работах использование процедуры взвешивания становится бессмысленным, что видно из следующих расчетов.

Если рейтинг «Единой России» в невзвешенных данных составляет, по данным исследования ХХХ, 27%, а по данным ЦИК 15%, то отношение второго к первому составляет 0,56. Присвоение этого коэффициента анкетам соответствующей части массива существенно меняет соотношения между ретроспективными и прогнозными рейтингами различных партий.

Если же ретроспективный рейтинг «Единой России» составляет, согласно данным контрольного исследования, 17%, то его соотношение с данными ЦИК возрастет до 0,87, т.е. приблизится к единице. Использование такого коэффициента почти не меняет пропорции между рейтингами, делая ненужным использование всей корректирующей процедуры.

ТАБЛИЦА 5. Ретрорейтинги: контрольное исследование, ХХХ взвешенные и невзвешенные в сравнении с данными ЦИК.[2]

2.3. Влияние фальсификаций анкет на результаты опросов

Наличие в массивах социологических данных значимого числа сфальсифицированных анкет должно, очевидно, приводить к искажению результатов опросов. Однако в практике российских исследований еще ни разу не ставился вопрос о возможном характере («векторе») этих искажений.

В одной из наших предшествующих работ была сформулирована гипотеза о том, что фальсификация анкет приводит к завышению рейтингов «Единой России», В.Путина и популярных региональных лидеров в связи с тем, что фальсификаторы, не зная истинного положения дел, ориентируются на наиболее известные политические бренды в надежде, что в этом случае они не ошибутся.

Для проверки этой гипотезы в рамках контрольного исследования был сохранен и обработан весь массив отбракованных сфальсифицированных анкет, по которому был произведен отдельный счет всех вопросов анкеты. Сравнение данных подлинного и сфальсифицированного массивов подтверждает вышеназванную гипотезу.

Таким образом, если полученные в ходе контрольного исследования данные считать валидными, можно предположить, что качественное выполнение полевых работ при надлежащем уровне контроля способно устранить искажение социологических данных и сделать процедуру взвешивания излишней. Этот аспект нужно учесть при разработке системы мер по повышению точности социологических прогнозов. ТАБЛИЦА 6. Сравнение результатов контрольного исследования и сфальсифицированного массива по вопросу о голосовании на выборах главы региона

ТАБЛИЦА 7. Сравнение данных контрольного исследования и сфальсифицированного массива по вопросу о голосовании на выборах в заксобрание региона

ТАБЛИЦА 8. Сравнение данных контрольного исследования и сфальсифицированного массива по вопросу о ретроголосовании на выборах в Государственную Думу РФ в декабре 2003 года

ТАБЛИЦА 9. Сравнение данных контрольного исследования и сфальсифицированного массива по вопросу о ретроголосовании на выборах Президента РФ в марте 2004 года

3. Прогноз результатов выборов по данным контрольного исследования

Прогноз результатов выборов по данным контрольного исследования будет рассчитан по стандартной процедуре, обычно используемой для создания таких прогнозов. В дополнение к рейтингам, полученным непосредственно по итогам опроса, эта процедура учитывает два следующих фактора:

• явку избирателей;
• различия в степени мобилизованности электоратов разных политических субъектов (партий и кандидатов).

Прогноз партийных выборов. Логика составления прогноза состоит в том, чтобы рассчитать рейтинги не от всех опрошенных, а от той их части, которая с большей или меньшей степенью вероятности примет участие в голосовании.

Для определения уровня явки в анкете ХХХ сформулирован вопрос: «Как Вы думаете, Вы лично примете или не примете участие в выборах депутатов заксобрания региона 26 декабря 2004 г.?». Ответы на него распределялись по шестичленной шкале в диапазоне от «совершенно точно приму участие в выборах» до «совершенно точно не приму участие в выборах».

Кроме того, в качестве дополнительно фильтра в анкете предусмотрен вопрос «Ваше намерение участвовать, не участвовать в выборах может или не может измениться?». Ответы на этот вопрос распределялись по четырехчленной шкале в диапазоне от «безусловно может измениться» до «безусловно не может измениться».

Комбинации ответов на два названных вопроса позволяют оценить соотношения рейтингов применительно к разной степени готовности избирателей принять участие в выборах, а доли соответствующих групп в массиве позволяют определить конкретный процент явки, который соответствует той или иной степени готовности.

Для оценки соотношения рейтингов были выбраны три степени готовности участвовать в выборах согласно следующим критериям:

• все опрошенные, за исключением тех, кто совершенно точно не примет участия в выборах (соответствует явке 94%);
• те опрошенные, которые, по их мнению, совершенно точно примут участие в выборах (соответствует явке 62%);
• те опрошенные, которые, по их мнению, совершенно точно примут участие в выборах и при этом указывают, что их решение уже не может измениться (соответствует явке 49%).

Учитывая, что реальная явка на выборах в Государственную Думу в 2003 году составила 49,2%, последняя цифра представляется наиболее реальной, и именно она будет положена в основу прогноза. Две прочие позиции приводятся как иллюстрация работы метода.

Ниже наряду с данными контрольного исследования приводятся рассчитанные по аналогичной методике данные ХХХ.

ТАБЛИЦА 10. Рейтинги партий в зависимости от явки

Цифры, приведенные в расположенной выше таблице, пока еще не являются прогнозом, поскольку в них присутствует определенная доля респондентов, заявивших о своем участии в выборах, но не определившихся с конкретной партией, за которую они будут голосовать (таких, как видно из таблицы, 11%).

Для определения возможных политических предпочтений этой категории респондентов был использован вопрос «За какие из этих партий Вы в принципе допускаете для себя возможность проголосовать?». Распределение ответов на этот вопрос данной категории респондентов дано в столбце (столбец 2 Таблицы 11).

Прибавление к числу определившихся тех, кто еще не определился, но выразил свои политические предпочтения, дает прогноз выборов по партиям в заксобрание региона (столбец 3 Таблицы 11).

ТАБЛИЦА 11. Прогноз выборов по партиям в заксобрание региона (% к числу респондентов при явке 49%)

Прогноз выборов главы региона. Прогноз этих выборов, рассчитанный по такому же алгоритму, дает нижеследующие результаты.

В основу прогноза положена явка 52%, так как на предыдущих выборах главы региона явка избирателей составила 52,3%. ТАБЛИЦА 12. Рейтинг кандидатов на пост главы региона в зависимости от явки

ТАБЛИЦА 13. Прогноз результатов выборов главы региона (% к числу респондентов при явке 52%)

[1] Прогнозными рейтингами принято назвать ответы вопрос «Предположим, что выборы назначены на ближайшее воскресенье. За кого из кандидатов (за какую партию Вы проголосуете?».Ретроспективными рейтингами (ретрорейтингами) принято называть ответы на вопрос «За кого из кандидатов (за какую партию) Вы проголосовали на прошлых выборах?».

[2] Обращает на себя внимание строгое совпадение ретрорейтингов ХХХ и данных ЦИК как по «Единой России», так и по В.Путину. Этот вопрос требует разъяснения. Если взвешивание осуществлялось по «Единой России», то строгое совпадение цифр могло произойти только по этой позиции.

8. АНАЛИЗ ГЕОГРАФИЧЕСКОЙ СТРУКТУРЫ
РЕГИОНАЛЬНЫХ ВЫБОРОК

ГЛАВНЫЕ ВЫВОДЫ

Предметом анализа настоящей записки является территориально-географическая структура региональных выборок социологических опросов. В ходе анализа были выявлены определенные географические смещения, которые описаны ниже.

Необходимо отметить, что предметом данного анализа является только городская часть выборок, поскольку данные о сельской части в описании выборок отсутствуют. Однако, судя по косвенным признакам, сельская часть выборок еще сильнее сдвинута к инфраструктурным центрам, чем городская.

Территориально-географические сдвиги в выборках могут быть разделены на те, которые могут и которые не могут быть надлежащим образом скорректированы. Первые требуют в первую очередь улучшения качества планирования выборок, однако, если по каким-то причинам смещение все же произошло, оно должно быть скорректировано путем общеизвестных статистических процедур, называемых ремонтом массива. Территориально-географические сдвиги, которые не могут быть адекватно скорректированы таким способом, требуют изменения подхода к формированию выборок.

Проведенный анализ региональных выборок не позволяет точно сказать, в какой мере несовпадение социологических прогнозов с официальными результатами выборов объясняется именно территориально-географическими сдвигами. Тем не менее, для повышения точности рейтинговых измерений выявленные территориально-географические сдвиги в любом случае необходимо устранить.

1. Территориально-географические сдвиги, подлежащие коррекции

Соотнесение анализируемых выборок со структурой генеральной совокупности по статистическим показателям структуры расселения (стратификация по типам населенных пунктов) показывает, что в отдельных региональных выборках завышена доля жителей областного центра, доля населения крупных городов, доля городского населения в целом. Объем завышения, как правило, не превышает 4–5%, т.е. не очень значителен. Тем не менее, коль скоро данное смещение было допущено, оно должно было быть скорректировано путем процедуры взвешивания по имеющейся официальной статистике численности постоянных жителей всех типов населенных пунктов (согласно последней переписи).

2. Территориально-географические сдвиги, не подлежащие коррекции

2.1. Соотнесение имеющихся выборок с картами соответствующих территорий фиксирует наличие географического смещения в сторону урбанистических зон в 8 из 15 региональных выборках. При формально правильном представительстве в выборках всех типов районов (стратификации районов) и всех типов населенных пунктов (стратификация населенных пунктов) проектировщики выборки отбирали наиболее урбанизированные, наиболее доступные в транспортном отношении территории. Этот тип смещения в выборке не подлежит коррекции путем взвешивания из-за отсутствия данных, необходимых для перевзвешивания по типам территорий.

Данный тип смещения выборки искажает результаты опросов, поскольку население периферийных территорий имеет свои электоральные особенности, не выявленные исследованием. По нашей оценке, доля населения таких территорий в разных регионах составляет от 6% до 18% общей численности населения соответствующих регионов.

По сельским населенным пунктам необходимая для анализа информации отсутствует. Однако, можно предположить, что в выборку попадают села, наиболее близко расположенные к автотрассам, железным дорогам и крупным населенным пунктам. По этой причине из выборки могут выпадать малые, труднодоступные и «неперспективные» села, население которых также обладает особенностями электорального поведения.

2.2. В ряде региональных выборок не представлены территории, электоральные установки населения которых традиционно отличаются от электоральных установок основных территорий региона.

Для более тщательного анализа региональных выборок с этой точки зрения необходимо изучение электоральной истории каждой территории в отдельности. Поэтому данная проблема требует дополнительного анализа.

Однако, из имеющегося у нас фактического материала следует, что в 4 регионах из 15 (Читинская, Иркутская, Архангельская и Камчатская области) в выборках не представлено население национальных автономных округов. Доля населения автономных округов составляет от 5% до 7%в общей численности соответствующих регионов.

Особо необходимо отметить, что в выборке Иркутской области не было представлено население Усть-Ордынского Бурятского АО, что исказило результаты прогнозов голосования по Аграрной партии России. Именно по Усть-Ордынскому округу АПР набрала более 40% голосов, что позволило партии преодолеть 5%-й барьер в целом по Иркутской области, что не прогнозировал опрос.

В выборке по Читинской области не представлено население Агинского Бурятского Автономного округа, что также могло исказить результаты прогнозов, поскольку результаты голосования по АБАО ранее бывали значимо отличны от результатов по Читинской области в целом.

Для устранения территориально-географических сдвигов в дальнейшем необходимо:

• более тщательно выверять и соблюдать квоты по типам представительств населенных пунктов (население областных центров, крупных городов, средних городов, малых городов, поселков городского типа, сел-райцентров, крупных, средних и малых сел должно быть представлено в выборках в соответствии с существующей статистикой);
• устранить урбанистический сдвиг, представив в региональных выборках как «центральные» так и «периферийные» территории, а также малые и «неперспективные» села в составе территорий, формально относящихся к урбанизованным;
• при проектировании выборки уделять особое влияние представленности территорий со специфическим электоральным поведением населения.

АНАЛИЗ РЕГИОНАЛЬНЫХ ВЫБОРОК

1. Анализ выборки Иркутской области

В структуре выборки Иркутской области зафиксированы следующие географические смешения: 1.1. Завышена доля городского населения и занижена доля сельского населения. В выборке соотношение городского и сельского населения составляет 85% и 15% соответственно. По данным Госкомстата, соотношение городского и сельского населения в Иркутской области составляет 79% и 21% соответственно.

1.2. В выборке по Иркутской области не представлены города с населением менее 25 000. Население городов с такой численностью составляет 5% от общей численности жителей области.

1.3. Доля населения городов с численностью более 100 000 завышена на 5%: 31% в выборке против 26% по данным Госкомстата.

1.4. Доля населения областного центра завышена на 4% : 25% в выборке против 21% по данным Госкомстата.

1.5. Из 27 районов Иркутской области в выборке не представлены 12 удаленных и труднодоступных районов, общая численность которых составляет 10% от общего количества жителей области. 1.6. В выборке Иркутской области не представлено население Усть-Ордынского Бурятского АО, что исказило результаты прогнозов голосования в Законодательное Собрание по Аграрной партии России. Доля населения УОБАО составляет 5% от общей численности населения Иркутской области. Именно по Усть-Ордынскому округу АПР набрала 42.5% голосов избирателей, что позволило партии преодолеть 5%-й барьер в целом по Иркутской области. Опросы не прогнозировали прохождение АПР в Законодательное Собрание области.

1.7. Выборка Иркутской области в целом смещена в сторону более урбанизированных и более доступных географических зон расселения. На Карте 1 схематично представлено территориальное распределение точек опроса, которое показывает неравномерное распределение территориальных и географических зон, включенных в выборку.

Карта 1

2. Анализ выборки Тульской области

В структуре выборки Тульской области зафиксированы следующие географические смещения: 2.1 В выборке не представлены 12 удаленных и труднодоступных районов, общая численность которых составляет 7% об общего количества жителей области. 2.2. Выборка Тульской области в целом смещена в сторону более урбанизированных и более доступных географических зон расселения. На Карте 2 схематично представлено территориальное распределение точек опроса, которое показывает неравномерное распределение территориальных и географических зон, включенных в выборку.

Карта 2

3. Анализ выборки республики Марий Эл

В структуре выборки республики Марий Эл не зафиксировано значительных географических смещений. Следует только отметить, что доля населения столицы республики завышена в выборке на 4% (38% в выборке против 34% по данным Госкомстата). Точки опроса распределены достаточно равномерно (см. Карту 3).

Карта 3

4. Анализ выборки Читинской области

В структуре выборки Читинской области зафиксированы следующие географические смещения: 4.1 Доля населения областного центра завышена на 14%: 38% в выборке против 24% по данным Госкомстата.

4.2. В выборке на 4% завышена доля населения крупных городов, население городов с численностью менее 15 000 в выборке не представлено.

4.3. Из 28 районов Читинской области в выборке не представлены 11 удаленных и труднодоступных районов, общая численность которых составляет 15% от общего количества жителей области. 4.4. В выборке Иркутской области не представлено население Агинского Бурятского АО, численность которого составляет 6 % от общей численности населения области.

4.5. Выборка Читинской области в целом смещена в сторону более урбанизированных и более доступных географических зон расселения. На Карте 4 схематично представлено территориальное распределение точек опроса, которое показывает неравномерное распределение территориальных и географических зон, включенных в выборку.

Карта 4

5. Анализ выборки Калужской области

В структуре выборки Калужской области не зафиксировано значительных географических смещений. Следует только отметить, в выборке не представлено население городов численностью меньше 10 000. Доля населения таких городов в общей численности населения области составляет 4%, а в численности городского населения – 5%.Точки опроса распределены достаточно равномерно (см. Карту 5).

Карта 5

6. Анализ выборки Псковской области

В структуре выборки Псковской области зафиксированы следующие географические смещения: 6.1. Доля населения г. Великие Луки завышена на 4%: 19% в выборке против 15% по данным Госкомстата.

6.2. Из 24 районов Псковской области не представлены 10 удаленных районов, численность населения которых составляет 18% в общей численности населения Псковской области.

6.3. Выборка Псковской области в целом смещена в сторону более урбанизированных и более доступных географических зон расселения. На Карте 6 схематично представлено территориальное распределение точек опроса, которое показывает неравномерное распределение территориальных и географических зон, включенных в выборку.

Карта 6

7. Анализ выборки Курганской области

В структуре выборки Курганской области зафиксированы следующие географические смещения: 7.1. Завышена доля городского и занижена сельского населения. В выборке доля городского населения составляет 62%, доля сельского – 38%о По данным Госкомстата доля городского населения Курганской области составляет 56%, доля сельского – 44%.

7.2. Доля населения областного центра завышена на 4%: 37% в выборке против 33% по данным Госкомстата.

7.3. Из 24 районов Курганской области в выборке не представлены 9 удаленных районов, численность населения которых составляете 16% в общей численности населения области.

7.4. Выборка Курганской области в целом смещена в сторону более урбанизированных и более доступных географических зон расселения. На Карте 7 схематично представлено территориальное распределение точек опроса, которое показывает неравномерное распределение территориальных и географических зон, включенных в выборку.

Карта 7

8. Анализ выборки Астраханской области

В структуре выборки Астраханской области не зафиксировано значительных географических значительных смещений. Следует только отметить, что на 7% завышена доля населения областного центра: 54% в выборке против 47% по данным Госкомстата– 5%. Точки опроса распределены достаточно равномерно (см. Карту 8).

Карта 8

9. Анализ выборки Волгоградской области

В структуре выборки Волгоградской области не зафиксировано значительных географических смещений. Точки опроса распределены достаточно равномерно (см. Карту 9).

Карта 9

10. Анализ выборки Ульяновской области

В структуре выборки Ульяновской области зафиксированы следующие географические смещения: 10.1. Завышена доля городского и занижена доля сельского населения. В выборке доля городского населения составляет 78%, доля сельского – 22%. По данным Госкомстата доля городского населения Ульяновской области составляет 73%, доля сельского – 27%.

10.2. Доля населения областного центра завышена на 4%: 51% в выборке против 47% по данным Госкомстата. Точки опроса распределены достаточно равномерно (см. Карту 10).

Карта 10

11. Анализ выборки Брянской области

В структуре выборки Брянской области не зафиксировано значительных географических смещений. Точки опроса распределены достаточно равномерно (см. Карту 11).

Карта 11

12. Анализ выборки Архангельской области

В структуре выборки Архангельской области зафиксированы следующие географические смещения:

• Доля населения областного центра завышена на 3%: 27% в выборке против 24% по данным Госкомстата.

• В выборке на 4% завышена доля населения крупных городов (свыше 25 000), население городов с численностью менее 10 000 в выборке не представлено.

12.3. Из 17 районов Архангельской области в выборке не представлены 8 удаленных районов, численность населения которых составляете 12% в общей численности населения области.

• В выборке не представлено население Ненецкого Автономного Округа, который входит в состав Архангельской области. Доля населения НАО составляет 3% в общей численности населения Архангельской области.

12.5. Выборка Архангельской области в целом смещена в сторону более урбанизированных и более доступных географических зон расселения. На Карте 12 схематично представлено территориальное распределение точек опроса, которое показывает неравномерное распределение территориальных и географических зон, включенных в выборку.

Карта 12

13. Анализ выборки Хабаровского края

В структуре выборки Хабаровского края зафиксированы следующие географические смещения: 13.1. Доля населения Хабаровска завышена на 6%: 46% в выборке против 40% по данным Госкомстата.

13.2. Из 17 районов Хабаровского края в выборке не представлены 8 удаленных районов, численность населения которых составляете 7% в общей численности населения области.

13.3. Выборка Хабаровского края в целом смещена в сторону более урбанизированных и более доступных географических зон расселения. На Карте 14 схематично представлено территориальное распределение точек опроса, которое показывает неравномерное распределение территориальных и географических зон, включенных в выборку.

Карта 13

14. Анализ выборки Камчатской области

В структуре выборки Камчатской области зафиксированы географические смещения: 14.1. На 8% завышена доля населения областного центра: 62% в выборке и 54% по данным Госкомстата.

14.2. На 7% завышена доля городского населения. По данным Госкомстат доля городского населения в области составляет 81%, доля сельского – 19%. В выборке 88% и 12% соответственно.

14.3. В выборке Камчатской области не представлено население Корякского Автономного Округа. Доля населения которого составляет 7% в общей численности населения области.

15. Анализ выборки республики Хакасия

В структуре выборки республики Хакасия не зафиксировано значительных географических смещений. Следует только отметить, что на 4% завышена доля населения Абакана: 33% в выборке против 29% по данным Госкомстата. Кроме того, на 3% завышена доля городского и соответственно на 3% занижена доля сельского населения: по данным Госкомстата доля городского населения республики составляет 71%, доля сельского – 29%. В выборке 74% и 26% соответственно. Точки опроса распределены достаточно равномерно (см. Карту 15).

Карта 15

9. ПРОБЛЕМА НЕСТАБИЛЬНОСТИ РЕЙТИНГОВЫХ ИЗМЕРЕНИЙ

Результаты рейтинговых измерений, равно как и результаты любых других измерений, подвержены определенным колебаниям, или погрешности. Применительно к измерениям рейтингов эта погрешность делится на теоретическую и фактическую. Теоретическая погрешность определяется теорией выборки, в основе которой лежит математическая теория вероятности. Именно о ней обычно говорят социологи, указывая на так называемую ошибку выборки.

Фактическая погрешность определяется технологией измерения. Величина фактической погрешности определяется путем вычисления среднего квадратичного отклонения результатов измерения от тренда.

При проведении большого числа замеров фактическая погрешность всегда будет выше теоретической, но в идеале должна приближаться к ней. Разница между теоретической и фактической погрешностью характеризует качество технологии измерения, позволяет судить об устойчивости измерительной процедуры. О фактической погрешности рейтинговых измерений российские социологи, насколько известно, ни разу не сообщали широкой публике.

Насколько велика может быть фактическая погрешность по сравнению с теоретической? Ответ на этот вопрос может быть дан на двух следующих примерах:

• опубликованных результатах рейтинговых измерений ВЦИОМа и ФОМа за период с января 2000 по август 2003 гг. (по ВЦИОМу речь идет о данных, полученных в период до его реорганизации в Левада-центр, которая произошла в августе 2003 г.);
• опубликованных результатах экзит-поллов на выборах президента Украины в 2004 г.

Дополнение 2007 г.

Предлагаемый читателю анализ проведен на результатах рейтинговых измерений, проведенных в 2003 – 2004 гг. Позднее этот результат не обновлялся, хотя сделать это не сложно на опубликованных рейтингах, полученных как российскими, так и украинскими фирмами. Можно предположить, что с тех пор фактическая погрешность российских и украинских рейтинговых измерений уменьшилась. В этом случае было бы интересно понять, за счет каких технологических нововведений это произошло.

Результаты такого анализа было бы интересно сравнить с аналогичными результатами, получаемыми службами опроса общественного мнения в ведущих западных странах. На данный момент недостаток времени препятствует проведению такой работы, но автор надеется провести ее в будущем.

1. Результаты измерений ВЦИОМа и ФОМа

В Таблице 1 приведены данные о величине теоретического и фактического отклонения данных, рассчитанные для двух уровней вероятности: 70% и 95% (на языке теории вероятности этот показатель называется уровнем значимости).

Смысл этих данных может быть пояснен на примере рейтинга партии «Яблоко» для уровня значимости 70%. Приведенные в таблице данные говорят о том, что теоретически каждое измерение рейтинга этой партии с вероятностью 70% может отклоняться от тренда на величину не более 0,5 процентных пункта в ту или иную сторону. Этот результат одинаков для ВЦИОМа и ФОМа. Что касается фактического отклонения по результатам прошедших измерений, то результаты замеров ВЦИОМа с вероятностью 70% отклоняются от тренда на величину, не превышающую 0,9 процентных пункта, для ФОМа – 0,6 процентных пункта.

При переходе от 70% к 95% уровню значимости величина возможного отклонения удваивается (согласно математической теории вероятности). Для уровня значимости 95% величина теоретической погрешности рейтинга «Яблока» у обеих служб составит плюс-минус 1 процентный пункт, фактической у ВЦИОМа – 1,9, у ФОМа – 1,2 пункта.

Согласно теории вероятности величина погрешности измерения увеличивается в середине шкалы, т.е. в районе 50%, и уменьшается на ее крайних точках, т.е. в районе 0% и 100%. Это означает, что относительно большая величина отклонения не всегда может быть истолкована как меньшая надежность измерения. Этот теоретический эффект необходимо учитывать при оценке данных о величине отклонений.

Правильная оценка надежности процедуры измерения может быть получена путем определения соотношения между теоретической и фактической погрешностью. Эти соотношения приведены в последних колонках Таблиц 1 и 2.

Данные, приведенные в названных таблицах, показывают, что фактическая погрешность измерений обеих социологических служб, как и следовало ожидать, превышает теоретический уровень: у ВЦИОМа в среднем в 2,6 раза, у ФОМа в 2,3 раза.

Обращает на себя внимание тот факт, что наибольшее превышение фактического отклонения над теоретическим характерно для рейтингов «Единой России» и В.Путина. У обеих служб фактический разброс величины этих рейтингов в 3 – 4 раза превышает теоретический. В абсолютных цифрах это означает, что величина рейтинга «Единой России» с вероятностью 70% укладывается в диапазон плюс-минус 3,2 пункта по данным ВЦИОМа и 5,2 пункта по данным ФОМа.

Для уровня значимости 95% величина этого диапазона составит соответственно для ВЦИОМа 6,4, а для ФОМа 10,4 процентных пункта. Другими словами, для данного уровня значимости рейтинг «Единой России» по данным ВЦИОМа может колебаться в пределах от 15% до 27%, а по данным ФОМа от 22% до 42%.

Повышенная нестабильность рейтингов «Единой России» и В.Путина объясняется, возможно, повышенным вниманием составителей анкет к различным содержательным вопросам, влияющим на эти рейтинги. Составители анкет, по-видимому, много экспериментируют с вопросами, прямо или косвенно связанными с темой В.Путина и «Единой России», что влияет на структуру анкеты и, косвенно, на результаты измерений. Эта гипотеза требует проверки. Таблица 1. Теоретическая и фактическая погрешность в измерениях рейтингов ВЦИОМа и ФОМа при уровне значимости 70%, процентных пунктов

Таблица 2. Теоретическая и фактическая погрешность в измерениях рейтингов ВЦИОМа и ФОМа при уровне значимости 95%, процентных пунктов

2. Анализ экзит-поллов на выборах президента Украины

4 ноября 2004 г. украинский Консорциум по проведению экзит-полла, посвященного прогнозированию результатов второго тура выборов президента Украины, обнародовал данные опроса избирателей на выходе из участков. Консорциум включал в себя 4 ведущих социологических фирмы:

По итогам результатов опросов оказалось, что данные, полученные различными участниками Консорциума, заметно отличаются друг от друга.

Так, согласно совместным результатам КМИС и Центра Разумкова (ЦР), В.Янукович получил в первом туре голосования 37,8% голосов, а В.Ющенко – 44,6%.

Согласно «Соцису», В.Янукович набрал 41,0%, В.Ющенко – 42,0%. Наконец, согласно данным «Социального мониторинга» (СМ), В.Янукович получил 41,2%, В.Ющенко – 40,1%

По данным украинского Центризбиркома В.Янукович набрал 39,9% голосов избирателей, В.Ющенко – 39,2%.

Налицо определенные расхождения между результатами опроса и объективным результатом голосования. В чем причина этих расхождений? На этот счет могут существовать разные версии. Ниже будет рассмотрен вопрос о том, насколько эти результаты могут быть истолкованы как ошибка измерения.

На пресс-конференции 4 ноября участники Консорциума проинформировали, что величина статистической ошибки измерений или теоретическая ошибка выборки составляет плюс-минус 2%. Это означает, что если бы отклонения рейтингов носили случайный характер, то рейтинг В.Януковича с вероятностью 95% должен был бы находиться в диапазоне от 37,9% до 41,9, а рейтинг В.Ющенко в диапазоне от 37,2% до 41,2%.

Сравнивая эти интервалы с данными экзит-поллов, мы видим, что результаты «Социального мониторинга» полностью укладываются в названный интервал, результаты «Социса» укладываются для В.Януковича, но не для В.Ющенко, а результаты КМИС и ЦР полностью выходят за его рамки, что говорит о неслучайном характере этих отклонений (по сравнению с теоретическим уровнем). Этот факт служит основанием для выдвижения гипотез о методических ошибках при проведении опросов либо о политической ангажированности названных исследовательских центров.

Однако прежде, чем делать такие выводы, следует рассмотреть еще одну, связанную с возможной ошибкой измерения.

Опросы экзит-полл проводились всеми участниками Консорциума во всех 26 украинских регионах. Это дает возможность оценить величину разброса полученных данных как для каждого участника, так и для их усредненных результатов.

Для начала констатируем, что результаты экзит-поллов, полученные различными участниками Консорциума, во многих регионах сильно отличаются друг от друга (намного сильнее, чем усредненные данные по всей Украине). Это говорит об определенной нестабильности измерительной процедуры.

Так, для В.Януковича показатели измерения дают разброс от 29,0% («Социс») до 46,4% (КМИС) в Закарпатской области, от 20,9% (СМ) до 32,8% («Социс») в Полтавской, от 27,8% (ЦР) до 36,0% (СМ) в Херсонской, и т.д.

Аналогично рейтинги В.Ющенко дают разброс от 39,1% (ЦР) до 76,1% (КМИС) в Сумской области, от 31,9% («Социс») до 53,3% (ЦР) в Кировоградской, от 54,7% (СМ) до 73,9% («Социс») в Киевской, и т.д.

Средства математической статистики позволяют вычислить усредненные характеристики этих колебаний, в частности, вычислить величину интервалов, характеризующих фактическую погрешность измерения. Результат этих вычислений показал, что фактическая погрешность достаточно велика и намного превышает теоретическую.

Фактическая величина погрешности для каждого участника Консорциума с вероятностью 95% составляет (в процентных пунктах): Таблица 3. Фактическая погрешность в измерениях участников украинского Консорциума при уровне значимости 95%, процентных пунктов

Напомним, что теоретическая величина погрешности для каждого кандидата и для всех участников Консорциума составляет лишь 2%. Таким образом, фактическая погрешность превышает теоретическую в 2 – 4 раза (точно так же, как и российских – см. выше).

Фактическая погрешность измерения украинского экзит-полла такова, что неслучайное отклонение рейтинга В.Януковича должно выйти за пределы диапазона от 35,3% до 44,5%, а неслучайное отклонение рейтинга В.Ющенко – за пределы диапазона от 31,5% до 46,9%.

Как мы видим, результаты рейтинговых измерений всех участников консорциума полностью укладываются в эти диапазоны, что может говорить о вполне случайном характере разброса измерений. Следовательно, нет оснований для выдвижения гипотез об ангажированности тех или иных участников Консорциума, но есть основания говорить о несовершенстве технологии опроса, характеризующейся столь высокой нестабильностью результатов.

Выводы

В целом результаты рейтинговых измерений, осуществляемых в России и в Украине, отличаются очень высокой нестабильностью. Причины этого явления не изучены. Можно предположить, что здесь играет роль нестабильность маршрутов, но возможны и иные гипотезы. Для сравнения важно было бы изучить уровень стабильности измерений ведущих социологических служб мира (Гэллапа и других). Если измерения этих фирм столь же нестабильны, можно говорить о том, что это общемировая проблема. Но если названная нестабильность свойственна только рейтингам стран СНГ, необходимо тщательно проанализировать технологию и устранить причины, порождающие высокий разброс показателей. Приложение. Диаграммы рейтинговых измерений ВЦИОМа и ФОМа в 2003 г.

• Тонкие ломаные линии – опубликованные электоральные рейтинги.
• Толстые плавные линии – сглаженные кривые по методу экспоненциального сглаживания.

Глава 2. Методология и теория

1. СРАВНЕНИЕ РЕЗУЛЬТАТОВ КОЛИЧЕСТВЕНННОГО И КАЧЕСТВЕННОГО ИССЛЕДОВАНИЯ

Сравнить результаты количественного и качественного исследования часто бывает не просто. Как правило, оба метода используются в рамках одного проекта, дополняя друг друга. Экспериментальное сравнение результатов количественного и качественного исследований двумя независимыми группами исследователей, насколько нам известно, не проводилось. Однако сама жизнь порой ставит эксперименты, которые не проводились в рамках научных проектов. Ниже будет описан один из таких экспериментов.

Исходный заказ на исследование был сформулирован в конце 70-х годов работниками аппарата Минуглепрома СССР и состоял в том, чтобы изучить причины очень высокой сменяемости линейных руководителей среднего звена на угольных шахтах. При прохождении по административным инстанциям (от заказчика к руководству отраслевого института, от руководства института – к руководителю социологической) суть заказа определенным образом исказилась исказилась. Слово «сменяемость» заменилось на более привычное социологам слово «текучесть кадров», а слово «руководящие работники» – на более привычное «инженерно-технические работники» (ИТР), в число которых входят не только линейные руководители, но и большое число работников, занятых в цехах и в заводоуправлении на должностях инженеров, техников, экономистов, нормировщиков и др. В итоге название темы стало звучать как «Изучение причин текучести кадров ИТР на угольных шахтах».

Руководство отраслевого института поручило разработку этой темы своей социологической лаборатории, в составе которой работал и автор данной книги. Одновременно такой же заказ на основе хоздоговора был сделан группе работников АНХ СССР. В результате выдачи параллельных заданий возникла своего рода «конкуренция» между группой АНХ и социологической лабораторией отраслевого инсститута.

Группа АНХ пошла по традиционному анкетному пути и в определенном смысле сделала это грамотно. За основу была взята типовая анкета, предназначенная для изучения причин текучести рабочих кадров. Для того, чтобы провести опрос инженерно-технических работников, анкета, приспособленная для опроса рабочих, требовала определенной переделки, учитывающей специфику труда ИТР. С этой задачей группа АНХ справилась удовлетворительно. В частности, были учтены различия в организации систем оплаты труда рабочих кадров и ИТР.

В целом разработанная указанной группой анкета не содержала в себе грубых методических ошибок в том смысле, что достаточно легко заполнялась респондентами. Опрос был проведен по большой выборке, результаты обработаны на ЭВМ, и главный итог обследования выглядел так: основными причинами текучести кадров ИТР являются низкая зарплата и плохая обеспеченность жильем. В определенном смысле этот результат можно признать правильным, потому что зарплата многих должностных групп ИТР, включая и руководителей производства, в те годы зачастую была ниже, чем у рабочих, и обеспеченность жильем, также объективно была неудовлетворительной. Так или иначе, описанный выше результат внешне выглядел правильным и даже очевидным, но на самом деле представлял собой колоссальную ошибку, неправильно трактуя процессы сменяемости и текучести кадров изучаемого контингента работников.

Перейдем теперь к описанию той части работы, которая была выполнена группой исследователей, в состав которой входил и автор данной книги. По совету научного руководителя для уточнения проблематики была проведена серия глубоких интервью с руководителями отрасли. Первым шагом явилась беседа с заказчиком – ответственным работником Минуглепрома СССР. Эта беседа помогла уточнить суть заказа и мотивы его выдвижения. Опрашиваемый объяснил, что министерство обеспокоено высокой сменяемостью и трудностями комплектования кадрового состава руководителей производства на угольных шахтах. В доказательство он показал отпечатанные на ЭВМ сводки, которые действительно показывали значительный рост показателей сменяемости руководителей на протяжении последних лет. Относительно причин этого явления заказчик что-либо сообщить затруднился и сказал, что именно это и необходимо узнать в ходе обследования.

После беседы с заказчиком было проведено около 20 интервью с руководителями угольных шахт, в основном с директорами и главными инженерами. Часть собранных тогда интервью позднее была опубликована в сборнике «Производственные интервью, выпуск 2».

Первые же беседы с руководителями шахт поразили сложностью, напряженностью производственной обстановки и обилием проблем, которые не были не только описаны, но и даже поставлены отечественными социологами. Далее, интервью прояснили суть сделанного министерством заказа. Речь, безусловно, шла не о текучести кадров, т.е. не об увольнениях работников по собственному желанию. Такие увольнения имели место только в низшей должностной группе руководителей (горных мастеров), но и это было относительно редким случаем. Вместе с тем, кадровая ситуация на следующей должностной ступени, а именно должности начальников участков, которая соответствует должности начальника цеха в других отраслях промышленности, была признана чрезвычайно острой почти всеми опрошенными. При этом речь шла не о текучести кадров, так как увольнения по собственному желанию были нехарактерны для этой должностной группы и представляли собой редкие и нетипичные случаи.

Высокие показатели сменяемости, отражавшиеся в министерских сводках, порождались так называемой административной сменяемостью, т.е. освобождением руководителей от должности за невыполнение плана, нарушения техники безопасности и другим подобным причинам. Эта сменяемость действительно была очень высока, на некоторых шахтах она достигала 50 и более процентов в год.

Информация, полученная в ходе проведения глубоких интервью, выявила основополагающий недостаток проводившегося параллельно анкетного обследования. Это обследование, напоминаем, было ориентировано на изучение причин текучести инженерно-технических кадров. Главный порок этого исследования состоял в том, что в нем были изучены причины явления, которого в действительности не существует. Глубокие интервью сразу выявили, что вместо текучести существует административная сменяемость, а это принципиально иное явление, порождаемое совершенно иными причинами и отражающие совершенно иную проблему.

Обнаруженное в ходе исследования новое явление административной сменяемости требовало выяснения причин его возникновения и функциональной роли. Понимание этих вопросов пришло не сразу. Первым обратившим на себя внимание сигналом был тот факт, что небольшое число опрашиваемых руководителей (около 10-15%), в отличие от большинства своих коллег, характеризовали производственную и кадровую обстановку на своих шахтах как относительно спокойную. Это послужило основой для выдвижения гипотезы о наличии связи между степенью напряженности плана и сменяемостью кадрового состава руководителей. Дальнейшие исследования, а также изучение литературы (главным образом мемуаров руководителей советской эпохи) позволили сформировать следующую концепцию. (Описание концепции см. в статье Латентные механизмы управления экономикой).

2. ЛАТЕНТНЫЕ МЕХАНИЗМЫ УПРАВЛЕНИЯ ЭКОНОМИКОЙ

Сменяемость руководителей как рычаг управления плановой экономикой (1986 г.)

В плановой экономике существует одна трудно решаемая проблема. Если производственная единица не выполнила план, у вышестоящих органов управления возникает вопрос: произошло это по объективным причинам из-за нехватки ресурсов или вследствие плохого руководства? Понятно, что в первом случае необходимо выделить дополнительные ресурсы, а во втором – сменить руководителя. За 70 лет советской власти все попытки научиться решать этот вопрос объективно, на основе учета производственных мощностей и составляемых на их основе техпромфинпланов, окончились неудачей. Вместо этого административная экономика изобрела иной, по-своему эффективный, хотя и циничный механизм. Суть его заключается в том, что производству ежегодно методом «от достигнутого» выдают увеличивающиеся плановые задания. Выдача такого задания подкрепляется угрозой применения санкций по отношению к руководителям предприятий в случае его невыполнения. В сталинские времена такой угрозой могли быть лагерь или расстрел. В последующие десятилетия санкции смягчились, и основной из них стала угроза административного освобождения от должности.

В динамике этот механизм действовал следующим образом. Производственные мощности предприятия не являются постоянной величиной, они растут в результате капитальных вложений и падают вследствие износа оборудования. Наиболее типичный график динамики производственных мощностей завода – это дуга, обладающая восходящей и нисходящей ветвями. Если завод относительно новый или недавно прошел реконструкцию, он обычно обладает определенными реальными резервами увеличения своих производственных мощностей за счет более полной загрузки оборудования, подключения новых единичных мощностей и т.п. Постепенно эти резервы исчерпываются, и кривая, отражающая динамику мощностей, из восходящей переходит в горизонтальную. Затем оборудование начинает изнашиваться и, если вовремя его не обновить, кривая мощностей пойдет вниз.

На этапе роста производственных мощностей практика увеличения планов «от достигнутого», в общем, себя оправдывает, отчасти являясь даже стимулятором роста производства. Проблемы начинают возникать на «горизонтальном» этапе, когда основные резервы увеличения мощностей исчерпаны, но плановые требования продолжают расти. Тем не менее, на этом этапе расхождение между динамикой мощностей и динамикой требований еще не столь велико, и на протяжении какого-то времени (нескольких лет) дирекция предприятия может правдами и неправдами выходить из положения. Наконец, когда оборудование вступает в стадию износа, кривые мощностей и плановых требований резко расходятся, образуя «ножницы». В этот момент вышестоящие органы планового управления начинают настоящее «избиение» руководящего состава предприятий. Происходит, так сказать, «проверка на вшивость»: выясняется вопрос, действительно ли для дальнейшего увеличения производства необходимы дополнительные ресурсы или можно обойтись увеличением административного давления на руководство, угрозами, сменой руководителей. И лишь после того, как сменяют двух-трех директоров, а производство продолжает работать все хуже и хуже, факт исчерпания возможностей предприятия считается доказанным. В этот момент цикл начинается сначала. На предприятие назначают нового (третьего-четвертого по счету) директора, причем стараются найти действительно незаурядного управленца. Одновременно предприятию выделяют дополнительные капиталовложения, увеличивают фонд зарплаты и создают иные льготные условия, благодаря которым новый директор может вывести предприятие из кризиса. Спустя определенное время (в зависимости от объема ресурсного вливания этот срок может составить от 5 до 15 лет), производство снова войдет в состояние кризиса, и вновь директору и нижестоящим руководителям придется пережить унизительные и несправедливые обвинения в «неспособности» выполнить государственное задание (в сталинские годы вместо «неспособности» фигурировали слова «саботаж» и «вредительство»).

Разумеется, выше описана лишь самая общая схема, которая в реальной действительности могла широко варьироваться. В частности, было бы очень интересно изучить те контрстратегии, которые использовали руководители для своего выживания. Частично такие механизмы описаны в статье С.Павленко «Неформальные управленческие взаимодействия». Однако нашу схему не следует считать чисто условной, потому что в истории советской экономики она много раз применялась буквально. В частности, в сталинское время описанный выше сценарий реализовался в черной металлургии, а возможно и в других отраслях тяжелой промышленности. С 1930 по 1935 г. производственные мощности, планы и объемы производства продукции в черной металлургии быстро росли под действием крупномасштабных закупок оборудования на Западе. Затем закупки были прекращены, оборудование начало стареть, но планы продолжали наращивать в достигнутом ранее темпе. Рост планового давления вынудил директоров предприятий идти на нарушения технологии, что ускорило износ мощностей. В результате в 1938 г. произошло крупное недовыполнение плана, после которого в отрасли было сменено около половины всех директоров, главных инженеров и нижестоящих руководителей производства. Насколько можно понять по цитируемому источнику, а также по книге А.Бека «Новое назначение», большинство из них были арестованы. По сходному сценарию осуществлялись аресты председателей колхозов в конце 40-х и начале 50-х годов в период их «небывалой текучести».

В последующие годы (сталинские и послесталинские) этот сценарий реализовывался неоднократно в различных отраслях. Мы не располагаем систематическими данными по всему народному хозяйству, однако несомненно, что в конце 70-х годов в состоянии производственного и кадрового кризиса находилась угольная промышленность, капиталовложения в которую «срезал» еще Н.Хрущев, а планы по производству Совмин СССР продолжал увеличивать.

Последнюю крупномасштабную попытку увеличить объемы производства за счет увеличения административного давления на заводы предпринял Ю.Андропов. Он добился увеличения сменяемости руководителей приблизительно на 30%, но реальные объемы производства от этого не возросли, и в целом проведенная им кампания оказала скорее отрицательное влияние на народное хозяйство, породив в нем своего рода «внеплановый аврал» со всеми характерными для авралов последствиями. Возможностей осуществить крупные ресурсные вливания в экономику у Ю.Андропова не было, а иными рычагами воздействия в рамках административной системы руководство страны просто не располагало.

Следует отметить, что описанная выше взаимосвязь между степенью напряженности производственных планов и сменяемостью руководителей обнаруживается и во внутрицеховой структуре заводов, поскольку плановая загрузка цехов, как выяснилось в результате обследования, крайне неравномерна. На каждом предприятии существуют так называемые трудные цеха, постоянно не выполняющие планов. По нашим замерам, сменяемость руководителей в таких цехах в 2-3 раза превосходит сменяемость руководителей в других цехах заводов.

Хотя изменившаяся в стране политико-экономическая ситуация лишила практической значимости описанные выше результаты, их научная значимость, с нашей точки зрения, сохраняется, поскольку подобные эффекты могут возникать (и, судя по всему, возникают) в любых крупных административных системах, включая, например, крупные корпорации. Думается, что в 70-е годы отечественная социология могла бы успеть совершить много интересных открытий, если бы не надела сама на себя шоры из формализованных анкет.

Методическое значение приведенного выше примера заключается в том, что глубокое интервью, примененное на начальном этапе исследования, выявило необходимость радикально поменять проблематику исследования, приблизив ее к действительности.

Социологи, не имеющие опыта работы с глубокими интервью, часто высказывают опасения, что отсутствие количественных данных делает результаты исследования недостоверными или, в лучшем случае, бездоказательными. Это неверно по ряду причин, в частности потому, что при наличии у исследователя качественной концепции операционализация основных ее переменных, как правило, не составляет особого труда. В частности, в разработанных автором анкетах были вопросы о числе полученных за последний год выговоров, о стаже работы в занимаемой должности, о реальной продолжительности рабочего дня и др. Вместе с тем, и это тоже важно отметить, многие концепции включают в себя такие переменные, которые могут быть объективно измерены, но не методом анкетного опроса. Частым недостатком отечественных анкет является то, что с их помощью пытаются получить те или иные количественные данные, корректность и достоверность которых может быть обеспечена только проведением статистических замеров.

Материально-техническое снабжение предприятий в советскую эпоху (1986 г).

В качестве примера интервью, содержащего в себе латентную концепцию функционирования материально-технического снабжения, возьмем текст интервью с работником отдела снабжения советского машиностроительного завода.

Респондент затруднился дать обобщенный ответ на вопрос, как работает заводской снабженец, но зато привел много конкретных примеров, очевидная общность которых открывает возможность для применения классической формы логической индукции.

Значительная часть указанного интервью посвящена тому, какими способами респондент сумел значительно увеличить объемы снабжения завода такими дефицитными материалами, как этиловый спирт, битумированная бумага, льняной шпагат и некоторые другие. Из описанных им примеров выводится общий алгоритм работы снабженца советского предприятия, который сводится примерно к следующему.

В теории (т.е. согласно советским учебникам) механизм материально-технического снабжения выглядел так. Работник отдела снабжения, исходя из плана по производству и установленных плановыми органами норм расхода материалов, составлял обоснованную заявку. Министерство и другие плановые органы контролировали правильность составления этой заявки, и в случае отсутствия в ней нарушений, выделяли заводу требуемые материалы. Если государство не располагало возможностью полного удовлетворения заявок, то в теории производственная программа предприятия должна была быть скорректирована, чего на практике, однако, никогда не делалось, потому что реальный механизм распределения был совершенно иным.

Интервью показало, что приведение в соответствие потребностей предприятия с возможностями государства его снабжать осуществлялось путем нескольких итераций. На первом этапе заводской снабженец ориентировочно, с некоторым запасом, оценивал потребности завода по группе материалов, за которые он отвечал, записывал эти полупроизвольные цифры в заявку и отсылал ее.

В плановой экономике все материалы, как известно, делились на дефицитные и недефицитные. Работники вышестоящих планово-управленческих организаций оценивали заявку под этим углом зрения. Если материал недефицитен, они выделяли заводу то количество, которое он просил, не требуя каких-либо обоснований, и дальнейших споров по таким позициям не возникало.

Если материал был дефицитен, они зачеркивали записанную в заявке цифру и вписывали другую, которая отвечала реальным возможностям снабженческой организации (располагаемыми фондами). Скорректированная таким образом заявка возвращались к заводскому снабженцу, который рассматривал ее под своим углом зрения.

С одной стороны, он знал, что у планово-управленческих органов есть резервы. Если очень настаивать и приводить определенные обоснования, то объем поставок практически по всем дефицитным позициям можно увеличить примерно на 20%. С другой стороны, ведение таких споров весьма трудоемко. Кроме того, ведение споров по слишком большому числу позиций рассматривалось, как «наглость», что могло повлечь за собой проверки и прочие неприятности. По этой причине снабженец знал, что все дефицитные позиции «отспорить» не удастся.

Тогда снабженец старался разделить дефицитные позиции на «необязательные» и «обязательные». Необязательные – это те, по которым завод мог как-то обойтись и уменьшенным количеством материала. Обязательные – это те, из-за нехватки которых могло остановиться производство. Как результат – снабженец имел бы серьезные неприятности со стороны руководства предприятия.

Исходя из этих соображений, снабженец исключал необязательные позиции из дальнейшего согласования. Таким образом, после первой же итерации круг позиций, составлявших предмет спора, резко сужался (с нескольких десятков до нескольких единиц). По этим оставшимся позициям снабженец составлял протокол разногласий и отправлял его обратно в планово-управленческие органы.

Там их снова рассматривали под углом зрения количества имеющихся резервов, т.е. цикл начинался сначала, но уже по уменьшенному кругу позиций. Высокую эффективность описанного механизма иллюстрирует тот факт, что после трех итераций обычно достигался полный баланс.

Что же касается нормативов расхода материалов, то они существовали в виде фикции. Соответствующие справочники пылились на полках заводских отделов снабжения, и респондент не помнил, чтобы кто-либо когда-либо в них заглядывал

Латентный механизм управления российской таможней в 2018 году

Результаты исследования работы таможни позволяют по-новому взглянуть на многие управленческие механизмы, которые не отражаются в нормативных актах и практически не описываются в СМИ, в том числе научных. Тем не менее, ареал использования этих механизмов очень велик. С оценочной точки зрения эти механизмы очень неоднозначны, равно как и неоднозначен вопрос о том, могут ли они быть заменены иными механизмами.

Опишем упрощенную схему управления таможенной деятельностью, какой она видится исходя из результатов опроса предпринимателей. Описание будет сведено к своего рода логической задаче, которую должны решить (и решают) высшие руководители соответствующих ведомств. Следует оговорить, что нижеследующее касается только импорта.

Условия задачи:

• Необходимо увеличить поступление таможенных сборов в бюджет.
• Необходимо сократить коррупцию на таможне, которая снижает поступления в бюджет, и сама по себе является социально-негативным явлением.

Решение задачи:

• В качестве первого шага следует определить стоимостный объем импорта по каждому таможенному посту в предшествующий период.
• Установить план по величине таможенных сборов в предстоящем периоде. План устанавливается методом от достигнутого. Для определения величины прироста следует определить динамику в прошлых периодах и произвольно (но не очень сильно во избежание скандалов) увеличить ее на некоторое число процентов.
• По окончании планового периода следует проанализировать следующие показатели.

А) Динамику числа судебных исков импортеров против таможни, в том числе динамику выигранных исков. Кроме того, определить динамику официально поданных административных жалоб со стороны импортеров. Б) Определить динамику текучести кадров работников таможни.

• Если число исков и жалоб не возросло, это значит, что планы, доведенные до таможенных постов, являются слишком мягкими. Из этого могут быть сделаны нижеследующие выводы. Для обеспечения возросших плановых показателей таможенники использовали два доступных им демпфера, а именно: сократили занижение таможенной стоимости товаров за взятки (т.е. взяточничество уменьшилось) и увеличили число случаев неправомерного увеличения таможенной стоимости, используя рычаги давления, описанные в отчете. Однако, поскольку число исков и жалоб существенно не возросло, издержки споров с таможней со стороны импортеров не превысили их издержек от завышения стоимости, т.е. предприниматели предпочли «стерпеть». Следовательно, давление на импортеров можно дополнительно увеличить. Одновременно будут достигнуты следующие позитивные результаты: увеличено поступление таможенных сборов и дополнительно сокращена коррупция.
• Поскольку текучесть кадров среди таможенников не возросла, это значит, что уменьшившаяся величина их доходов (включая неофициальные) их устраивает, т.е. кадровый кризис таможне не грозит и борьбу с коррупцией можно продолжить.
• Спустя какое-то количество плановых циклов число исков и жалоб начнет заметно расти. Это означает, что дальнейшее увеличение плана по таможенным сборам следует приостановить.
• Если одновременно начинает расти текучесть кадров таможенников, следует либо увеличить их заработную плату до равновесного уровня, либо предоставить им возможность увеличивать свои доходы с помощью взяток.
• Поскольку резервы увеличения таможенных сборов не одинаковы на разных таможенных постах, описанный выше анализ и вытекающие из него действия следует осуществлять в разрезе каждого таможенного поста. На тех постах, где предел увеличения планов по описанным выше показателям уже достигнут, темп прироста таможенных сборов следует сократить, «перебросив» выпадающие объемы на те посты, где подобных явлений пока не наблюдается.

3. КРИТИЧЕСКИЕ РЕЦЕНЗИИ

Введение

Написанный мной учебник «Глубокое интервью и фокус-группы», основан в основном на западных источниках, что указано во введении. Однако это может создать у читателя ложное впечатление, что российские учебники плохие, а западные хорошие. К сожалению, проблема хороших учебников относится не только к нашей стране

Не только в России, но и за рубежом, возникают дискуссии о роли групповой динамики в фокус группах Правда, наверное, нигде, кроме России этот вопрос не выдвинут на первое место в методических спорах. Тем не менее, эти дискуссии правомерны, если опираются на серьезную аргументацию. К сожалению, такое встречается не всегда. Многие источники, к сожалению, скорее вводят читателя в заблуждение, чем помогают ему разобраться в сути вопроса.

Поскольку литература по фокус-группам велика по объему, ниже в качестве примеров подобных книг будут даны рецензии на три из них – одну англоязычную и две русскоязычных.

1. Фокус–группы: теорияи пракика (Focus Groups: Theory and Practice). David W. Stewart, Prem N. Shamdasani SAGE Publications,20 мар. 2014 г.

Прежде, чем перейти непосредственно к рассмотрению означенной книги, я считаю необходимым определить, к какому типу книг она относится. Научная литература, не только посвящённая фокус-группам, делится академическую, университетскую и практическую. Все они могут страдать определенными, свойственными им недостатками.

Есть люди, для которых проведение фокус-групп является их основным бизнесом. Они занимаются этим многие годы иногда лично, иногда с помощью созданной ими команды, при этом – это важно – постоянно взаимодействуя с заказчиками. Такие люди могут сотрудничать с высшей школой, увеличивая свою эрудицию и совершенствуя умение взаимодействовать с академическо-ВУЗовской средой. Именно такие люди обычно бывают наиболее ценными авторами, примеру которых надо следовать хорошим преподавателям. Главная их особенность – это огромный личный опыт в своей профессиональной области, подпитываемый независимой оценкой со стороны заказчиков.

И есть другие люди, которых можно назвать просто преподавателями. Их личный опыт в рассматриваемой нами области ограничен. В процессе преподавания они ориентируются на опубликованные источники. Они могут проводить экспериментальные группы со студентами – благо их можно привлечь без труда и без оплаты. Конечно, есть люди, находящиеся где-то в промежутке между этими идеальными типами, но сосредоточимся на этих крайних полюсах.

Люди, для которых основным делом является преподавание, а не практическая работа, находятся под довольно жестким прессингом. В разных странах он может различаться, но обычные нормы таковы: три научных статьи в год плюс один раз в несколько лет – научная монография.

Практического для написания полноценных публикаций опыта зачастую им не хватает. В этой ситуации многие из них находят выход в методическом экспериментировании. Совокупные масштабы этого экспериментирования огромны, соответственно огромно количество продуцируемых ими статей и монографий. Можно поставить мысленный эксперимент: собрать весь мировой корпус литературы о фокус-группах и с помощью генератора случайных чисел отобрать репрезентативную выборку. Априори можно быть уверенным, что в ней будут абсолютно преобладать вузовско-преподавательские публикации.

Эти публикации имеют свои достоинства. В них, как правило, содержится очень качественный обзор литературы и описанных в ней экспериментов. Но есть и недостатки. Над авторами довлеет требование научной новизны, и, как как уже было сказано, многие выбирают новизну методическую. Именно здесь находится генератор самых разнообразных идей и продуктов фантазии, порой весьма экзотических. К сожалению, бесполезных для в теории, так и для практики.

Можно возразить, что столь масштабное экспериментирование должно приносить свои плоды. Возможно. Но сегодня, к сожалению, не видно фигур, соразмерных Курту Левину или Роберту Мертону. Они тоже проводили очень много экспериментов и опросов. Мертон часто анализировал (давал свою трактовку) чужим исследованиям. Но важно, что оба они были не только эмпириками, но и крупными теоретиками. К сожалению, сегодня равных им по масштабу фигур не наблюдается.

Автору этих строк, можно сказать, повезло: западные коллеги подсказали подсказали, на какие работы ориентироваться. Теперь, задним числом, можно сказать, что наиболее сильными и полностью отвечающими критерию многолетней практической работы были публикации Джейн Темплтон, Томаса Гринбаума и Альфреда Гольдмана. Разумеется, следует назвать и работу Мертона, но она стоит особняком, и написана со специфичных методических позиций. Прочая литература сыграла скорее вспомогательную роль, хотя эта роль тоже была очень важна.

Теперь перейдем к сути дела, а именно к рецензии «Фокус группы. Теория и практика» от David W. Steward and Prem N. Shamdasani. Наше мнение о ней, конечно, не следует истиной в последней инстанции. Но все же оно таково.

1. Данная книга – это типичный вузовско-преподавательский продукт, написанный людьми, хорошо знающими литературу и умеющими хорошо писать, но вместе с тем имеющими ограниченный практический опыт. Последнее видно хотя бы из того, что ключевая для обсуждения первая глава, названная «Групповая динамика и фокус-групповые исследования» представляет собой, как указывают сами авторы, обзор литературы, а не описание их собственных экспериментов или наблюдений.

2. Авторы, как это ни странно, не дают определения, что они называют групповой динамикой. Не дают также ясно сформулированного тезиса о том, что групповая динамика в фокус-группах является полезным эффектом. Пожалуй, об этом говорится как бы намеком, но некоторые примеры, которые они приводят, можно трактовать как обратные.

3. Если попытаться взять на себя труд дать определение групповой динамики, которую имеют в виду авторы, получится примерно следующее. Групповая динамика – это взаимодействие и взаимовлияние участников групп друг на друга. Это взаимодействие, по их мнению, основывается на трех укрупненных переменных: личностные, межперсональные и «экологические», под которыми понимаются, так сказать, параметры окружающей среды, в которой находится группа: размер и тип помещения, интерьер и т.п. Эти три переменные, в свою очередь делятся на субпеременные. Например, под личностными понимается демография и социальные переменные: раса, доход, профессия, социальный статус, а также, как ни странно, физические переменные: рост, вес, здоровье, внешность, и психологические, например, склонность к агрессии.

Характер межперсональных отношений, как пишут авторы, определяется перечисленными личностными характеристиками участников группы. Авторы считают, что все эти характеристики влияют на групповую динамику и должны учитываться модератором.

Часть из этих утверждений верна, часть верна в каких-то особых случаях, и часть, наверное, неверна в том смысле, что она не имеет никакого отношения к групповой динамике. К примеру, авторы указывают, что участие в фокус-группе людей разных рас может привести к конфликтам. Это можно назвать групповой динамикой, но, как раз с негативным эффектом. С другой стороны, если взять такие переменные, как рост и вес, то можно себе представить фокус-группу, в которую по каким-то причинам рекрутированы, к примеру, люди большие и полные, но это не имеет отношений к групповой динамике. Если же этот параметр не был рекрутинговым критерием, то трудно себе представить, каким образом один-два попавших в группу больших и грузных людей могут создать групповую динамику (положительную или отрицательную).

4. Кстати, авторы нигде не делят групповую динамику на положительную и отрицательную. Эти качества читатель должен приписывать сам на основе приводимых примеров (и идентифицировать, является ли приводимый пример групповой динамикой вообще). У меня создалось впечатление, что негативную групповую динамику авторы как бы считают несуществующей или она отсутствует в их менталитете, хотя по контексту есть примеры и утверждения, согласно которым модератор должен противодействовать таким явлениям.

5. Единственное явление, которое более или менее обозначено, как желаемый результат групповой динамики, состоит в том, что в фокус-группе должна быть достигнута групповая сплоченность. Верно лишь то, что достижение групповой сплоченности действительно относится к кругу явлений, называемых групповой динамикой. С другой стороны, этот тезис принципиально неверен применительно к фокус-группам. Групповая сплоченность подразумевает достижение согласия по обсуждаемому вопросу, а это уже является сильным искажением первоначальных мнений респондентов.

6. В рассматриваемой главе приводится много примеров или утверждений, которые, независимо от того, истины они или ложны, в любом случае не являются групповой динамикой. К примеру, рассматриваемый авторами фактор возраста. Банален факт, что молодые и пожилые люди по-разному ведут себя в фокус-группах (и в жизни тоже). Это может приводить к тому, что молодые, к примеру, могут стесняться высказывать свое мнение при старших или быть более конформными по отношению к ним. Отсюда вытекает стандартная рекомендация проводить группы молодых и пожилых раздельно. Авторы об этой рекомендации не пишут, но приводят данный пример, как пример групповой динамики. Точнее, такого утверждения прямо не делается, но пример помещен в главу, посвященную групповой динамике. Таких примеров можно привести много. Что должен думать читатель?

7. Некоторые идеи выглядят утопическими и даже нелепыми с практической точки зрения (следует оговорить, что речь идет о фокус-группах, а не о каких-то специфичных экспериментах). Например, идея усиливать межперсональную привлекательность путем соответствующего подбора участников (блондинок, что ли, собирать?). На наш взгляд, это довольно странная идея.

Мы могли бы продолжить перечень замечаний, но, по-видимому. то уже достаточно. Лучше написать о том, как должна была бы выглядеть глава о групповой динамике в фокус-группа, если уж ставить перед собой такую задачу.

1. Прежде всего (я бы с этого начал), следовало бы разделиь групповую динамику на отрицательную и положительную. Отрицательная понижает валидность и качество результатов, положительная в каких-то аспектах должна их повышать.

2. Далее должно следовать раскрытие темы с отрицательных проявлений групповой динамики, которым модератор должен противодействовать. О них говорится во всех учебниках. Кстати, в рассматриваемой книге этой теме уделено определенное внимание, но термин групповая динамика в этом контексте не используется. Далее должна быть приведена какая-то типология таких негативных эффектов, которая, в свою очередь, может быть проиллюстрирована конкретными примерами.

3. Далее – положительная динамика, позволяющая получить новые и более валидные результаты. При этом использовать термин «групповая динамика» имеет смысл вводить лишь в том случае, если использовать его как родовое понятие. Каким содержанием (типологией) наполнить это понятие – это вопрос к знатокам и сторонникам групподинамического подхода к проведению фокус-групп.

1. Учебник В.Добренькова и А.Кравченко «Методы социологического исследования» (М:. МГУ, 2004 г.)

Начнем с серии учебников, объединенных названием «Фундаментальная социология», изданных под фамилиями В.Добренькова и А.Кравченко. На сегодняшний день (2009 год) вышло в свет 9 томов этой серии, всего их анонсировано 15. Объем этих трудов, написанных в столь сжатые сроки, конечно, впечатляет. Напоминаю, что В.Добреньков с 1989 по 2014 гг., т.е. на протяжении 25 лет был деканом социологического факультета МГУ, а А.Кравченко – преподавателем этого фмакультета.

Я думаю, что реальным автором этих трудов является А.Кравченко. Еще до сотрудничества с В.Добреньковым он написал много учебников по социологии и другим обществоведческим дисциплинам. Причем не только для вузов, но и для средних школ с 5 по 11 класс.

Точное количество трудов А.Кравченко мне неизвестно, но в интернет-магазине «Мой мир» обозначены 52 учебника по социологии и обществознанию, вышедшие под фамилией А.И.Кравченко. Полагаю, что назрела необходимость проведения общественной экспертизы качества этих трудов.

Критических публикаций по поводу учебников В.Добренькова и А.Кравченко в последнее время было опубликовано много, поэтому мое мнение, наверное, будет не совсем оригинальным. Ниже, излагая свою точку зрения, я буду использовать в качестве примера учебник В.Добренькова и А.Кравченко «Методы социологического исследования» (М: ИНФРА-М, 2008).

Критика учебников названных авторов велась по двум основаниям: функциональному и морально-юридическому. Под функциональным я понимаю оценку учебника с точки зрения соответствия его назначению, а под морально-юридическим – оценку методов работы авторов с используемыми ими литературными источниками.

В последнее время в публикациях выдвинулось на первый план второе направление критики, а именно обвинение в плагиате. Действительно, я лично убедился в том, что учебник «Методы социологического исследования» содержат большое число фрагментов из различных литературных источников (исключительно русскоязычных), взятых без ссылок на соответствующие работы их авторов (в том числе из моих собственных).

Мне понятны причины, по которым данная проблема вышла на первое место при обсуждении ситуации на социологическом факультете МГУ. Плагиат легче доказать. Будучи доказанным, он влечет за собой юридически значимые выводы. Тем не менее, я считаю это направление критики не основным. Доказанный плагиат дает шанс уничтожить конкретного человека, но не явление, которое он воплощает.

Конечно, авторы «Фундаментальной социологии» проявили большую самонадеянность, используя без ссылок столь большие фрагменты текстов других авторов. Но означает ли это, что, если бы они работали хоть немного аккуратнее, то претензий к их трудам не возникло бы?

В российской науке до последнего времени существовал принцип, относящийся к написанию диссертаций, научных трудов и учебников. Суть его я впервые услышал еще в 70-е годы от своего научного руководителя, профессора известного российского вуза. Искренне желая мне добра, он сказал следующее. Цитирую по памяти это запомнившееся мне поучение.

• «Друг мой, не вздумай пытаться придумать что-то новое. Все, что можно, уже придумано другими людьми. Что такое диссертация? Это сочинение на вольную тему. Главное не в том, чтобы ее написать, а в том, чтобы получить доступ к защите. Смотри, что я тебе сейчас подарю». – Он достал из шкафа огромную кипу ксерокопий каких-то статей из научных журналов. Многие были без начала и без титульного листа. – «Вот, бери. Разложи их на столе и списывай из разных источников. То из одного, то из другого. Только не списывай помногу, а то заметят».

Позднее совет «не списывать помногу, а то заметят» я неоднократно слышал в преподавательской и аспирантской среде. В 2009 году, его воспроизвел в интервью человек, пишущий за деньги диссертации по философии, социологии и экономике. По его словам, он написал уже десятки диссертаций, в том числе докторских, и ни одна из них не была отклонена научным советом или ВАКом. (Сейчас, в 2016 году, ситуация изменилась в связи с появлением программ «Антиплагиат» и «Диссенет». Но рецензируемая книга и данная рецензия на нее были написаны до появления этих программ).

Правда, в случае с В.Добреньковым и А.Кравченко мы говорим не о диссертациях, а об учебниках. Это осложняет проблему экспертизы, поскольку задача учебника состоит в изложении не новых (во всяком случае, не только новых), а общеизвестных истин, некоторые из которых могли быть открыты очень давно (например, математическая теория выборки).

Но существует еще один вопрос. Если автор учебника списывает из разных источников малыми порциями, подвергая их редакторской обработке, означает ли это что его труд автоматически станет хорошим учебником? Если в учебнике нет явно различимого плагиата, является ли это достаточным основанием для того, чтобы он был признан пригодным для целей обучения?

Поскольку отрицательный ответ очевиден, возникает вопрос: что такое хороший и что такое плохой учебник? Чем, кроме плагиата, плохи учебники В.Добренькова и А.Кравченко? Плохи ли они вообще?

Ответы на эти вопросы должна дать функциональная критика. Наиболее обоснованным отзывом, написанном в этом жанре, я считаю рецензию М.Ф.Черныша. Он рассматривал другой том этого этой серии учебников. Выводы были схожими

Называя учебник плохим, важно выявить его главный, фундаментальный недостаток, а не какие-то частности, в том числе стилистические, которые могут быть устранены редакционной правкой. Правда, если количество таких частностей превышает определенную критическую черту, оно само может стать фундаментальным недостатком, но этот вопрос мы оставим за рамками рассмотрения.

Мне кажется, что критерии для отнесения учебников к разряду хороших или плохих следует искать не только в содержании излагаемого в них предмета, но и в том разделе стилистики, который называется учением о композициях. Хороший учебник, прежде всего, должен быть хорошо написан. Он должен иметь четкую структуру, полноценно раскрывающую заявленную в его заглавии тему. Содержание учебника должно соответствовать его названию. Такое соответствие должно обеспечиваться во всех разделах учебника – частях, главах, параграфах. Внутренняя структура параграфов должна быть последовательной и логичной.

О состоянии российской науки многое говорит отрывок из рецензиии патриарха российской социологии профессора В.А.Ядова. В своем официальном отзыве пишет, что учебник В.Добренькова и А.Кравченко «Методы социологического исследования» –

• «…это действительно фундаментальный учебник, во многом образцовый, …вполне соответствует наименованию учебника нового поколения» (отзыв дан по результатам работы Комиссии для сравнительного изучения и оценки качества подготовки специалистов на социологическом факультете МГУ).

К сожалению, очень трудно согласиться с оценкой уважаемого господина В.А.Ядова.

С моей точки зрения, учебник В.Добренькова и А.Кравченко «Методы социологических исследований» явно не удовлетворяет критериям мало-мальски хорошего учебника. Примеров несоответствий может быть приведено множество, они имеются в каждой главе и в каждом параграфе.

Ниже ограничимся одним примером, посвященным как раз вопросу о композиции, но не учебника, а социологической анкеты. Этот вопрос рассматривается авторами в главе «Композиция анкеты», параграфе «Структура или композиция?».

Параграф начинается с утверждения, что применительно к построению социологической анкеты следует применять не устаревшее понятие «структура», а новое понятие «композиция».

Важный момент состоит в том, что авторы учебника подают этот тезис не как свое личное мнение, а как общепризнанный факт, ссылаясь на мнение неких не названных «методистов». Лично я не встречал этого тезиса в работах, посвященных разработке социологических анкет. Возможно, я чего-то не знаю, но общепринятым этот тезис назвать нельзя. Более того, этот тезис представляется довольно спорным, поскольку применительно к построению анкеты смысл названных слов становится практически одинаков.

Сам по себе этот тезис в его первоначальном значении не может рассматриваться, как неправильный. Авторы имеют право на свою позицию, при условии, что она хорошо обоснована. Проследим за ходом их мысли.

Раскрытие своего тезиса авторы начинают с разъяснения значения слова «композиция» (источник, из которого он заимствован названными авторами, будет дан ниже). Рассмотрим этот фрагмент его подробно.

• Композиция – важнейший, организующий элемент художественной формы, придающий произведению единство и цельность, соподчиняющий его компоненты друг другу и целому (здесь и далее стр. 219 – 220).

Определение слова «композиция» дано правильно, однако удивляет, почему применительно к социологической анкете используется слово «художественный», а сама анкета называется «произведением».

• В художественной литературе композиция – мотивированное расположение компонентов художественного произведения; компонентом (единицей композиции) считают «отрезок» произведения, в котором сохраняется один способ изображения (характеристика, диалог и т.д.) или единая точка зрения (автора, рассказчика, одного из героев) на изображаемое. Взаиморасположение и взаимодействие этих «отрезков» образуют композиционное единство произведения.

Здесь авторы продолжают раскрывать тему разъяснения смысла термина «композиция» применительно к художественному произведению. В тексте учебника, посвященного методам социологического исследования, эта тема выглядит не очень уместной.

• Композицию часто отождествляют как с сюжетом, системой образов, так и со структурой художественного произведения (иногда синонимами понятий «композиция» и «структура» служат слова: «архитектоника, «построение», «конструкция»).

В этом отрывке авторы пишут о том, что понятия «композиция» и «структура» иногда являются синонимами, что противоречит выдвинутому ими тезису и сводит на нет всю подкрепляющую его аргументацию.

• Есть и другие значения слова «композиция»: 1) музыкальное, живописное, скульптурное или графическое изображение; 2) произведение, включающее различные виды искусств (например, литературно-музыкальная композиция) или составленное из различных произведений или отрывков; 3) сочинение музыки; учебный предмет в музыкальных учебных заведениях.

Здесь авторы возвращаются к теме композиции применительно к различным областям искусства. О неуместности такого поворота темы говорилось выше.

Многие недоумения по поводу приведенных цитат исчезнут, если учесть, что они являются дословным воспроизведением статьи «Композиция» Большого Российского энциклопедического словаря. Поскольку цитата дана без ссылки, ее можно, наверное, назвать плагиатом. Но ограничить вывод констатацией плагиата в данном случае означает не отметить главного – функциональной неуместности данного фрагмента в тексте учебника, посвященного методам социологического исследования.

Продолжим анализ аргументации авторов. Развивая свой тезис о необходимости замены слова «структура» словом «композиция», они пишут:

• У термина «структура» гораздо меньший послужной список. Он намного беднее в части этимологического разнообразия, имеет всего одно значение.

Здесь в качестве аргумента, подкрепляющего тезис о необходимости замены слова «структура» словом «композиция» выдвигается бедность этимологического разнообразия первого, а не смысловое несоответствие, как можно было бы ожидать. Бедность этимологического разнообразия не является аргументом, подтверждающим тезис авторов. Здесь было бы правильнее изложить содержание того раздела логики, который называется «Содержание и объем понятия». Налицо очевидная логическое несоответствие.

Далее идет новая дословная цитата из указанного словаря.

• Структура – совокупность устойчивых связей объекта, обеспечивающих его целостность и тождественность самому себе, т.е. сохранение основных свойств при различных внешних и внутренних изменениях.

Доказывает ли эта цитата наличие существенного различия в значениях слов «композиция» и «структура»? Очевидно, нет. Если отсечь от слова «композиция» смысловое разнообразие, касающееся различных жанров искусства (музыки, живописи и т.д.), то в остатке получится нечто очень близкое к значению слова «структура». Поэтому в рассматриваемом контексте эти слова все-таки являются синонимами.

Несколько ранее авторы пишут о структуре следующее.

• …Термин «структура» предполагает определенную последовательность связанных общим признаком элементов, в том числе анкетных вопросов.

В контексте последующих рассуждений авторов можно предположить (хотя прямо этого нигде не написано), что под структурой они понимают линейную последовательность элементов, а под «композицией» – более сложную – «ветвистую» или какую-либо еще. Однако такая трактовка «структуры» не вытекает из приведенной ими же цитаты из словаря. Тем не менее, авторы, по-видимому, ее придерживаются, иначе трудно понять значение следующего абзаца.

• С первого взгляда ясно, что интеллигентная, художественно раскрепощенная композиция выигрывает у армейски суровой структуры количеством и качеством своих практических приложений. Использование композиции для определения науки и искусства составления социологической анкеты кажется более правильным и уместным.

Этот фрагмент, в отличие от предыдущих, скорее всего, написан самими авторами цитируемого учебника. Но это не делает его более уместным в рассматриваемом контексте. Скорее, наоборот. Удивляет, что ключевой элемент противопоставления «композиция – структура» выражен не четким термином, а метафорическим выражением: «армейски суровая». Еще более странной выглядит характеристика композиции, как «интеллигентной и художественно раскрепощенной», причем в тексте прямо сказано, что речь идет не о композициях вообще, а о композиции социологической анкеты.

Возникает вопрос: как авторы себе представляют интеллигентное и художественно раскрепощенное построение анкеты (равно как и армейски суровое ее построение)? Какого ответа они ждут от студентов, которым в экзаменационном билете достанется вопрос «Композиция анкеты»?

Если суммировать высказанные выше претензии, их можно свести к следующим пунктам.

1. Авторы занялись противопоставлением слов «структура» и «композиция», не имея на то семантических и дидактических оснований. Они не должны были заполнять ограниченный объем учебника (и ограниченный объем памяти учащихся) подробным анализом темы, не имеющей первостепенного значения для решения главной задачи – обучения студентов грамотной разработке анкет. Предпринятая авторами попытка углубленного семантического анализа является неуместной.

2. В рамках предпринятого авторами семантического анализа не было приведено убедительных аргументов в пользу того, что различие в значениях слов «структура» и «композиция» является существенным. Авторы вообще не доказали, что применительно к разработке социологических анкет эти слова не являются синонимами. Другими словами, они не справились решением семантической задачи, которую сами же сформулировали (независимо от ее уместности в данном контексте).

3. Фрагмент текста, посвященный семантическому анализу слов «структура» и «композиция», содержит очень много логических и стилистических ошибок. Для жанра учебника это неприемлемо.

4. Противопоставление «структуры» и «композиции» авторы подают, как общепринятое в научном сообществе, ссылаясь на разработки неких не названных «методистов». Однако в действительности оно является личным мнением авторов, продуктом их собственной фантазии. Авторы учебников имеют право излагать в них свою личную позицию, но они не вправе подавать ее, как общепринятую.

5. В последующих параграфах рассматриваемой главы авторы нигде не описывают сложных правил компоновки вопросов, которыми они обосновывают необходимость использования слова «композиция». Следуя метафорической терминологии авторов, они описывают скорее «армейски суровый», чем «художественно раскрепощенный» способ построения анкеты. Т.е. авторы не используют понятийный аппарат, созданию которого они уделили так много внимания.

6. Занимая объем учебника рассмотрением надуманной проблемы, авторы не раскрыли много важных вопросов, имеющих прямое отношение к теме разработки социологических анкет. К примеру, они не объяснили, что применительно к разработке анкеты понятие структуры (или композиции) раздваивается: существует аналитическая структура анкеты, которой свойственна строгая логическая упорядоченность, и инструментальная структура, в отношении которой многие методические школы настаивают на необходимости «перемешивания» вопросов, относящихся к разным тематическим блокам.

Список претензий будет неполон, если не добавить, что в учебнике встречаются и просто ложные утверждения. Примеров можно привести много. Остановимся на том, который имеется в рассматриваемом параграфе.

• …Некрасиво оформленная анкета вызывает большее число отказов от участия в опросе, чем анкета с современным дизайном.

Включив эту фразу в учебник, авторы не объяснили читателю, что анкеты делятся на заполняемые интервьюерами и самозаполняемые респондентами. В современной социологической практике преобладают первые, однако их дизайн строго функционален и предназначен только для интервьюеров. На количество отказов от участия в опросе этот дизайн никак не влияет.

Другое дело – анкеты, предназначенные длят самозаполнения. Специальные методические эксперименты, о которых говорят авторы, действительно проводились в 50-е годы прошлого века. Они показали, что дизайн влияет на реакции респондентов, но далеко не всегда в желаемую для исследователя сторону. Если под современным дизайном авторы понимают дизайн яркий, красивый, выполненный в том или ином художественном стиле, то такой дизайн способен сильно повлиять на ответы респондентов. В частности, абсолютно недопустим юмористический характер рисунков, который настраивает респондентов на игривый лад и очень сильно искажает их ответы.

Авторы могут возразить, что, говоря о «современном» дизайне, они имели в виду формы дизайна, специально разработанные для социологических анкет. О специфике дизайна социологических анкет в современных условиях учебнике не сказано ни слова. В результате указанная фраза вводит читателя в заблуждение: вместо предупреждения об опасности «слишком хорошего» дизайна авторы фактически настаивают на его необходимости.

Выше был проанализирован фрагмент текста учебника В.Добренькова и А.Кравченко, расположенный на стр. 319 -320. Объем этого фрагмента составляет около полутора страниц.

Объем данной рецензии, посвященный этому фрагменту, составил более пяти страниц, эти пять страниц далеко не исчерпывает содержательных, стилистических и логических претензий к данному тексту. В доказательство еще один пример.

• Не так давно выяснилось, что помимо чисто логических законов при составлении социологической анкеты действуют еще психологические и эстетические законы.

Эта фраза обманывает читателя сразу в трех смыслах. Во-первых, сказанное в ней известно давно. Пик интереса к этим проблемам пришелся на 50-е и 60-е годы прошлого века, тогда же была проведена основная масса методических экспериментов на эту тему. Во-вторых, заявленная в этой фразе тема нигде больше в учебнике не раскрывается. Это можно назвать обманом ожиданий читателя (ожиданий обоснованных, поскольку данная тема действительно важна). Наконец, названная фраза включена в текст в качестве аргумента в пользу предпочтения слову «структура» слова «композиция», однако в дальнейшем авторы не затрагивают психологический и эстетический аспект этого противопоставвления.

У автора рецензии нет ни возможности, ни желания столь же подробно анализировать другие фрагменты названного учебника. Но он внимательно просмотрел всю книгу и утверждает, что данный фрагмент вполне репрезентативен, он не является случайной неудачей авторов. В любом параграфе учебника имеется множество несоответствий, похожих на те, которые были описаны выше.

Учебник В.Добренькова и А.Кравченко «Методы социологических исследований» поверхностен, местами сообщает читателю неверную информацию. Он неполноценно (порой до крайности) раскрывает заявленные в нем темы, подменяет изложение многих вопросов рассуждениями, не относящимися к теме и вообще неуместными в социологическом учебнике. Среди других недостатков следует отметить плохую логическую структуру текстов, влекущую за собой смешение разных тем и потерю значимых тематических блоков. Подача материала плохо структурирована. Это резко затрудняют усвоение материала читателями, особенно студентами.

В целом, с моей точки зрения, учебник не дает возможности читателям полноценно изучить обозначенный в его названии предмет и непригоден к использованию в учебном процессе.

Акцент на теме плагиата, при всей его важности, представляется мне ошибкой, уводящей рассмотрение в сторону от главной проблемы.

Критические отзывы по поводу учебников часто закрывают глаза на тот неприятный факт, что качество многих источников, фрагменты которых воспроизведены без ссылок, ничем не лучше исходных их авторских текстов (объектов плаагиата). Проблема плохих учебников и псевдонаучных публикаций в России носит системный характер, она не ограничивается стенами социологического факультета МГУ.

С появлением компьютерных программ «Диссернет» и «Антилагиат» можно ожидать, что актуальность работ, основанных на плагиате сойдет на нет. А вот повысится ли от этого качество учебников – это большой вопрос.

1. Учебник М.Власовой «Социологические методы в маркетинговых исследованиях» (2006 г).

Для обоснования тезиса о системном характере псевдонаучных публикаций и учебников возьмем работу, написанную преподавателем другого очень известного и авторитетного ВУЗа – ГУ ВШЭ. К моменту написания данной рецензии (2009 год) Издательский дом этого вуза выпустил 25 наименований учебной литературы, из них 5 относятся к социологии:

• Власова М. «Социологические методы в маркетинговых исследованиях»
• Ионин Л. Г. «Социология культуры»;
• Крыштановский А. «Анализ социологических данных»;
• Радаев В. «Экономическая социология»;
• Савельева И., Полетаев А. В. «Социология знания о прошлом».

Названные учебники относятся к разным предметным областям и написаны разными людьми, поэтому вывод, сделанный в отношении одного из них, не может быть экстраполирован на остальные. Поэтому каждый учебник должен быть рассмотрен по отдельности.

В данном случае предметом нашего рассмотрения станет учебник М.Власовой, близкий по тематике к двум предыдущим.

Учебник М.Власовой выгодно отличается от учебника В.Добренькова и А.Кравченко тем, что он написан более профессиональным языком. Его стилистика более соответствует жанру вузовского учебника. Внимательно просмотрев работу М.Власовой, мы не увидим в нем таких вопиющих фактических, стилистических и логических несоответствий, какие в изобилии встречаются в учебнике В.Добренькова и А.Кравченко.

Тем не менее, учебник М.Власовой вряд ли можно рекомендовать к использованию в качестве учебного пособия для студентов вузов, обучающихся по направлению «Социология».

Первая пичина причина состоит в том, что содержание учебника не соответствует его названию. Фактически работа М.Власовой представляет собой учебник не по социологическим методам в маркетинговых исследованиях, а самому маркетингу и отчасти по смежной дисциплине, которая называется «поведение потребителей» (в русскоязычном варианте). При чтении возникает ощущение, что в тексте отсутствует научная и дидактическая новизна, и имеются элементы компиляции. Однако этот вопрос требует документальной проверки и поэтому в данном случае высказан как субъективное ощущение.

Перейдем к главному В учебнике М.Власовой лишь косвенно затрагиваются темы маркетинговых исследований, в том числе и социологических. Однако:

• описание методов этих исследований не занимает основного объема книги. Оно дается в сравнительно небольшом объеме и в ракурсах, не характерных для социологических учебников Социологические методы в маркетинговых исследованиях, в книге, как правило, лишь называются, но не описываются. Основной объем книги заполнен общеизвестной маркетинговой информацией;
• в книге отсутствует систематическое описание социологических методов в маркетинговых исследованиях. Сведения о методах не являются структурной доминантой книги. Они фрагментарны и подчинены другой логике изложения – структурным блокам маркетинга. Ни в оглавлении, ни в тексте книги нет едииного перечня социологических методов, используемых в маркетинговых исследованиях. Нигде не оговаривается их специфика применительно к маркетинговым задачам.

Такой учебник не соответствует своему функциональному назначению и вводит читателя в заблуждение. Учащийся, желающий изучить социологические методы в маркетинговых исследованиях, не сможет этого сделать с помощью данной книги. В лучшем случае он может получить разрозненные и неполные сведения по интересующей его теме, причем для этого ему придется изучить очень большой объем не относящихся к делу материалов, выискивая в них нужную информацию.

В подтверждение этих выводов рассмотрим вопрос о том, как освещен в книге М.Власовой один из основных методов маркетингового исследования – метод фокус-групп. Очевидно, что читатель вправе ожидать полноценного раскрытия этой темы по двум следующим причинам.

Во-первых, среди качественных методов социологического исследования метод фокус-групп является наиболее массовым. В развитых странах исследования с использованием этого метода образуют целую индустрию.

Во-вторых, госпожа М.Власова позиционирует себя именно как специалиста в области фокус-групп, о чем свидетельствует биографическая справка на обложке книги.

• Марина Власова – известный специалист в области маркетинговых исследований, кандидат философских наук, директор консалтинговой группы «Русинфомар». Специализируется на методике маркетинговых исследований, качественных методах сбора и анализа информации, читает курс лекций «Метод фокус-групп» в Московской высшей школе социальных и экономических наук, магистратуре факультета социологии Государственного университета – Высшей школе экономики.

Однако фактически в учебнике М.Власовой о фокус-группах на стр. 222 говорится лишь следующее.

• Без сомнения, наиболее популярным групповым качестивенным методом являются фокус-группы. Учитывая достаточное количество литературы по этой методике, мы не будем акцентировать на ней внимание (в сноске к этому абзацу дается ссылка на учебные пособия О.Мельниковой, С.Белановского и Е.Дмитриевой).

Краткость данного абзаца подтверждает тот факт, что тема фокус-групп в учебнике не раскрыта. В нем нет главы или параграфа, специально посвященного качественным методам социологического исследования или фокус-группам.

Кроме того, следует отметить, что данный абзац входит в состав параграфа, имеющего название «Разработка стратегии позиционирования». Это подтверждает наш тезис о том, что логика изложения методов социологического исследования не является доминирующей, она подчинена логике раскрытия маркетинговых тем, что разрушает логическую структуру книги.

Означает ли упоминание о методе фокус-групп в разделе «Разработка стратегии позиционирования», что этот метод используется в маркетинге только для этого? В учебнике нет ответа на этот вопрос.

Кроме названного абзаца в книге встречаются и другие упоминания о фокус-группах. К сожалению, все они очень кратки, разрозненны и не всегда бесспорны. Так, на стр. 218 – 219 имеются следующие утверждения.

• Суть метода фокус-групп: групповое фокусированное полустандартизованное интервью в форме групповой дискуссии по заранее разработанному сценарию.

Это определение в целом соответствует общепринятому, за исключением слова «полустандартизованное». Разумеется, М.Власова имеет право на свою оригинальную точку зрения, но в учебнике ее следовало раскрыть, аргументировать, обосновать и проиллюстрировать примерами. Без этого значение слова «полуструктурированное» остается неясным.

Неясным остается также смысл слова «полустандратизованный»: имеется виду чередование в гайдах стандартизованных и нестандартизованных вопросов или все вопросы фокус-групповых гайдов должны быть полустандартизованными? К сожалению, никаких объяснений по этому поводу в учебнике нет.

• Используемый в фокус-группах метод групповой дискуссии лежит в основе практически всех групповых методов социальной психологии.

Опять спорное утверждение, с которым лично автор рецензии категорически не согласен. Кроме того, тезис сформулирован в крайне общем виде. Не раскрыта тема о том, что же представляет собой упомянутый метод групповой дискуссии, лежащий в основе всех групповых методов социальной психологии.

• Групповые качественные методы предполагают активное использование эффектов групповой динамики.

Здесь речь идет о групповых качественных методах вообще, но, согласно автору, фокус-группы входят в их число. Трудно говорить о других групповых качественных методах, но спорным является с тезис о том, что фокус-группы предполагают активное использование эффектов групповой динамики. Этот вопрос, как минимум, требует серьезного обсуждеия. Кроме того, М.Власовой следовало разъяснить, как именно (в каких целях и с помощью каких методических средств) используются названные эффекты.

• К процессам групповой динамики относятся руководство и лидерство, принятие групповых решений, выработка групповых мнений, правил и ценностей, сплочение, конфликты и т.д.

В данном фрагменте М.Власова дает общепринятый перечень явлений, входящих в состав понятия «групповая динамика». Однако фокус-группы, будучи, как пишет сама Власова, групповым фокусированным интервью, не предназначены для изучения этих явлений. Если М.Власова придерживается иного мнения, ей следовало подробно объяснить свою точку зрения.

Вопрос о количественных методах в учебнике М.Власовой в данной рецензии подробно рассматриваться не будет. Ограничимся констатацией констатацией, что они представлены примерно в том же стиле и в том же объеме, что и качественные методы.

Учитывая все сказанное, что книга М.Власовой не может служить учебным пособием по теме «Социологические методы в маркетинговых исследованиях», поскольку эти методы в ней фактически не описаны.