Аналитика, Важное

О недостижимости и прерванных интервью

В статье Екатерины Козеренко приведены данные об уровне достижимости в различных странах в сопоставлении с Россией. Также проведен детальный  анализ структуры недостижимости и сделан вывод о природе высокого уровня  недостижимости в России.

В последнее время вновь разгорелась дискуссия о том, насколько можно доверять данным социологических опросов. Основным аргументом критиков является ссылка на высокий уровень недостижимости респондентов. Утверждается, что в современном российском обществе, особенно в последние месяцы, после начала «специальной военной операции», респонденты бояться откровенно высказываться по социально политическим вопросам и поэтому либо совсем отказываются от участия в опросах, либо прерывают интервью, когда интервьюер начинает задавать сенситивные вопросы.

Действительно, уровень недостижимости, это серьезная проблема, с которой приходится сталкиваться социологам. Проблема возникла не сегодня, она родилась одновременно с началом выборочных обследований и с ней так или иначе пытаются работать исследователи в разных странах. В последние десятилетия уровень недостижимости растет во всем мире, в том числе в США и в Европейских странах, где никому не приходит в голову бояться социологов.[1]

Социологи применяют различные методы опроса, такие как face-to-face, capi, cati, on-line, mixt-mode и т.п. Все эти методы различаются в том числе и по уровню недостижимости. Кроме этого несколько различаются методики расчета уровня недостижимости в разных странах. Все это затрудняет сопоставление разных стран между собой. Однако общая тенденция неизменна, уровень недостижимости растет год от года. И Россия тут не исключение. В табл. 1 приведены данные об уровне недостижимости за несколько лет в международном исследовании International Social Survey Programme (ISSP) по нескольким европейским странам.


[1] https://pubs.aeaweb.org/doi/pdfplus/10.1257/jep.29.4.199, https://www.ssoar.info/ssoar/bitstream/handle/document/57088/ssoar-insights-2018-koen_et_al-Response_Rates_in_the_European.pdf?sequence=1

Таблица 1

COUNTRYISSP 2000 —
Environment II
ISSP 2005 —
Work Orientations III
ISSP 2009 —
Social Inequality IV
ISSP 2013 —
National Identity III
ISSP 2016 —
Role of Government V
ISSP 2017 —
Social Networks and Social Resources
ISSP 2018 —
Religion IV
MethodRR (%)MethodRR (%)MethodRR (%)MethodRR (%)MethodRR (%)MethodRR (%)MethodRR (%)
Germany —Western federal statesFace-to-face mixed38,5Face-to-face mixed34,9Face-to-face34,0Mixed mode (CASI + face-to-face +)34,6Mixed mode (CASI + face-to-face+)33,7Mixed mode (CASI + face-to-face+)32,0Mixed mode  (face-to-face CASI + CAPI)32,1
Germany  —Eastern federal statesFace-to-face mixed44,9Face-to-face mixed41,1 33,6
Denmarkmixed54,0mixed mode  (mail + phone)63,9Self-Completion (with interviewer
involvement)
56,0Mixed mode (self-completion (web+paper) + phone)53,1Mixed mode (mail ->phone-> email)45,5Mixed mode (web + phone + mail)43,2web32,6
SpainFace-to-face63,9Face-to-face73,1Face-to-face33,8Face-to-face35,0Face‐to‐face63,6Face-to-face58,3face-to-face58,3
FinlandSelf-completion by mail61,1Self-completion by mail53,8 Self-completion (mail + online)49,9Mixed mode (mail + online)47,6Mixed mode (mail + online)43,1web38,5
France Self-completion by mail16,3Self-completion by mail29,8Self-completion by mail36,3Self‐completion by mail28,7Self-completion by mail32,3paper (self-administered, paper and pencil personal interviews)15,9
Great BritainSelf-Completion54,8Face-to-face mixed42,6Mixed mode (Face-to-face + Self-completion (with interviewer
involvement)
54,8Self-Completion
(with interviewer involvement)
52,2Mixed mode (Computer-assisted face-to-face + self-completion)36,8Mixed mode (Computer-assisted face-to-face + self-completion)36,6paper (self-administered, paper and pencil personal interviews)33,6
Croatia   Face-to-face37,0Face‐to‐face29,2Face-to-face29,2face-to-face47,9
LatviaFace-to-face58,3Face-to-face50,9Face-to-face55,9Face-to-face56,7Face-to-face16,9   
NorwaySelf-completion by mail58,1Self-completion by mail49,0Self-completion by mail44,2Self-completion (web + postal)41,0Mixed mode  (mail + online)31,4  paper (self-administered, paper and pencil personal interviews)28,50

В России массовые опросы населения и изучение общественного мнения начались в конце 80-х годов и тогда уровень достижимости составлял не менее 93-95%. За последние 30 лет уровень достижимости постепенно падал и на сегодняшний день колеблется в диапазоне от 20 до 25%. Это обстоятельство не может не волновать социологов и нуждается в серьезном анализе.

Левада-центр в апреле 2022 года провел методический эксперимент, в ходе которого в том числе проверялась гипотеза о том, что респонденты, которые не поддерживают руководство страны, в текущих условиях чаще отказываются от участия в опросах. Эксперимент не подтвердил это предположение. Скорее всего респонденты отказываются от участия в опросах главным образом потому, что не видят в этом смысла. Основной мотив уклонения от участия в опросе, нежелание высказать свою точку зрения по тому или иному вопросу звучит следующим образом: «все равно от меня ничего не зависит». И это принципиальное отличие от ситуации 90-х годов, когда респонденты ощущали важность своей точки зрения и как следствие, очень охотно шли на контакт с интервьюером и высказывались на самые разные темы.

Рассмотрим теперь структуру недостижимости в регулярных исследованиях Левада –центра. Насколько верно предположение о том, что высокий уровень недостижимости обусловлен опасениями респондента давать социально неодобряемые ответы. Напомним, что наши регулярные опросы проводятся методом личного интервью на дому у респондента (face-to-face) с контролем поло-возрастных и поло-образовательных квот на последней ступени выборки. Данные о структуре недостижимости в этом исследовании за два последних года представлены в таблицах 2 и 3.

Как видно из таблиц 2 и 3 структура недостижимости достаточно стабильна, колебания от месяца к месяцу и от года к году незначительны и находятся в пределах ошибки выборки. Если всю недостижимость принять за 100%, то основную долю от всей недостижимости (в среднем около 70%) составляет недостижимость, «не связанная с респондентом» и его мотивацией.

Самую большую группу недостижимости (45-50%) составляет вариант, когда, либо никого нет дома, либо отсутствует нужный респондент. Тут надо отметить, что данное исследование проводится по экспресс-технологии, продолжительность полевых работ составляет всего 2-3 дня, тем самым повторные посещения отобранных домохозяйств не предусматриваются. Доля этой группы довольно стабильна, имеет незначительные сезонные колебания, летом эта категория увеличивается на 3-5%.

На втором месте – отказ открыть дверь интервьюеру из соображений общей безопасности. Эта группа довольно стабильна и составляет 15-20% от всей недостижимости.  Колебания от месяца к месяцу составляют 1-3 %.  Такие значения установились в конце 90-х, начале 2000-х годов и более или менее стабильны с тех пор. Из общего ряда выделяется опрос, проходивший 24-25 сентября 2022 года, когда доля отказавшихся открыть дверь интервьюеру выросла на 8% по сравнению с предыдущим месяцем и на 5% по сравнению со среднегодовым показателем (см таблицу 3). Скорее всего этот рост объясняется объявленной 21 сентября частичной мобилизацией. В октябре этот показатель несколько стабилизировался. 

Еще около 10-15% респондентов остаются неопрошенными, поскольку они оказались «вне квот», не прошли скрининг. Как правило, эта ситуация возникает, когда интервьюер уже выполнил большую часть задания, но для достижения наиболее мобильных категорий респондентов, таких, как например, «молодые мужчины с высшим образованием», интервьюеру приходится значительно продлевать маршрут.  Кроме того, в данную группу по недостижимости относятся респонденты, которых интервьюер не смог опросить из-за «невозможности получить доступ к дому/квартире, либо респондент физически не мог отвечать (был пьян, не владеет русским языком, неадекватен и т.п.)», в совокупности от 4% до 6%.

Отказы от интервью конкретного респондента, отобранного по процедуре, составляют 10-11% от общей недостижимости. Прослушивание аудиозаписей этих интервью позволяет утверждать, что абсолютное большинство таких отказов, за исключением 1-2%, происходят в самом начале интервью и связаны с занятостью респондента (ответы «у меня нет времени», «занят», «плохо себя чувствую», «ребенок плачет» и т.п.). В сентябре 2022 года, когда выросла доля отказавшихся открыть дверь, доля тех, кто пустил интервьюера в дом и только потом, после ознакомления с тематикой опроса, отказался от участия в опросе осталась на прежнем уровне (см. таблицу 3). Это подтверждает гипотезу о том, что отказы обусловлены главным образом неготовностью респондента тратить свое время на социологические опросы, в которых не видят особого смысла. Если бы отказы были мотивированы опасением отвечать на сенситивные вопросы, доля тех, кто отказался от интервью после ознакомления с тематикой опроса должна была бы вырасти.

Прерванное интервью составляет всего 1-1.5 % от общей недостижимости и этот показатель практически не меняется со временем. Колебания этого показателя от месяца к месяцу находятся в пределах 1%. В абсолютных значениях в 2022 году это составляет всего несколько десятков респондентов, от 50 до 90 интервью в разные месяцы. Даже если бы действительно эти респонденты прерывали интервью на сенситивных вопросах, их доля в общем массиве настолько мала, что они бы никак не повлияли на средние оценки изучаемых переменных.

Для проверки гипотезы о прерывании интервью на сенситивных вопросах был проведен детальный анализ данных о прерванных интервью за последний год, и данная гипотеза не нашла подтверждения. На вопросах об отношении респондента к специальной операции в Украине было прервано всего от 2 до 7 интервью в разные месяцы.

Подводя итоги, можно с уверенностью сказать, что, во-первых, рост уровня недостижимости является общемировой проблемой, а не специфической проблемой для России. И во-вторых, гипотеза о том, что повышенный уровень недостижимости объясняется опасениями респондентов давать откровенные социально неодобряемые ответы не подтверждается. Скорее этот эффект вызван главным образом ощущением респондента, что его мнение ни на что повлиять не может и, как следствие, массовым отстранением, дистанцированием населения от социальных вопросов, уходом в частную жизнь.

Таблица 2

2021 год

 янв.фев.мар.апр.майиюньиюньиюльавг.сен.окт.ноя.дек.среднее
НЕДОСТИЖИМОСТЬ%%%%%%%%%%%%%%
всего100100100100100100100100100100100100100100
в том числе              
Нежилой дом/квартира2,02,12,14,81,62,62,81,92,32,12,01,72,22,4
Невозможно получить доступ к дому/квартире (охрана, домофон)5,04,33,75,03,94,66,42,56,94,44,54,45,24,7
Никого нет дома44,845,345,142,548,050,042,748,845,643,642,142,140,844,8
Нужного респондента нет дома4,64,34,55,03,64,83,35,04,84,94,14,74,94,5
Респондент не может отвечать (пьян, не владеет русским языком, неадекватен)1,61,51,21,41,31,30,91,61,81,61,41,61,91,5
Вне квот/ прерваны на этапе скрининга12,012,611,310,811,010,711,910,211,214,413,810,013,411,8
итого70,070,168,069,669,373,967,970,072,670,967,864,568,469,6
               
Отказ открыть дверь / впустить интервьюера17,417,919,421,619,515,718,718,615,718,321,021,820,718,9
Респондент отказался11,211,311,37,410,79,111,810,110,69,89,911,78,910,3
Прерванное интервью1,50,71,31,40,51,31,61,31,21,11,32,02,01,3

Таблица 3

2022 год

 янв.фев.мар.апр.майиюньиюльавг.сен.окт.среднее
НЕДОСТИЖИМОСТЬ%%%%%%%%%%%
всего100100100100100100100100100100100
в том числе           
Нежилой дом/квартира1,61,52,62,12,32,22,52,91,92,32,2
Невозможно получить доступ к дому/квартире (охрана, домофон)4,84,34,23,64,16,86,85,03,45,04,9
Никого нет дома40,741,638,339,840,844,944,645,241,743,042,3
Нужного респондента нет дома4,74,55,34,55,64,53,84,04,03,34,4
Респондент не может отвечать (пьян, не владеет русским языком, неадекватен)1,11,62,32,82,52,02,22,02,71,62,1
Вне квот/ прерваны на этапе скрининга13,513,913,612,911,711,310,513,410,110,912,1
итого66,467,466,265,767,171,670,472,463,766,067,9
Отказ открыть дверь / впустить интервьюера  19,519,417,717,915,316,615,623,821,918,9
респондент отказался9,911,913,114,913,611,911,710,411,110,711,9
прерванное интервью1,11,21,31,81,41,21,31,61,41,41,4

Екатерина КОЗЕРЕНКО

АНО “Левада-Центр” внесена в реестр некоммерческих организаций, выполняющих функции иностранного агента.

РАССЫЛКА ЛЕВАДА-ЦЕНТРА

Подпишитесь, чтобы быть в курсе последних исследований!

Выберите список(-ки):