Хорошие и устойчивые вопросы

Хорошим вопросом принято считать такой, формулировка которого зна­чимо не влияет на распределение ответов при сохранении списка (но не по­рядка) альтернатив. Методические эксперименты указывают на значитель­ные отклонения, которые могут появиться в связи с изменением формули­ровки. К примеру, спросить рабочих о том, сколько представителей наемного труда должно быть вовлечено в профсоюзы, можно двумя различными спо­собами:

Первый вариант: «Считаете ли Вы, что на предприятии все рабочие дол­жны быть членами профсоюза?»

Второй вариант: «Считаете ли Вы, что на предприятии все рабочие долж­ны быть членами профсоюза или каждый в отдельности должен решить, хочет ли он быть членом профсоюза или нет?»

На первый взгляд между ними нет принципиальных различий, посколь­ку спрашивают о профсоюзе как основном институте защиты прав трудящих-

того, что по данному вопросу число отказов от от­вета было в 1,3 раза выше среднего. Вряд ли был целесообразен вопрос «Возникает ли у Вас желание участвовать в разработке но­вых, непризнанных идей, теорий?», ибо далеко не все школьники задумывались над ним. Чис­ло пропусков в ответах здесь оказалось в 1,3 ра­за выше, чем в среднем по позициям анкеты. Банкете были и другие вопросы, неприемлемые для респондентов-школьников («Появлялось ли у Вас желание сменить профессию?», «Нашли ли Вы себя в своей профессии?», «Трудно ли Вам налаживать деловые отношения с незнакомыми людьми?», «Просят ли Вас знакомые, друзья ку­пить или достать что-либо?» и т.д.). Число от­казов от ответа по данным вопросам в 1,2-1,6 раза выше среднего.

Некоторые вопросы требовали конкретизации. Например, вопрос: «Как складываются Ваши от­ношения с непосредственным руководителем (начальником)?» — респондентам-школьникам следовало сформулировать иначе: «Как склады­ваются Ваши отношения с классным руководи­телем?» Это снизило бы число пропусков в от­ветах, которое было в 1,2 раза выше, чем в сред­нем по вопросам анкеты. При ответе на вопрос: «Часто ли у Вас возника-^ет желание послушать музыку, или почитать ху­дожественную литературу, или посетить театр, или пойти на художественную выставку?» — число отказов было в 1,2 раза выше, чем в сред-

нем. Кроме того, подростки нередко уточняли вариант ответа, указывая, к какому виду дея­тельности относится их оценка: «очень часто» — музыку, художественную литературу; «не очень часто» — театр; «очень редко» — выставки. Это-

го можно было бы избежать, дав перечень од-ноплановых занятий.

Пропуски при ответах и замечания респондентов позволили выделить вопросы, сформулирован­ные излишне абстрактно, например, «Много ли у Вас друзей?». Подростки склонны к конкретно­му стилю мышления, поэтому на полях анкеты появились их замечания такого рода: «каких дру­зей, близких?», «просто друзей много, близких нет». На аналогичные вопросы число отказов от ответа было в 1,2 раза выше, чем в среднем по анкете. Нецелесообразно задавать школьникам

ся. Однако в первом случае подчеркивается факт коллективного участия в профсоюзной борьбе, отлынить от которого либо нельзя, либо неудобно. Любой рабочий, находящийся в поле классового противостояния и солидарно действующий с другими рабочими, никогда не пойдет против профсоюзов, даже если не согласен с его политикой или руководством. Общественное мнение его класса и стереотипа пролетарского сознания подействуют на его выбор императивно, а не сослагательно. Можно ожидать 70—90%-ного со­гласия с вопросом, сформулированным таким образом.

Однако во втором случае респонденту предоставляется возможность пораз­мышлять. Коллективной солидарности и классовой сплоченности противопо­ставлена другая, не менее сильная ценность — американская свобода выбора и высоко ценящийся индивидуализм. Профсоюз как коллективный выразитель солидарной воли пролетариата противопоставлен общенациональному мента­литету, и не известно, кто окажется в выигрыше. Во всяком случае, очевидно, что свою историческую схватку с капиталом американские профсоюзы уже про­играли: кривая численности членов профсоюзов в США с каждым годом сни­жается и сегодня дошл а до критической отметки приблизительно 10%.

Таким образом, изменение формулировки одного и того же вопроса, при­водящее к разным, а в данном случае противоположным результатам, сви­детельствует о том, что перед нами анкетный вопрос, который нельзя счи­тать хорошим с методической точки зрения.

и сложные многозначные вопросы типа «Как Вы оцениваете мнение других о себе?» — без четко­го указания, чье именно мнение интересует ис­следователя (доля не ответивших здесь оказа­лась в 1,1 раза выше, чем в среднем). В эксперименте нами были выделены еще две причины пропусков. В анкете в ряде случаев аль­тернативы полностью или частично отделялись от вопроса и печатались на другой странице. Веро­ятно, поэтому число пропусков оказалось в 1,2 раза выше, чем по вопросам, напечатанным на одной странице. Здесь же произошел сбой и при запол­нении паспортички. В анкете на первой странице респондентам предлагалось сообщить некоторые данные о себе, а на обороте листа давался вари­ант паспортички для школьников. Это обстоятель­ство специально не оговаривалось, поэтому 26% школьников заполнили паспортичку для взрослых, оставив без ответа вопросы о специальности, долж­ности, стаже работы и размере зарплаты. Важная причина пропусков — дефицит време­ни у респондентов, которые спешили вернуть­ся к работе и потому были невнимательны при заполнении анкеты. Оценить влияние этого фактора на общее число пропусков можно по относительно нейтральным и простым вопросам паспортички. Расчеты показали, что здесь не­внимательность явилась причиной пропусков в каждом третьем случае.

Число пропусков при заполнении анкеты зависит и от формулировок вопросов. Так, среди приве-

денных вариантов ответа на закрытый вопрос: «Скажите, пожалуйста, какие из предметов бы­тового и культурного назначения Вы хотели бы приобрести в ближайшие 2-3 года?» — «хотел бы приобрести, но не имею возможности», «не имею и не думаю приобретать», «имею» — не была указана позиция «хочу приобрести, и имею воз­можность». В результате число пропусков оказа­лось здесь на 10% выше среднего. Чрезвычайно важное обстоятельство — особен­ности изучаемого объекта. Например, респон­дентам оказалось трудно сделать выбор альтер­натив при ответе на вопрос: «Укажите, пожалуй­ста, какой работой Вы заняты?» («в большей степени ручной, немеханизированный труд», «работой по управлению техникой», «организа­ционной работой» и т.д.). Поскольку обследова­ние проводилось на предприятиях, различных по своему профилю и уровню технического ос­нащения, многие не смогли выбрать приемле­мый для себя вариант и отказались от ответа. Респонденты, как правило, не отвечают на вопро­сы из-за нежелания дать негативную информацию о своем коллективе. Чтобы проверить это предпо­ложение, мы сравнили число пропусков при отве­те на вопрос: «Как в Вашем коллективе относятся к критическим замечаниям, которые высказывают­ся трудящимися?» — с долей отказов от ответа на другие вопросы, заданные в табличной форме. Оно оказалось в 1,2 раза выше, чем при ответе на воп­рос о видах занятий в свободное время.

Смещения в ответах наблюдаются и в других вопросах. Допустим, одну и туже переменную «занятость в общественном производстве» мы конкрети­зировали двумя разными путями.

Первый вариант: «Предпочли бы Вы иметь работу, если бы это было воз­можным?»

Второй вариант: «Предпочли бы Вы иметь работу или Вы предпочитаете заниматься своим домашним хозяйством?»

Как и в рассмотренном выше примере, второй вариант формулировки вопроса содержит свободу выбора: респонденту предлагают наняться на по­стоянную работу или заниматься своим домашним хозяйством. Оказалось, что, когда в анкету ввели вторую формулировку, распределение ответов из­менилось на 50%. Такое смещение надо считать весьма значительным. Выя­вились и другие, не менее любопытные подробности. Появление второй формулировки снизило число выборов «затрудняюсь ответить» с 36 до 6%⁷. Видимо, многие, предпочитавшие не наемный труд, а занятость в домашнем хозяйстве, укрылись в рубрике «затрудняюсь ответить» потому, что в первом варианте они не увидели желанной для себя альтернативы, связанной с до­машним хозяйством. Правомерно ли говорить о статистической валидное™ социологических данных, когда появляются такие смещения?

Методические исследования, проведенные американскими социологами, выявили ряд тенденций, связанных с формулировкой и формой представления

Материалы опроса еще раз подтвердили опи­санную в методической литературе закономер­ность: респонденты из предложенного набора ответов чаще выбирают те, которые напечата­ны в начале перечня. В первой половине переч­ня число отметок было в 1,7 раза больше, чем во второй. Исключением стали самые значи­мые варианты. Эту закономерность необходи­мо учитывать при компоновке предлагаемых ответов. Предварительную информацию о сте­пени значимости для респондентов каждого из вариантов можно получить при пробном обсле­довании.

Подведем некоторые итоги. Главная причина нежелания отвечать на вопросы — некачест­венные формулировки. Далее следует отме­тить неправильный выбор источников инфор­мации, а также методов сбора данных, време­ни и места опроса. Причиной пропуска в ответах могут быть и ошибки в компоновке бланка, если: 1) часть вопроса переносится на другую сторону; 2) отсутствуют дополнитель­ные указания о вопросах на обороте листа; 3) предлагаются громоздкие вопросы в таблич­ной форме. Число отказов от ответа увеличи­вается в следующих случаях: респондент стре­мится быстрее закончить процедуру опроса;

при ответе на вопрос требуется большой объем Информации; оцениваемая позиция не интере­сует опрашиваемого; респондент еще не решил Аля себя вопрос, на который ему предложено Ответить; анкета ставит перед необходимостью Дать негативную информацию; респондент не располагает сведениями либо вопрос вообще Для него неприемлем.

Пропусков в ответах тем меньше, чем каче­ственнее программа исследования. Некоторых Из выявленных причин отказов можно было бы Избежать уже при логическом анализе, который Позволяет определить правомерность рабочих Документов для пробного исследования. Пило­таж следует считать центральным моментом в Отработке программы, так как он позволяет Изучить особенности восприятия вопросов рес­пондентами, причины появления пропусков в Ответах.

В публикуемых отчетах об исследовании целе­сообразно приводить данные об отказах по каж­дой из позиций анкеты, поскольку это может быть полезным при разработке инструментария Другими социологами.

Сокращено по источнику: Федоров И.В. Причины Пропуска ответов при анкетном опросе // Социо­логические исследования. 1982. № 2. С. 185-189.

Сергина А.В. Влияние формулировки вопроса на результаты эмпирических социологических ис­следований // Сб. лучших работ студентов 1997/98 г. / Ин-т социологии РЦГО. М., 1998. С. 15-19.

ся. Однако в первом случае подчеркивается факт коллективного участия в профсоюзной борьбе, отлынить от которого либо нельзя, либо неудобно. Любой рабочий, находящийся в поле классового противостояния и солидарно действующий с другими рабочими, никогда не пойдет против профсоюзов, даже если не согласен с его политикой или руководством. Общественное мнение его класса и стереотипа пролетарского сознания подействуют на его выбор императивно, а не сослагательно. Можно ожидать 70—90%-ного со­гласия с вопросом, сформулированным таким образом.

Однако во втором случае респонденту предоставляется возможность пораз­мышлять. Коллективной солидарности и классовой сплоченности противопо­ставлена другая, не менее сильная ценность — американская свобода выбора и высоко ценящийся индивидуализм. Профсоюз как коллективный выразитель солидарной воли пролетариата противопоставлен общенациональному мента­литету, и не известно, кто окажется в выигрыше. Во всяком случае, очевидно, что свою историческую схватку с капиталом американские профсоюзы уже про­играли: кривая численности членов профсоюзов в США с каждым годом сни­жается и сегодня дошла до критической отметки приблизительно 10%.

Таким образом, изменение формулировки одного и того же вопроса, при­водящее к разным, а в данном случае противоположным результатам, сви­детельствует о том, что перед нами анкетный вопрос, который нельзя счи­тать хорошим с методической точки зрения.

и сложные многозначные вопросы типа «Как Вы оцениваете мнение других о себе?» — без четко­го указания, чье именно мнение интересует ис­следователя (доля не ответивших здесь оказа­лась в 1,1 раза выше, чем в среднем). В эксперименте нами были выделены еще две причины пропусков. В анкете в ряде случаев аль­тернативы полностью или частично отделялись от вопроса и печатались на другой странице. Веро­ятно, поэтому число пропусков оказалось в 1,2 раза выше, чем по вопросам, напечатанным на одной странице. Здесь же произошел сбой и при запол­нении паспортички. В анкете на первой странице респондентам предлагалось сообщить некоторые данные о себе, а на обороте листа давался вари­ант паспортички для школьников. Это обстоятель­ство специально не оговаривалось, поэтому 26% школьников заполнили паспортичку для взрослых, оставив без ответа вопросы о специальности, долж­ности, стаже работы и размере зарплаты. Важная причина пропусков — дефицит време­ни у респондентов, которые спешили вернуть­ся к работе и потому были невнимательны при заполнении анкеты. Оценить влияние этого фактора на общее число пропусков можно по относительно нейтральным и простым вопросам паспортички. Расчеты показали, что здесь не­внимательность явилась причиной пропусков в каждом третьем случае.

Число пропусков при заполнении анкеты зависит и от формулировок вопросов. Так, среди приве-

денных вариантов ответа на закрытый вопрос: «Скажите, пожалуйста, какие из предметов бы­тового и культурного назначения Вы хотели бы приобрести в ближайшие 2-3 года?» — «хотел бы приобрести, но не имею возможности», «не имею и не думаю приобретать», «имею» — не была указана позиция «хочу приобрести, и имею воз­можность». В результате число пропусков оказа­лось здесь на 10% выше среднего. Чрезвычайно важное обстоятельство — особен­ности изучаемого объекта. Например, респон­дентам оказалось трудно сделать выбор альтер­натив при ответе на вопрос: «Укажите, пожалуй­ста, какой работой Вы заняты?» («в большей степени ручной, немеханизированный труд», «работой по управлению техникой», «организа­ционной работой» и т.д.). Поскольку обследова­ние проводилось на предприятиях, различных по своему профилю и уровню технического ос­нащения, многие не смогли выбрать приемле­мый для себя вариант и отказались от ответа. Респонденты, как правило, не отвечают на вопро­сы из-за нежелания дать негативную информацию о своем коллективе. Чтобы проверить это предпо­ложение, мы сравнили число пропусков при отве­те на вопрос: «Как в Вашем коллективе относятся к критическим замечаниям, которые высказывают­ся трудящимися?» — с долей отказов от ответа на другие вопросы, заданные в табличной форме. Оно оказалось в 1,2 раза выше, чем при ответе на воп­рос о видах занятий в свободное время.

Смещения в ответах наблюдаются и в других вопросах. Допустим, одну и ту же переменную «занятость в общественном производстве» мы конкрети­зировали двумя разными путями.

Первый вариант: «Предпочли бы Вы иметь работу, если бы это было воз­можным?»

Второй вариант: «Предпочли бы Вы иметь работу или Вы предпочитаете заниматься своим домашним хозяйством?»

Как и в рассмотренном выше примере, второй вариант формулировки вопроса содержит свободу выбора: респонденту предлагают наняться на по­стоянную работу или заниматься своим домашним хозяйством. Оказалось, что, когда в анкету ввели вторую формулировку, распределение ответов из­менилось на 50%. Такое смещение надо считать весьма значительным. Выя­вились и другие, не менее любопытные подробности. Появление второй формулировки снизило число выборов «затрудняюсь ответить» с 36 до 6%⁷. Видимо, многие, предпочитавшие не наемный труд, а занятость в домашнем хозяйстве, укрылись в рубрике «затрудняюсь ответить» потому, что в первом варианте они не увидели желанной для себя альтернативы, связанной с до­машним хозяйством. Правомерно ли говорить о статистической валидности социологических данных, когда появляются такие смещения?

Методические исследования, проведенные американскими социологами, выявили ряд тенденций, связанных с формулировкой и формой представления

Материалы опроса еще раз подтвердили опи­санную в методической литературе закономер­ность: респонденты из предложенного набора ответов чаще выбирают те, которые напечата­ны в начале перечня. В первой половине переч­ня число отметок было в 1,7 раза больше, чем во второй. Исключением стали самые значи­мые варианты. Эту закономерность необходи­мо учитывать при компоновке предлагаемых ответов. Предварительную информацию о сте­пени значимости для респондентов каждого из вариантов можно получить при пробном обсле­довании.

Подведем некоторые итоги. Главная причина нежелания отвечать на вопросы — некачест­венные формулировки. Далее следует отме­тить неправильный выбор источников инфор­мации, а также методов сбора данных, време­ни и места опроса. Причиной пропуска в ответах могут быть и ошибки в компоновке бланка, если: 1) часть вопроса переносится на Другую сторону; 2) отсутствуют дополнитель­ные указания о вопросах на обороте листа; 3) предлагаются громоздкие вопросы в таблич­ной форме. Число отказов от ответа увеличи­вается в следующих случаях: респондент стре­мится быстрее закончить процедуру опроса;

при ответе на вопрос требуется большой объем информации; оцениваемая позиция не интере­сует опрашиваемого; респондент еще не решил для себя вопрос, на который ему предложено ответить; анкета ставит перед необходимостью дать негативную информацию; респондент не располагает сведениями либо вопрос вообще для него неприемлем.

Пропусков в ответах тем меньше, чем каче­ственнее программа исследования. Некоторых из выявленных причин отказов можно было бы избежать уже при логическом анализе, который позволяет определить правомерность рабочих документов для пробного исследования. Пило­таж следует считать центральным моментом в отработке программы, так как он позволяет изучить особенности восприятия вопросов рес­пондентами, причины появления пропусков в ответах.

В публикуемых отчетах об исследовании целе­сообразно приводить данные об отказах по каж­дой из позиций анкеты, поскольку это может быть полезным при разработке инструментария другими социологами.

Сокращено по источнику: Федоров И.В. Причины пропуска ответов при анкетном опросе // Социо­логические исследования. 1982. № 2. С. 185-189.

Сергина А.В. Влияние формулировки вопроса на результаты эмпирических социологических ис­следований//Сб. лучших работ студентов 1997/98 г./Ин-т социологии РЦГО. М., 1998. С. 15-19.

анкетного вопроса. В одном из экспериментов изучалось влияние на распреде­ление ответов порядка расположения альтернатив в вопросе-меню. Что произой­дет, если, скажем, альтернативу переместить из начала в конец списка?

Всякий раз чаще выбиралась та альтернатива, которая стояла в верхней части или возглавляла список. Расположенные внизу подсказки пользовались меньшим вниманием и выбирались реже. Ученые назвали это явление эф­фектом начала списка. Как правило, верхняя позиция опережала нижнюю на 4%, а среднюю на 6%; нижняя опережала среднюю позицию примерно на 2%.

В результате середина списка как бы проваливалась. Она была наименее заметной, можно сказать, теневой зоной списка альтернатив. В итоге наблю­далось стремление респондентов к выбору альтернатив, находящихся на крайних позициях с некоторым преимуществом верхней позиции. Назовем подобный эффект поляризацией ответов со смещенным верхом.

В знаменитом опросе общественного мнения «Правда-76» (рук. Б.А. Гру-шин) провели любопытный эксперимент: на двух равных выборках в пяти вопросах давали респондентам два типа шкал — прямая и обратная. Поря­док альтернатив в них менялся на противоположный, но это было заметно профессионалу и почти неприметно простому человеку.

Прямой порядок альтернатив	Обратный порядок альтернатив
очень удовлетворен	очень не удовлетворен
удовлетворен	неудовлетворен
неудовлетворен	удовлетворен
очень не удовлетворен	оченьудовлетворен

Что же обнаружили советские социологи? Во-первых, во всех пяти воп­росах при прямой шкале процент не ответивших, хотя и незначительно, был ниже, чем при обратной шкале. По всей видимости, прямая шкала воспри­нималась как более естественная и привычная, процент активности респон­дентов здесь был выше. Во-вторых, при сравнении двух шкал оказалось, что высказывания, стоящие на крайних верхних позициях, т.е. «очень удовлет­ворен» и «очень не удовлетворен»,набирают большее число ответивших, чем когда они стояли внизу. Таким образом, в шкальных вопросах действовал «эффект начала», существовавший в вопросах-меню.

А вот еще один поразительный пример. В нем ученые сравнили две по­чти одинаковые по сути формулировки анкетного вопроса. Они различались, во-первых, длиной, во-вторых, повторением в самой формулировке того, что говорилось в одном из приданных ему закрытиях. Сравним и мы:

Первый вариант: «Считаете ли Вы, что большинство компаний, которые увольняют рабочих в период спада, могли бы организовать что-то для избе­жания увольнения и предоставления рабочим стабильной работы?» 63% ответили, что компании могли бы избежать увольнения; 28% сказали, что не могли бы; 15% не имели определенного мнения.

Второй вариант: «Считаете ли Вы, что большинство компаний, которые увольняют рабочих в период спада, могли бы организовать что-то для избе­жания увольнения и предоставления рабочим стабильной работы, или Вы считаете, что увольнения неизбежны?»

35% сказали, что компании могли бы избежать увольнений;

41% сказали, что увольнения неизбежны;

24% не сделали выбора. Отличие второго варианта от первого выделено курсивом. Вроде бы оно незначительно, всего лишь одна фраза: или Вы считаете, что увольнения не­избежны?

Рис. 13. Часто ли у вас возникает желание послушать музыку?

Но как изменилась статистика ответов! Вербализация противоположной точки зрения снизила результат утвердительной части вопроса на 28%⁸.

Кажется, излишним дублировать в постановочной части анкетного воп­роса тот текст, который содержится в списке альтернатив к нему. Но так ли это на самом деле, показал упомянутый методический эксперимент. Егс мораль такова: если разработчик анкеты в формулировке вопроса называет все точки зрения (позиции, мнения, ценности и т.п.), то их, не nponycKaj ни одной, следует продублировать в списке закрытий. Список альтерната! должен быть исчерпывающим, если мы хотим закрыть все имеющиеся воз­можности для ответа и тем самым сбалансировать вопрос.

Выше говорилось о том, что признавать хорошим вопросом. Напомним речь шла о списке альтернатив. Порядок следования альтернатив в списк(характеризует другой критерий — устойчивости.

Устойчивым вопросом является тот, в котором перемена альтернатив ж оказывает значительного влияния. Если перемена альтернатив дает достаточ но большой сдвиг, то вопрос считают неустойчивым. Незначительным при знан сдвиг в 1—3%. К примеру, если порядок следования альтернатив зна чительно изменен или даже перевернут, а статистика ответов на него изме нилась лишь на 2%, то вопрос считается устойчивым.

Сергина А.В. Влияние формулировки вопроса на результаты эмпирических социологических ис следований // Сб. лучших работ студентов 1997/98 г. / Ин-т социологии РЦГО. М., 1998. С. 15—IS

Колебание разницы в ответах от 4 до 8% признается статистически зна­чимым, а соответствующие вопросы неустойчивыми.

Методисты уверяют, что формулировка вопроса влияет на статистику ответов максимальным образом именно тогда, когда у респондентов не сфор­мировалось устойчивого мнения о предмете разговора.

Наибольшая длина хорошо уравновешенного или устойчивого вопроса составляет 26 слов, в то время как наименьшая — только 11 слов. Напротив, длина неустойчивых, несбалансированных вопросов варьируется в пределах от 21 до 46 слов. В среднем несбалансированные вопросы в полтора раза длин­нее устойчивых: 31 слово к 22. Если считать только слова, используемые в альтернативах, исключая вводную часть или установочные фразы, то и в этом случае указанная пропорция сохраняется. Альтернативные суждения в неус­тойчивых вопросах в полтора раза длиннее, чем в устойчивых. Таким обра­зом, один из главных элементов устойчивости вопроса заключается в его краткости.

Дата добавления: 2015-06-04