Оценка качества

Традиционным способом получе­ния информации о качестве разработанной методики опроса является пробное (пилотажное) исследование. Это - специальная познавательная операция, отличающаяся от основного исследова­ния некоторыми особенностями.

Во-первых, предметом исследования является качество методических решений; их соответствие, с одной стороны, ис­следовательским задачам, а с другой - возможностям респон­дентов как источников информации.

Во-вторых, эмпирическим объектом пробного исследо­вания выступают основные социально-демографические груп­пы, которые предстоит опрашивать в основном исследовании. Однако в данном случае не ставится задача репрезентировать генеральную совокупность. В пробном исследовании обычно опрашивают равные по численности группы, отобранные по таким признакам, которые, по предположению исследователя, могут быть причиной систематических ошибок при заполне­нии анкеты респондентами. Например, такими характеристи­ками могут быть уровень образования, пол, возраст, стаж ра­боты, содержание труда и другие, в зависимости от темы оп­роса. Численность этих групп зависит от величины генераль­ной совокупности и от исследовательских задач.

В условиях промышленного предприятия, где генераль­ной совокупностью является коллектив работающих или его часть (например, молодые специалисты; женщины, имеющие детей дошкольного возраста; выпускники ПТУ и т.п.), пило­таж проводится на небольших группах, включающих от 10 до 50 человек.

В-третьих, получение эмпирических данных о качестве отдельных вопросов или вопросника в целом требует от со­циолога разработки специальных методических и организаци­онных процедур, связанных с определением задач пилотажа, изучаемых показателей качества, способов их выявлении и регистрации. Рассмотрим эти процедуры.

Определение задач пилотажа производится с помощью логического анализа разработанного вопросника. Такой анализ необходим в связи с тем, что при разработке отдельного во­проса и анкеты в целом социолог интуитивно учитывает сложный комплекс методических требований. Часть этих тре­бований имеет противоречивый характер, поэтому нахожде­ние их наилучшего компромиссного сочетания требует специ­ального рассмотрения и детального логического анализа.

Процедура логического анализа вопросника состоит в соотнесении каждого вопроса анкеты с перечнем логических и методических критериев. Социолог заполняет на каждый во­прос анкеты своего рода методическую анкету или «карту экспертной оценки качества вопроса». Критерии, входящие в эту карту, можно разделить на две группы: а) логические критерии, по которым проверяется соответствие вопроса соци­ально-психологическим возможностям опрашиваемого.

Соответствие логическим критериям проверяется сле­дующими вопросами:

1. Какова познавательная задача вопроса (программный вопрос)? Какую переменную он обеспечивает эмпирической информацией?

2. Какая информация ожидается от респондента в качестве ответа на данный вопрос?

3. Является ли ожидаемая от респондента информация обоснованным индикатором для изучаемой переменной?

4. Однозначно ли сформулирован смысл вопроса для рес­пондента? Нет ли в его формулировке понятий, допускающих различное истолкование?

5. Не является ли формулировка вопроса внушающей?

6. Соответствует ли техника регистрации ответов содержа­нию вопроса (указание на число возможных ответов; возмож­ность уклониться от ответов; соответствие делений шкалы смыслу формулировки и т.п.).

7. Сбалансированы ли шкалы, нет ли смещений к положи­тельному или отрицательному полюсу шкалы?

8. Нет ли совмещения оснований в вопросах, требующих выбора варианта из предложенного списка по заданному кри­терию?

9. Обозначен ли адресат вопроса в тех случаях, когда во­прос предназначен не для всей совокупности опрашиваемых, а для какой-либо ее части? Не требуется ли вопрос-фильтр?

Соответствие социально-психологическим критериям проверяется следующими вопросами:

1. Выдержаны ли требования к языку опрашиваемых? Нет ли в формулировке вопроса сложных, непонятных терминов?

2. Понятны ли респонденту единицы измерения, употреб­ляемое в вопросе?

3. Компетентны ли опрашиваемые для ответа на данный вопрос? Не следует ли включить фильтры на компетентность?

4. Не предъявляет ли вопрос непосильных требований к памяти опрашиваемого?

5. Нет ли опасности получить стереотипный ответ?

6. Не слишком ли многочисленны варианты ответов на во­прос, нет ли необходимости расчленить их на тематические блоки?

7. Не вызовет ли вопрос отрицательные эмоции у опраши­ваемого?

8. Не задевает ли вопрос самолюбие респондента или ин­тимные стороны его жизни, самосознания?

Методический опыт показывает, что предварительный логический анализ качества вопросов анкеты по перечислен­ным критериям является эффективным способом методиче­ского самоконтроля не только для начинающих социологов, но и для опытных исследователей. Во время такого анализа автор анкеты (или эксперт-методист) помечает рядом с каж­дым вопросом анкеты номер того критерия, по которому этот вопрос содержит ошибку в конструкции. По окончании анали­за все вопросы анкеты распадаются на четыре группы:

1. Вопросы, не имеющие методических замечаний;

2. Вопросы, имеющие замечания, которые могут быть уст­ранены без эмпирической проверки;

3. Вопросы, имеющие замечания, которые нуждаются до­полнительной проверке;

4. Вопросы, содержащие очевидные ошибки и подлежащее исключению из анкеты.

Для тех вопросов, которые нуждаются в эмпирической проверке, в программе пилотажа разрабатываются специальные процедуры проверки. Например, разрабатывается два варианта конструкции вопроса, затем сравниваются восприятие и фор­мулирование ответов и их содержание, полученное на одинако­вых выборках или на одной выборке в двух опросах с допустимым интервалом времени. Такая проверка должна отвечать тре­бованиям эксперимента и, в частности, методического.

Восприятие и понимание вопроса может проверяться с помощью дополнительных (зондажных) вопросов. Получив ответ, сформулированный респондентом, интервьюер просит его пояснить ответ, прокомментировать его, сообщить допол­нительные сведения, которые помогают выяснить степень по­нимания вопроса респондентом, его искренность, информиро­ванность и т.д. Конечно, такие дополнительные вопросы раз­рабатываются социологом заранее, в зависимости от тех мето­дических замечаний, которые вызвал данный вопрос во время предварительного анализа. Например, если в формулировке вопроса имеются предположительно непонятные слова, то в пилотаже предлагаются дополнительные вопросы респонден­ту с просьбой объяснить значение этих слов. Или другой при­мер, если есть опасение, что респонденты могут по-разному понимать такой пункт как «среднее специальное образование» в вопросе об уровне образования, то опрашиваемым предлага­ется вслед за вопросом об образовании назвать последова­тельно те учебные заведения, которые они закончили. Дополнительные вопросы в пилотажном варианте анкеты образуют своеобразное «Интервью об интервью», которое помогает по­лучить статистическую информацию о состоянии методиче­ских характеристик пилотируемых вопросов.

Соответствие формулировок закрытых вопросов струк­туре представлений и языку опрашиваемых проверяется с помощью следующей методической процедуры. Пробный опрос проводится методом интервью, в котором все закры­тые вопросы задаются респонденту в открытой форме. Вы­слушав ответ респондента, интервьюер отмечает в анкете только те варианты ответов, которые текстуально совпадают с формулировками респондента. Если же полученный от рес­пондента ответ не имеет аналога в формулировке, разрабо­танной социологом, то такой ответ дословно записывается на полях анкеты. После проведения пилотажа эти записи позво­ляют адаптировать язык анкеты к словарному запасу и струк­туре представлений опрашиваемых.

Самой простой организационной разновидностью пило­тажа, основанного на наблюдении, является не стандартизиро­ванное наблюдение интервьюера за ситуацией опроса, за по­ведением респондента, за его реакцией на различные вопросы. В этом случае перед началом пробного исследования интер­вьюеры получают общий инструктаж, в котором даются ос­новные направления для наблюдения. Обычно выделяются в качестве наблюдаемых переменных:

а) ситуация опроса (присутствие третьих лиц, разговоры и кон­сультации во время опроса, наличие мешающих факторов, напри­мер, шум, телефонные звонки, теле- или радиопередачи и т.п.);

б) психологическое состояние респондента во время опроса (отношение к опросу, отношение к интервьюеру, внимание, утомляемость, настороженность, затруднения при ответе, до­полнительные обращения за разъяснениями по отдельным во­просам и т.д.);

в) психологическое состояние интервьюера (мнение о во­просах анкеты, установление контакта с респондентом, ощу­щение «остроты» отдельных вопросов, логика опроса и др.).

Формой регистрации получаемой методической инфор­мации в данном варианте пилотажа являются либо записи на полях анкеты, либо специальный документ «Дневник интер­вьюера». Организационная простота метода наблюдения обес­печивает его популярность в пробных исследованиях. Однако результаты будут более надежными, если наблюдение будет стандартизированным, т.е. основанным на детально разрабо­танной программе наблюдения. Это означает, что наблюдению должен предшествовать логический анализ вопросника и вы­деление конкретных методических характеристик, которые требуют особенно внимательного изучения. Если же наблюде­ние ведется в не стандартизированном варианте, то оно позво­ляет фиксировать лишь наиболее грубые нарушения в конст­рукции анкеты, т.е. такие методические просчеты, которые вызывают очевидные, визуально наблюдаемые смещения при формировании ответов респондентов или при организации си­туации опроса.

Методы получения данных о качестве методики опроса применяются в различных сочетаниях в зависимости от кон­кретных условий, исследовательских задач, и возможностей исследовательского коллектива.

Литература.

1. Тощенко Ж.Т. Социология. Общий курс. – 2-е изд., доп. и перераб. – М.: Прометей; Юрайт, 2000. – 514 с.

2. Зыбцев В.Н. Мясников О.Г. Социология: История, теория, методы исследования: Учебное пособие. – Донецк: ООО «Лебедь», 1999. – 428 с.

3. Капитонов Э.А. Социология ХХ века. – Ростов-на-Дону: издательство «Феникс», 1996. – 512 с.

4. Мендра А. Основы социологии: Учебное пособие для вузов. – М.: Издательский дом NOTA BENE, 1998. – 344 с.

5. Социология. Наука об обществе. Учебное пособие. / Под общей редакцией проф. В.П. Андрущенко, проф. Н.И. Горлача. – Харьков, 1996. – 688 с.

6. Социология в вопросах и ответах: Учебное пособие. / Под ред. Проф. В.А. Чуланова. Серия «Учебники, учебные пособия». – Ростов-на-Дону: «Феникс», 2000. – 256 с.

7. Соколова Е.А. Основы социологии. Серия «Учебники и учебные пособия». – Ростов-на-Дону: «Феникс», 2000. – 192 с.

8. Якуба Е.А. Социология. Учебное пособие для студентов. – Харьков: Издательство «Константа», 1996. – 192 с.

Дата добавления: 2014-01-04