Анализ заданий

Пилотажное исследование

Проведение пилотажного исследования предполагает выполнение заданий теста лицами, которые имеют сходные особенности с теми, для обследования которых он предназначается. Анализ полученных данных поможет отобрать наилучшие задания для окончательной версии опросника.

Если, например, опросник предназначен для обследования лиц, имеющих про­блемы с алкоголем, пилотажное исследование можно провести в соответствующих консультативных центрах, клиниках. В том случае, когда опросник будет исполь­зоваться применительно к любым, скажем, взрослым и психически нормальным представителям популяции, необходимо сформировать репрезентативную груп­пу испытуемых. Сделать это намного труднее, чем подобрать какую-либо специ­фическую группу. Обычно составление выборки отнимает много времени, поэто­му не стоит этим заниматься при проведении пилотажного исследования. Если невозможно создать репрезентативную выборку, обычно достаточно составить выборку приблизительно похожую на репрезентативную. Лица, которые прини­мают участие в пилотажном исследовании, должны различаться по демографиче­ским показателям, таким как возраст, пол, социальный статус. Пилотажную вер­сию опросника следует предъявить как можно большему количеству испытуемых. Минимальное количество респондентов, которое требуется для пилотажного

1 58 Глава 3. Психометрическ ие основы психодиагностики: основные этапы...

исследования, должно быть в два раза больше, чем количество заданий. Если не­возможно получить такое количество испытуемых, лучше все-таки привлечь к ис­следованию меньшее количество людей, чем вообще отказаться от проведения пи­лотажной стадии исследования.

Анализ заданий по результатам, полученным в пилотажном исследовании, имеет своей целью отбор наилучших заданий для окончательной версии опросника и включает в себя определение доли ответивших правильно (в соответствии с клю­чом) и дискриминантности каждого задания. Первый шаг состоит в том, чтобы составить таблицу анализа заданий (табл. 3.3), в которой каждая колонка (а, Ъ, с, dvn. д.) представляет задание, а каждая строка (1, 2, 3, 4, 5 и т. д.) — обследуемо­го. Когда речь идет о разработке личностных опросников, в таблицу вписывается соответствующий балл по каждому заданию, а при этом имеется в виду, что обрат­ные задания (с противоположным содержанием) оцениваются так же, как и пря­мые задания, но в противоположном направлении континуума оценок. Затем сум­мируются баллы по каждой клетке для получения общего балла по каждому ряду (испытуемые) и общего балла по каждой колонке (задания).

Таблица 3.3

Образец матрицы для анализа заданий

Обследуем	Задания	Сумма
a	ь	с	d	е
1.
2.
3.
4.
5.
Сумма

Следующим шагом будет вычисление показателя, определяющего долю испы­туемых, ответивших в соответствии с «ключом» опросника или индекса эффек­тивности задания¹. Этот показатель подсчитывается делением количества обсле­дуемых, давших правильный (так называемый «ключевой») ответ, на их общее количество. В идеале этот индекс для каждого задания должен располагаться в интервале от 0,25 до 0,75, приближаясь в среднем к 0,5 для всего опросника. Ин­декс, меньший чем 0,25, показывает, что задание неэффективно потому, что очень

¹ В ряде случаев определяется как индекс сложности задания; например, во многих шкалах интеллек­та присутствуют субтесты, предназначенные для определения общей осведомленности и состоящие из вопросов типа: «Назовите столицу Уругвая» или «Кто автор "Критики чистого разума"?». В таких тестах с помощью индекса сложности устраняются те задания, на которые отвечают почти все испы­туемые (легкие) и те, на которые отвечают правильно очень немногие (сложные).

немногие обследуемые отвечают на него правильно, а выше 0,75 указывает на то, то на данное задание получено слишком много правильных ответов. В табл. 3.3 нализа заданий индекс эффективности для каждого задания получается следу­ющим образом: (а) 3/5 = 0,6; (Ь) 2/5 = 0,4; (с) 0/5 = 0; (d) 3/5 = 0,6 и (е) 5/5 = 1. Из того следует, что нужно устранить задания (с) и (е) из окончательной версии

опросника.

Также нужно удостовериться, просмотрев результаты в таблице анализа зада­ний, в том что хороший индекс эффективности, т. е. лежащий где-то посередине между крайними оценками, не просто означает выбор средних оценок в оценоч­ном континууме каждым испытуемым, а представляет собой вариацию различных

оценок.

Задания (вопросы, утверждения) только тогда следует включать в окончатель­ную версию опросника, когда они измеряют те же самые личностные особенно­сти, что и другие, предназначенные для этого задания. Для определения дискри-минативности заданий используется коэффициент корреляции каждого задания с общим баллом всего теста. Чем выше коэффициент корреляции, тем выше дис-криминантность задания, тем лучше задание. Это основной критерий. Как прави­ло, требуется минимальная корреляция в 0,2. Задания с отрицательной или нуле­вой корреляцией почти всегда исключаются.

Для расчета этого показателя чаще всего применяется коэффициент произве­дения моментов Пирсона (заметим, что он наиболее приемлем для оценивания заданий, имеющих пять и более вариантов ответа, а в случае дихотомических за­даний используется точечно-бисериальная корреляция). Вычисления обычно производятся с помощью специальных компьютерных программ, однако каждый разработчик тестов должен хотя бы один раз провести расчеты вручную. Это дает возможность проникновения в смысл того, что происходит с заданиями теста. Тем читателям, которые попытаются осуществить эту процедуру, напоминаем, что ко­эффициенты корреляции всегда меньше +1 и больше -1. Если получено значение коэффициента, выходящее за границы этого интервала, значит, допущена ошибка в расчетах. Формула коэффициента произведения моментов Пирсона имеет вид:

где г — коэффициент корреляции; X — результат по каждому заданию; У— балл (результат) по всему тесту; п — количество попарных произведений; Z — сумма. Для того чтобы подсчитать коэффициент корреляции произведения моментов Пирсона, нужны: сумма баллов испытуемых по каждому заданию (XX), сумма бал­лов, испытуемых по всему тесту (2У)> сумма квадратов баллов испытуемых по каждому заданию (2Х²), сумма квадратов баллов испытуемых по всему опросни­ку (£К²), сумма произведения баллов по каждому заданию и по всем заданиям (XXY). Путем подстановки в формулу значений перечисленных показателей вы­числяется коэффициент корреляции. Нижеследующий пример демонстрирует простой способ получения этого коэффициента. Для избежания ошибок рекомен­дуется повторный подсчет по каждому заданию.

1 60 Глава 3. Психометрические основы психодиагностики: основные этапы...

При решении вопроса о включении задания в окончательную версию теста нужно принимать во внимание многие факторы. В дополнение к изучению эффек­тивности и дискриминантности нужно определить то количество заданий, кото­рое потребуется для окончательной версии (не менее 20-30 заданий!) и насколь­ко хорошо они «вписываются» в ранее созданную для теста решетку. Например можно включить задания с низкой дискриминативностью, если имеется немного заданий по некоторой области измерения. Также иногда имеет смысл включение в окончательный вариант опросника задания с недостаточно высоким показате­лем эффективности при условии, что оно обладает достаточной дискриминантно-стью. Также важно обеспечить приблизительно равное количество прямых и об­ратных заданий. Для испытуемых разных полов необходимо выполнить отдель­ные процедуры анализа заданий.

Испытуемые Балл по зада- Балл по зада- Балл по всему Бал по всему Произведение
нию нию в квад- тесту тесту в квадрате баллов по зада-

рате нию и по всему

тесту

Дата добавления: 2015-06-04