Трудность тестовых заданий

Характеристика тестовых заданий

Сбор и статистическая обработка результатов тестирования

Для удобства обработки тестовых данных результаты заносятся в специальную таблицу – матрицу тестовых результатов. Работа с матрицей результатов тестирования представлена в практическом занятии 2 (с. 33).

По результатам апробационного тестирования определяются характеристики тестовых заданий – трудность, дискриминативность и валидность задания.

Трудность задания в классической теории тестов определяется через соотношение количества испытуемых, справившихся с данным заданием, и общего количества испытуемых, т.е. трудность задания – это доля учащихся, которые справились с заданием.

Трудность задания вычисляется по формуле

где p_j - доля правильных ответов на j-ое задание; Y_j - количество испытуемых, выполнивших j - ое задание верно, N - число испытуемых в группе, j - номер задания. Или в процентах, P_j – трудность j – ого задания в процентах: .

В хорошо сбалансированном по трудности тесте есть несколько самых трудных заданий со значением . Есть несколько самых легких с . Остальные задания по значениям p занимают промежуточное положение между крайними ситуациями и имеют в основном трудность 60 - 70 % в критериально-ориентированном тесте и 40-60 % в нормативно-ориентированном.

Дискриминативность тестового задания

Дискриминативность (дифференцирующая способность, различающая способность) задания – это способность задания дифференцировать испытуемых по уровню достижений, на сильных и слабых. Если задание одинаково выполняется и слабыми, и сильными, то можно говорить о низкой дискриминативности задания. Если задание выполняется сильными испытуемыми, а слабые дают отрицательный результат, то мы имеем высокую дискриминативность.

Высокая дискриминативность тестовых заданий важна для нормативно-ориентированных тестов, основная цель которых - ранжирование учащихся по уровню достижений.

Если индекс дискриминативности выше нуля (больше 0,3 считается удовлетворительным), а еще лучше стремится к 1, то это свидетельствует о том, что задание обладает хорошим (максимальным) дифференцирующим эффектом.

Для оценки дискриминативности задания будем использовать метод крайних групп, расчет по формуле:

, где – индекс дискриминативности для j-ого задания теста; (P₁)_j – процент учеников, правильно выполнивших j-ое задание в подгруппе из 27% лучших учеников по результатам выполнения теста; (P₀)_j – процент учеников, правильно выполнивших j-ое задание в подгруппе из 27% худших учеников по результатам выполнения теста.

Индекс дискриминативности изменяется в пределах [-1; 1]. Максимального значения он достигает в том случае, когда все ученики из подгруппы сильных верно выполняют данное задание, а из подгруппы слабых это задание не выполняет верно никто. В этом случае задание будет обладать максимальным дифференцирующим эффектом. Нулевого значения индекс дискриминативности достигает тогда, когда в обеих подгруппах доли учеников, справившихся с заданием равны. Соответственно дифференцирующего эффекта нет вообще. Значение меньше 0 будет в ситуации, когда данное задание теста слабые ученики выполняют успешнее, чем сильные. Естественно, что задания, у которых индекс дискриминативности равен или ниже нуля необходимо удалить из теста (табл. 6).

С помощью подсчета значений бисериальной или точечно-бисериальной корреляции также оценивается валидность отдельных заданий теста. В целом задание можно считать валидным, если r_pbis близко к 0,5. Оценка валидности задания позволяет судить о том, насколько задание пригодно. Если цель – дифференциация учеников по уровню подготовленности, то валидные задания должны четко отделить хорошо подготовленных от слабо подготовленных учеников тестируемой группы. Значения r_pbis близкие к нулю, указывают на низкую дифференцирующую способность заданий теста. Все задания у которых r_pbis<0, подлежат удалению из теста, так как на эти задания верно отвечают слабые ученики, а сильные либо ошибаются либо пропускают это задание.

Таблица 6

№ задания	Pj для всех испытуемых	Группа	Индекс rдис
Pj для слабой	Pj для сильной
	21,0	6,5	32,0	0,26
	94,0	90,0	97,0	0,065
	64,0	42,0	97,0	0,55
	59,0	68,0	58,0	-0,097
	27,0	16,0	29,0	0,13
	70,0	29,0	94,0	0,65
	30,0	13,0	42,0	0,29
	12,0	9,7	16,0	0,065
	33,0	16,0	52,0	0,35
	73,0	42,0	90,0	0,48

Анализ качества дистракторов в заданиях закрытой формы

Одно из важнейших требований, которое предъявляется к заданиям закрытой формы – это правдоподобность дистракторов – равноценная вероятность выбора дистрактора при неправильном ответе. Оценка качества дистрактора называется дистракторным анализом.

Дистракторный анализ предполагает подсчет долей испытуемых, выбравших каждый дистрактор. В идеальном варианте каждый дистрактор должен выбираться в равной доле от всех неправильных ответов. В таблице 7 показано идеальное распределение долей.

Таблица 7

№ задания	1 ответ	2 ответ*	3 ответ	4 ответ
j	0,1	0,7	0,1	0,1

В таблице 8 показано, что правильно выполнили задание (выбрали 2-й ответ) 70 % испытуемых. Остальные 30 %, которые дали неправильные ответы, равномерно выбрали 1, 3, 4 ответы, т.е. в задании были даны равновероятные дистракторы.

Таблица 8

Дата добавления: 2014-01-04