Валидность

Оценка надежности теста

Надежность

Показатели качества теста

Анализ правдоподобности дистракторов

в заданиях закрытой формы с четырьмя ответами

№ задания	Всего	Распределение ответов испытуемых
1-й ответ	2-й ответ	3-й ответ	4-й ответ
кол.	%	Кол.	%	кол.	%	кол.	%
			8,3		1,0		67,7*		22,9
			4,2		20,8		2,1		72,9*
			19,6		29,9		24,7*		25,8
			19,4		10,8		63,4*		6,5
			49,0		34,4*		9,4		7,3
			0,0		6,2		93,8*		0,0
			21,1		26,7		44,4*		7,8
			3,2		11,8		2,2		82,8*
			36,0		1,2		25,6		37,2*
			36,1		23,7		40,2*		0,0

Звездочками помечены верные ответы.

В результате дистракторного анализа выявляются задания с неработающими дистракторами (вариантами ответов в закрытом задании, которые испытуемые выбирают мало или вообще не выбирают). Если в задании есть неработающие дистракторы, то вероятность угадывания правильного ответа повышается, а следовательно снижается его трудность. Такие задания требуют переработки (замены неработающих дистракторов) или удаления их из теста. Задание №6 можно переделать в открытую форму.

Основными показателями качества теста являются надежность и валидность теста. А так как тест является инструментом педагогического измерения, то эти показатели имеют численное значение и определяются с помощью различных методов, как в классической теории тестов, так и в современной теории тестов.

Надежность – это характеристика теста, отражающая точность педагогического измерения, а также устойчивость результатов тестирования к воздействию посторонних (случайных) факторов.

Для оценки надежности нормативно-ориентированного теста: хорошим коэффициент надежности теста считается, когда показатель колеблется в пределах

0,8 < К < 1.

Нижним пределом принято считать показатель 0,7. Если значение коэффициента надежности ниже, то надежность теста считается неудовлетворительной.

Для оценки надежности нормативно-ориентированного теста используются две группы методов.

1) Двукратное тестирование:

1.1. ретестовый метод;

1.2. метод параллельных форм.

2) Однократное тестирование:

2.1. метод расщепления теста;

2.2. метод Кьюдера-Ричардсона.

Оценка надежности чаще всего строится на подсчете корреляции между двумя наборами результатов выполнения одного и того же теста или двух его параллельных форм. Чем выше корреляция, тем надежнее тест.

Оценка надежности критериально- ориентированного теста.

Если создается тест для аттестации по итогам определенной ступени обучения, то рекомендуется вычислять фи- и каппа-коэффициенты. Их величины должны быть больше 0,8 (0,85) и приблизительно равны между собой, что свидетельствует о хорошей надежности теста.

Валидность еще одна важная характеристика теста, определяющая его качество. Валидность (от англ. Validity - значимость, обоснованность, пригодность) – «это характеристика способности теста служить поставленной цели измерения», т.е. способность теста измерять то, для чего он предназначен.

Выделяют несколько видов валидности, которые отражают различные аспекты этого критерия качества теста (Анастази А.; Майоров А.Н.).

1) Содержательная валидность (content validity).

Валидность по содержанию закладывается в тест уже на этапе работы со спецификацией теста и отбора его содержания. Для педагогических тестов содержательная валидность очень важна и оценивается она экспертным путем. Независимые эксперты определяют, насколько тест охватывает область содержания проверяемого предмета.

2) Критериальная валидность.

Критериальная валидность - это характеристика теста, отражающая обоснованность, значимость его результатов по сравнению с некоторой внешней переменной (степень соответствия между результатами тестирования и внешним критерием). Для оценки критериальной валидности необходимо составить таблицу с результатами тестирования и список тех же студентов с экспертной оценкой преподавателя (-ей). В качестве критерия берем оценки преподавателей при традиционной проверке знаний без использования тестов. Критериальная валидность измеряется от –1 до 1, валидность более 0,3 считается удовлетворительной.

3) Конструктная (концептуальная) валидность.

Об этом виде валидности говорится в том случае, если представление об измеряемом феномене существует только в проекте и требует доказательства.

Дата добавления: 2014-01-04