Показатели качества тестов

ПРОВЕДЕНИЕ ПРОБНОГО ТЕСТИРОВАНИЯ.

Лекция 7

Экспертный анализ содержания и формы тестовых заданий

Составление тестовых заданий

Составление тестовых заданий – один из важнейших этапов в процессе создания теста. Один из ведущих принципов составления заданий - принцип конгруэнтности, т.е. соответствия содержания заданий проверяемой области содержания. Разработчики должны четко представлять, какой конкретный элемент содержания или умение проверяет каждое задание. С помощью задания проверяется что-то одно. Неправильно считать, что лучше составлять задания на проверку нескольких знаний. Неопределенность предмета измерения может привести к двусмысленности формулировки, что ухудшает качество самого теста и влияет на результаты измерения.

В зависимости от целей тестирования и содержания проверяемой дисциплины выбираются оптимальные формы тестовых заданий. Разработчик может использовать в тесте задания только одной формы, например, закрытые задания, а также сочетать в тесте несколько различных форм (например, КИМы ЕГЭ, ЦТ). Выбор форм во многом зависит от технологии проверки, сбора и обработки результатов, материального обеспечения.

Для предварительного тестирования готовят заданий в 2, а то и в 3 раза больше, чем потом войдет в конечный вариант теста.

После того как разработчики представили множество тестовых заданий проходит процедура экспертного анализа содержания и формы экспертных заданий. Для экспертизы привлекаются независимые специалисты, компетентные в данной области, которые не имели отношения к разработке теста. Число специалистов варьируется в зависимости от целей и масштабности тестирования. Для анализа тестов локального использования (одна школа, институт) достаточно 2-3 эксперта; для тестов, рассчитанных на массовое тестирование, привлекаются 3-5 экспертов, чтобы повысить эффективность процедуры экспертизы.

В конце всей работы эксперт представляет заключение о качестве теста (тестовых заданий), в котором даются рекомендации по корректировке и улучшению содержания теста. По результатам экспертной оценки разработчиками проводится корректировка тестовых заданий и доработка теста в целом.

Пробное тестирование преследует несколько целей:

1) выявление заданий, в которых есть недостатки (несоответствие трудности заданий уровню подготовленности испытуемых; непонятные или двусмысленные формулировки заданий, выявление неработающих дистракторов в заданиях закрытой формы и др.);

2) определение статистических характеристик тестовых заданий и теста в целом.

Для пробного тестирования готовятся инструкция для учащихся, как выполнять тест, инструкция для проводящих тестирование (наблюдателей), инструкция по апробации (какие эмпирические данные необходимо собрать). Апробация проводится на репрезентативной выборке испытуемых с четким соблюдением правил проведения тестирования (в современной теории тестирования не менее 1000 чел.).

Дата добавления: 2014-01-04