Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Трудность тестовых заданий

Характеристика тестовых заданий

Сбор и статистическая обработка результатов тестирования

Для удобства обработки тестовых данных результаты заносятся в специальную таблицу – матрицу тестовых результатов. Работа с матрицей результатов тестирования представлена в практическом занятии 2 (с. 33).

По результатам апробационного тестирования определяются характеристики тестовых заданий – трудность, дискриминативность и валидность задания.

Трудность задания в классической теории тестов определяется через соотношение количества испытуемых, справившихся с данным заданием, и общего количества испытуемых, т.е. трудность задания – это доля учащихся, которые справились с заданием.

 
 

Трудность задания вычисляется по формуле

где pj - доля правильных ответов на j-ое задание; Yj - количество испытуемых, выполнивших j - ое задание верно, N - число испытуемых в группе, j - номер задания. Или в процентах, Pj – трудность j – ого задания в процентах: .

В хорошо сбалансированном по трудности тесте есть несколько самых трудных заданий со значением . Есть несколько самых легких с . Остальные задания по значениям p занимают промежуточное положение между крайними ситуациями и имеют в основном трудность 60 - 70 % в критериально-ориентированном тесте и 40-60 % в нормативно-ориентированном.

Дискриминативность тестового задания

Дискриминативность (дифференцирующая способность, различающая способность) задания – это способность задания дифференцировать испытуемых по уровню достижений, на сильных и слабых. Если задание одинаково выполняется и слабыми, и сильными, то можно говорить о низкой дискриминативности задания. Если задание выполняется сильными испытуемыми, а слабые дают отрицательный результат, то мы имеем высокую дискриминативность.

Высокая дискриминативность тестовых заданий важна для нормативно-ориентированных тестов, основная цель которых - ранжирование учащихся по уровню достижений.

Если индекс дискриминативности выше нуля (больше 0,3 считается удовлетворительным), а еще лучше стремится к 1, то это свидетельствует о том, что задание обладает хорошим (максимальным) дифференцирующим эффектом.

Для оценки дискриминативности задания будем использовать метод крайних групп, расчет по формуле:

, где – индекс дискриминативности для j-ого задания теста; (P1)j – процент учеников, правильно выполнивших j-ое задание в подгруппе из 27% лучших учеников по результатам выполнения теста; (P0)j – процент учеников, правильно выполнивших j-ое задание в подгруппе из 27% худших учеников по результатам выполнения теста.

Индекс дискриминативности изменяется в пределах [-1; 1]. Максимального значения он достигает в том случае, когда все ученики из подгруппы сильных верно выполняют данное задание, а из подгруппы слабых это задание не выполняет верно никто. В этом случае задание будет обладать максимальным дифференцирующим эффектом. Нулевого значения индекс дискриминативности достигает тогда, когда в обеих подгруппах доли учеников, справившихся с заданием равны. Соответственно дифференцирующего эффекта нет вообще. Значение меньше 0 будет в ситуации, когда данное задание теста слабые ученики выполняют успешнее, чем сильные. Естественно, что задания, у которых индекс дискриминативности равен или ниже нуля необходимо удалить из теста (табл. 6).

С помощью подсчета значений бисериальной или точечно-бисериальной корреляции также оценивается валидность отдельных заданий теста. В целом задание можно считать валидным, если rpbis близко к 0,5. Оценка валидности задания позволяет судить о том, насколько задание пригодно. Если цель – дифференциация учеников по уровню подготовленности, то валидные задания должны четко отделить хорошо подготовленных от слабо подготовленных учеников тестируемой группы. Значения rpbis близкие к нулю, указывают на низкую дифференцирующую способность заданий теста. Все задания у которых rpbis<0, подлежат удалению из теста, так как на эти задания верно отвечают слабые ученики, а сильные либо ошибаются либо пропускают это задание.

Таблица 6

 

№ задания Pj для всех испытуемых Группа Индекс rдис
Pj для слабой Pj для сильной
  21,0 6,5 32,0 0,26
  94,0 90,0 97,0 0,065
  64,0 42,0 97,0 0,55
  59,0 68,0 58,0 -0,097
  27,0 16,0 29,0 0,13
  70,0 29,0 94,0 0,65
  30,0 13,0 42,0 0,29
  12,0 9,7 16,0 0,065
  33,0 16,0 52,0 0,35
  73,0 42,0 90,0 0,48

 

Анализ качества дистракторов в заданиях закрытой формы

Одно из важнейших требований, которое предъявляется к заданиям закрытой формы – это правдоподобность дистракторовравноценная вероятность выбора дистрактора при неправильном ответе. Оценка качества дистрактора называется дистракторным анализом.

Дистракторный анализ предполагает подсчет долей испытуемых, выбравших каждый дистрактор. В идеальном варианте каждый дистрактор должен выбираться в равной доле от всех неправильных ответов. В таблице 7 показано идеальное распределение долей.

Таблица 7

№ задания 1 ответ 2 ответ* 3 ответ 4 ответ
j 0,1 0,7 0,1 0,1

 

В таблице 8 показано, что правильно выполнили задание (выбрали 2-й ответ) 70 % испытуемых. Остальные 30 %, которые дали неправильные ответы, равномерно выбрали 1, 3, 4 ответы, т.е. в задании были даны равновероятные дистракторы.

Таблица 8

<== предыдущая лекция | следующая лекция ==>
Показатели качества тестов | Валидность
Поделиться с друзьями:


Дата добавления: 2014-01-04; Просмотров: 8311; Нарушение авторских прав?; Мы поможем в написании вашей работы!


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



studopedia.su - Студопедия (2013 - 2024) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление




Генерация страницы за: 0.013 сек.