Студопедия

КАТЕГОРИИ:


Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748)

Методика оценки валидности тестовых заданий




1. Основные термины и определения

1.1. Валидизация — исследование и анализ теста, с целью определить степень валидности теста, то есть определить, измеряет ли он реально то качество, для измерения которого он был предложен, можно ли делать на основании его результатов осмысленные выводы.

1.2. Валидность теста — характеристика теста, которая показывает, в какой мере тест измеряет именно то качество, для измерения которого он создан. Чем выше валидность теста, тем более обосновано использование результатов тестирования для выводов и предсказаний.

1.3. Валидизацию проводит специальный уполномоченный орган по экспертизе тестовых материалов с привлечением специалистов-тестологов и независимых специалистов-экспертов по различным предметным областям.

2. Область использования и сфера применимости теста

2.1. Тест должен сопровождаться пояснениями о рекомендуемой цели применения этого теста.

2.2. В тесте должно содержаться описание совокупности тестируемых (испытуемых), на которых рассчитан тест, например возраст тестируемых, определенный год обучения, уровень способностей и т.п.

2.3. Эксперт должен оценить: соответствует ли тест поставленным целям и годится ли он для тех учащихся на которых рассчитан и отразить это в протоколе экспертизы.

3. Содержательная валидность теста

3.1. Содержательная валидность теста — характеристика теста, отражающая степень уверенности, что задания теста достаточно полно отражают содержание определенной области знания, а владение всеми навыками, наличие которых измеряет тест, существенно для данной деятельности, и при этом тест не проверяет наличия второстепенных или ненужных знаний и навыков. Другими словами, содержательная валидность - это характеристика, определяющая соответствие тестовых заданий содержанию ГОС или учебной программе. Содержательная валидность оценивается с помощью метода экспертных оценок.

3.2. О содержательной валидности теста необходимо судить по спецификации теста и методам, которые используются при его разработке.

3.3. Эксперт должен определить какова процедура отбора, призванная обеспечить включение в текст нужного материала, обеспечивает ли эта процедура возможность судить по выполнению отобранных заданий об уровне знаний испытуемого в данной области и овладении им специфическим для данной области навыками.

3.4. Эксперт должен определить достаточно ли ясно указано, владение какими именно знаниями или навыками должен выявить тест.

3.5. В спецификация теста должны быть перечислены все основные элементы содержания данной дисциплины на основе обязательных образовательных минимумов.

3.6. Для каждого пункта спецификации должно быть указано число тестовых заданий, вид этих заданий, уровень их сложности и способности, которые они проверяют, отведенное на их решение время, а также дополнительные требования.

3.7. Количественно тестовые задания должны быть распределены равномерно по каждому пункту спецификации теста.

3.8. Спецификация составляется таким образом, чтобы ее анализ позволил убедиться, что в ходе тестирования проверяется знание всех основных элементов содержания и в тест не включены задания, относящиеся к темам, которые не изучались.

3.9. Эксперт выставляет оценку содержательной валидности теста в диапазоне от 0 до 1. Если оценка содержательной валидности равна 1, то тест полностью валиден по содержательности. Если оценка содержательной валидности равна 0, то тест является полностью не валидным по содержательности.

3.10. Тест считается содержательно-валидным, если значение оценки содержательной валидности составляет больше 0.8.

3.11. Если оценка содержательной валидности теста меньше 1, то эксперт обязан внести замечания по содержательной валидности в «Лист замечаний» экспертизы.

4. Расчет критериальной валидности теста

4.1. Тест должен быть проверен на критериальную валидность — характеристика теста, отражающая степень уверенности, что первичный тестовый балл реально отражает достижение определенного уровня знаний или навыков. Критериальная валидность определяется на основании сравнения результатов тестирования и показателей, полученных независимым путем (например, путем традиционных оценок, экспертных суждений, результатов других тестов, валидность которых уже установлена).

4.2. Критериальная валидность определяется органом по экспертизе тестовых материалов по представленному банку тестовых заданий.

4.3. Орган по экспертизе тестовых материалов для расчета критериальной валидности проводит мероприятия по апробации теста в различных условиях и на основе методов непараметрической статистики вычисляет степень сходства результатов тестирования с результатами независимой оценки знаний и умений тестируемых.

4.4. Степень сходства в непараметрической статистике — это мера r взаимозависимости (корреляционной связи) двух величин Xi и Yi. Величина r принимает значения от 0 до 1. Если значение r равно 1, то сходство считается полным, если степень сходства равна 0, то имеет место полное расхождение результатов.

4.5. Тест считается критериально валидным, если значение степени сходства результатов тестирования с результатами независимой оценки знаний и умений больше 0.8.

4.6 За коэффициент валидности принимают коэффициент корреляции результатов тестовых измерений и критерия. Если экспертная оценка знаний испытуемых, полученная независимо от процедуры тестирования, представлена числовой последовательностью Y1,Y2, …, Yn, то коэффициент валидности теста может быть рассчитан по формуле:

,

где - средняя арифметическая экспертных оценок, sY - стандартное отклонение этих оценок:

, .

Задание 2. Используя тест3 лабораторной работы №6 протестировать каждого испытуемого в группе. Используя полученные данные провести оценку надежности теста двумя способами (повторным и однократным тестированием). Дать интерпретацию надежности теста. Вычислить погрешность измерения тестового балла.

Задание 3. Используя данные тестирования и экспертные суждения преподавателей или студентов (результаты независимой оценки) рассчитать валидность теста. Дать интерпретацию валидности теста.


Учебное издание

 

 

Авторы-составители:

Волкова Татьяна Ивановна,

Бадртдинова Файруза Тахваловна

 




Поделиться с друзьями:


Дата добавления: 2014-12-27; Просмотров: 2765; Нарушение авторских прав?; Мы поможем в написании вашей работы!


Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет



studopedia.su - Студопедия (2013 - 2024) год. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав! Последнее добавление




Генерация страницы за: 0.007 сек.