Разработка и анализ корреляционной матрицы

Спецификация тестового задания

К составленному варианту теста автор разрабатывает спецификацию теста. В общем случае спецификация теста имеет такую структуру:

1. Титульный лист. На титульном листе содержатся следующие сведения:

- название учебного заведения;

- название кафедры;

- направление подготовки;

- название учебной дисциплины;

- цель теста;

- назначение теста;

- вид оценивания (предварительное, текущее, тематическое, итоговое);

- Ф.И.О. авторов теста;

- Ф.И.О. экспертов теста;

- имя файла, в котором находятся тестовые задания, входящие в тест.

1. Содержательная часть:

- документы, регламентирующие содержание тестовых заданий (нормативы Министерства образования и науки Украины, нормативы, утвержденные в университете, рабочие программы и т.п.);

- учебники, учебные пособия, методические указания, рекомендуемые для подготовки к тестированию;

- план раскладки тестовых заданий в виде таблицы (см. табл. 2.2);

- требования к уровню подготовки. Перечень знаний, умений, проверяемых тестом (знание фактов, понятий, знание названий, имен, знание смысла названий и имен, знание определений, сравнительно сопоставительные знания, умения классифицировать и систематизировать, умения применять предметные знания для решения…, умения устанавливать причинно-следственные связи между…, умения распознавать, определять, сравнивать и сопоставлять… и т.п.);

-матрица содержания теста в виде табл. 2.3;

- количество вариантов теста (например, 10 вариантов по 60 заданий);

- формы представления тестовых заданий (например, А –альтернативная (двойная альтернатива) форма, Б – множественный выбор – с одним правильным ответом, В – открытая форма и т.п.);

- порядок предъявления тестовых заданий (в порядке следования, в случайном порядке, по случайно выбранной части заданий, по выбору обучаемого, в порядке сложности и т.п.);

- время тестирования (на тест, по каждому заданию, без ограничения и т.п.);

- система оценивания (балльная, зачетная и т.п.);

- шкала оценок (по проценту верных ответов, в соответствии с коэффициентом усвоения и т.п.);

- разрешение выдачи сообщения об оценке ответа («Верно», «Неверно») на каждое задание, наличие подсказок, ссылок на теоретический материал (при самоконтроле) и т.п.

2. Приложение к спецификации теста.

Приложение к спецификации теста включает в себя содержание всех тестовых заданий, входящих в тест, например, в виде табл 2.11 (оценивание результатов тестирования осуществляется в соответствии с коэффициентом усвоения).

Разработанную таким образом спецификацию и приложение к ней, подписанные авторами, экспертами и другими должностными лицами, передают в группу специалистов, ответственных за проведение компьютерного тестирования.

2.5. Обработка и интерпретация
результатов тестирования

По мнению Г.А. Атанова [3, с. 229], можно придумать 40 ‑ 60 тестовых заданий различного типа, собрать их вместе, можно даже назвать получившееся тестом и использовать в работе, но в научном понимании это тестом не будет. Это будет заготовка теста. Для того чтобы тест соответствовал требованиям инструмента измерения уровня обученности студентов и позволял результаты их тестирования интерпретировать адекватно, необходимо определить статистические показатели по тесту для репрезентативных групп испытуемых, чем достигается сопоставимость получаемых результатов у разных испытуемых.

Таблица 2.11

Содержание тестовых заданий

Номер ТЗ	Содержание ТЗ	Эталон	Количество существенных операций
Часть А	Инструкция к ТЗ № 1-20 (часть А): каждое тестовое задание сопровождается двумя пронумерованными ответами, выделите правильный ответ щелчком мыши
А1	Если разность между размером отверстия и размером вала положительная, то посадка является: 1) подвижной; 2) неподвижной.	Подвижной
А2	В соединении двух деталей охватывающую поверхность называют: 1) валом; 2) отверстием.	Отверстием
…….	………………………………………….	……….	………
Часть Б	Инструкция к ТЗ (часть Б): Среди перечисленных вариантов ответов в тестовых заданиях выделите один правильный ответ щелчком мыши
Б1	Допуском на неточность изготовления детали называется разность между наибольшим предельным размером и: 1) наименьшим; 2) действительным; 3) номинальным.	Наименьшим
	……………………………………………	………..	…………..

2.5.1. Первичная экспертиза
теста и тестовых заданий

В первую очередь разработанный вариант тестовых заданий должен пройти редактирование и первичную экспертную оценку. Основной задачей редактирования является проверка тестовых заданий на научно-техническую грамотность. Отредактированные тесты передаются преподавателям – экспертам в данной предметной области, которые проверяют соответствие тестовых заданий рекомендациям и требованиям.

Пример перечня требований к качеству тестовых заданий:

1. К содержанию теста:

· соответствие цели;

· наличие ключевых, сущностных знаний;

· научная достоверность;

· соответствие уровню современного состояния науки;

· возрастающая трудность тестовых заданий;

· гибкость содержания;

· системность содержания;

· комплексность содержания тестовых заданий;

· взаимосвязь содержания и формы тестового задания.

2. На наличие технических дефектов:

· грамматические подсказки;

· логические подсказки;

· абсолютные термины;

· повторение слов;

· длинный правильный ответ;

· тенденция к конвергенции;

· чрезмерная сложность вариантов ответа;

· бессистемное выражение цифровых данных;

· наличие неопределенных терминов;

· стилистическая неоднородность вариантов ответа;

· сложное и запутанное условие задания.

3. Функциональные требования:

· соответствие тестовых заданий контролируемому уровню усвоения знаний, умений, навыков;

· наличие тестовых заданий, соответствующих нескольким уровням усвоения деятельности в случае итогового тестирования (тест-лестница).

После первичной экспертизы и корректирования тестовых заданий проходит первичное тестирование на репрезентативной выборке студентов.

При проведении тестирования необходимо использовать все факторы и обстоятельства, которые могут каким-либо негативным образом проявиться при проведении тестирования. Это, в первую очередь, обеспечение максимальной защищенности тестовых заданий от попыток несанкционированного доступа до начала тестирования. Ответственность за выполнение этого требования лежит как на разработчиках и экспертах тестовых заданий, так и на техническом персонале, который, в силу специфики своей работы, имеет доступ ко всем ресурсам информационных систем (системные администраторы).

Отдельно следует отметить факторы, которые могут негативно влиять на состояние студентов во время проведения тестирования. Это и температура воздуха в помещениях (слишком жаркие или, наоборот, холодные аудитории), и освещенность (прямой солнечный свет), и различные отвлекающие воздействия (шум и т.п.). Поэтому перед проведением тестирования (особенно, если это очень важное для студентов испытание – выпускное тестирование, лицензирование, сертификация) следует предусмотреть все перечисленные выше факторы и выбрать аудиторию, которая будет максимально соответствовать предъявляемым требованиям.

Что касается непосредственного проведения тестирования, то здесь нужно сконцентрировать все внимание на соблюдении тишины и порядка в учебных аудиториях, тем самым исключив возможность списывания ответов.

2.5.2. Формирование матрицы
результатов тестирования

После первичной экспертизы проходит первичное тестирование на репрезентативной выборке студентов, в результате которого определяются количественные и качественные параметры теста и тестовых заданий (надежность теста, трудность, дискриминативность, валидность тестовых заданий и т.п.). На основании этого анализа отбираются тестовые задания и делают вывод о возможности внедрения теста в учебный процесс.

Рассмотрим простейшие статистические методы расчета качественных показателей теста и тестовых заданий.

При вычислении статистических показателей большое значение имеют объем и состав выборки тестируемых. Исследование надежности тестов можно проводить на выборках не менее 200 тестируемых [7, с. 170]. Состав выборки должен отражать ту категорию студентов, для которой предназначен тест. Так, например, если тест разработан для студентов первого курса технических специальностей по дисциплине «Высшая математика», то все статистические показатели для данного теста должны быть получены на этой специализированной выборке студентов, а не на выборке, в состав которой входят студенты старших курсов или студенты гуманитарных специальностей.

Исходными данными для качественного анализа результатов первичного тестирования являются: количество тестируемых, количество тестовых заданий, количество баллов, полученных тестируемыми за выполнение каждого тестового задания (например, 1 балл ‑ за правильный ответ, 0 баллов ‑ за неправильный ответ). Для удобства обработки результатов тестирования эти параметры заносятся в так называемую матрицу результатов тестирования.

В качестве исходных данных для анализа теста и тестовых заданий воспользуемся результатами тестирования [1, 3] десяти испытуемых по двенадцать тестовых заданий, которые приведены в табл. 2.12.

В табл. 2.12 приняты следующие обозначения: X_i - суммарный балл, набранный каждым испытуемым по 12 заданиям, R_j – количество правильных ответов по каждому заданию, набранных всеми испытуемыми, Wj – количество неправильных ответов по каждому заданию, набранных всеми тестируемыми.

Результаты тестирования показывают, что тестовые задания 2, 7 не являются рабочими, поскольку на второе задание ответили правильно все испытуемые. Таким образом, оно является легким. На седьмое задание никто не ответил правильно, поэтому оно для данной группы испытуемых является трудным. Величина вариации баллов по этим заданиям равна нулю. Эти задания не позволяют разделить испытуемых по их успешности, поэтому из теста они удаляются.

Таблица 2.12

Результаты тестирования

Испытуемые, i

Номер задания в тесте, j

Суммарный «сырой» балл (количество правильных ответов Хi)

Rj

Wj

Количественной мерой вариации является значение дисперсии баллов, обозначаемой символом . Для заданий, в которых используется только дихотомическая оценка (1 или 0), мера вариации определяется по формуле

, (2.1)

где - доля испытуемых, ответивших правильно на тестовое задание; - доля испытуемых, ответивших неправильно на тестовое задание.

Вариация тестовых баллов испытуемых, набранных ими в тесте, по всем заданиям определяется по формуле

, (2.2)

где - среднее арифметическое тестового балла, - значение балла, N – число тестируемых.

Для удобства в интерпретации тестовых результатов вместо дисперсии часто используют стандартное отклонение тестовых баллов. Оно обозначается символом и вычисляется как корень квадратный из значения по формуле

= . (2.3)

Значения дисперсии и стандартного отклонения должны быть настолько большими, насколько это возможно, так как это означает, что тест является эффективно дискриминирующим [7, с. 106]. При малом значении дисперсии и стандартном отклонении необходимо вводить новые тестовые задания.

В матрице результатов тестирования записаны, так называемые, «сырые баллы». Для сравнения «сырых» баллов различных студентов и для адекватной интерпретации результатов тестирования необходимо «сырые» баллы перевести в стандартные шкалы. Пример перевода «сырых баллов» в стандартные шкалы приведен в Приложении И.

После предварительного анализа на трудность тестовых заданий и удаления нерабочих заданий, а также упорядочивания испытуемых по суммарному количеству набранных баллов и тестовых заданий по их трудности (слева на право) получают упорядоченную матрицу результатов тестирования, элементы которой приведены в табл. 2.13.

После корректировки матрицы рассчитываются корреляционные связи между результатами по каждому заданию и суммой баллов для каждого испытуемого, а также попарно между всеми результатами по всем заданиям. Коэффициент корреляции можно рассчитать по формуле Пирсона

, (2.4)

где y и z – параметры, связь между которыми рассчитывается, SP_yz – сумма произведений отклонений y и z от их средних значений, вычисляемая по формуле

, (2.5)

где SS_y, SS_z – сумма квадратов отклонений по y и z от его среднего значения, вычисляемая по формуле

(2.6)

Таблица 2.13

Упорядоченная матрица результатов тестирования

Испытуемые, i	Номер тестового задания, j	Суммарный «сырой» балл, Хi (количество правильных ответов)
Старый номер задания

Для вычисления коэффициента корреляции можно воспользоваться стандартными приложениями, например, приложением MS Excel. Так, для определения коэффициента корреляции между результатами по первому заданию и суммой баллов для каждого испытуемого необходимо в качестве первого аргумента функции КОРРЕЛ(арг1; арг2) задать диапазон ячеек, в которых хранятся значения результатов для всех испытуемых по первому заданию (столбец 1 в табл.2.13), а в качестве второго аргумента задать диапазон ячеек, в которых хранятся значения суммарного балла для каждого испытуемого (столбец - суммарный «сырой балл», X_i в табл. 2.13).

При вычислении коэффициента корреляции между результатами ответов первого и второго заданий в качестве первого аргумента задается диапазон ячеек, в которых хранятся значения результатов для всех испытуемых по первому заданию (столбец 1 в табл. 2.13), а в качестве второго аргумента задается диапазон ячеек, в которых хранятся значения результатов для всех испытуемых по второму заданию (столбец 2 в табл. 2.13).

Вычисленные таким образом коэффициенты связи между заданиями и между заданием и суммарными баллами каждого испытуемого приведены в табл. 2.14.

Таблица 2.14

Корреляционная матрица

I j			3					8			R
	1,00	0,67	0,51	0,41	0,33	0,27	0,27	-0,51	0,17	0,11	0,50
	0,67	1,00	0,22	0,61	0,00	-0,10	0,41	-0,22	0,25	0,17	0,46
	0,51	0,22	1,00	0,36	0,22	0,09	0,09	-0,52	-0,22	-0,51	0,22
	0,41	0,61	0,36	1,00	0,41	0,25	0,67	0,09	0,41	0,27	0,75
	0,33	0,00	0,22	0,41	1,00	0,82	0,82	0,22	0,50	0,33	0,80
	0,27	-0,10	0,09	0,25	0,82	1,00	0,58	0,36	0,61	0,41	0,73
	0,27	0,41	0,09	0,67	0,82	0,58	1,00	0,36	0,61	0,41	0,89
	-0,51	-0,22	-0,52	0,09	0,22	0,36	0,36	1,00	0,76	0,51	0,36
	0,17	0,25	-0,22	0,41	0,50	0,61	0,61	0,76	1,00	0,67	0,78
	0,11	0,17	-0,51	0,27	0,33	0,41	0,41	0,51	0,67	1,00	0,52
Rj	0,32	0,30	0,12	0,45	0,46	0,43	0,52	0,20	0,48	0,34
Rjк	0,40	0,38		0,50	0,53	0,48	0,60		0,53	0,42

В табл. 2.14 приняты следующие условные обозначения: Rj – средний коэффициент корреляции, R_jк – средний коэффициент корреляции после корректирования теста, Rx_ijx_i – коэффициент корреляции между результатами заданий и суммой баллов для каждого испытуемого. Число столбцов и строк в матрице равно числу заданий.

Считается [1, 3, 7], что тест валиден по способности дифференцировать испытуемых по результатам тестирования, если значение коэффициента корреляции R_j не ниже 0,3. Из табл. 2.14 видно, что для тестовых заданий 3, 8 значение коэффициента корреляции равно соответственно 0,12 и 0,20, в связи с этим задания 3 и 8 удаляются из теста. После удаления этих заданий средний коэффициент корреляции увеличился, что отображено в последней строке табл. 2.14. Такая корректировка теста проходит в несколько этапов до тех пор, пока при первом использовании теста все коэффициенты корреляции будут больше чем 0,3 [3, с. 235].

Дата добавления: 2015-05-24