Валидность теста

Для определения содержательной валидности приглашаются эксперты (преподаватели) в данной предметной области. В соответствии с целью тестирования категорий студентов, для которых этот тест предназначен, знаний, умений, которые подлежат контролю, эксперты делают заключение о содержательной валидности. По содержанию тестовых заданий эксперты определяют также, соответствуют ли тестовые задания выявляемому уровню усвоения, т.е. определяют функциональную валидность. В дальнейшем о валидности судят по статическим показателям качественного анализа теста.

Так, валидное тестовое задание должно иметь следующие основные статистические показатели: надежность − не менее 0.7 [7, c. 195]; индекс трудности P_d − в пределах от 0.36 до 0.84; распределительную способность тестового задания − не менее 0.2, а значения коэффициентов асимметрии As и эксцесса Ex – близкие к нулю [15]. Если тестовые задания соответствуют заданным параметрам, то разработанные тестовые задания записываются в базу тестовых заданий, в противном случае они возвращаются автору на доработку с повторным анализом качества теста и тестовых заданий.

Заметим, что перечисленные статистические показатели являются основными. Предложены наиболее простые способы их вычисления. Преподаватели могут самостоятельно определить эти показатели и использовать для предварительной оценки качества теста и тестовых заданий. Для стандартизации теста должна быть проведена статистическая обработка результатов тестирования с помощью специальных (сертифицированных) компьютерных систем тестового контроля.

Приложение А. Примеры тестовых
заданий закрытой формы

Тестовые задания с альтернативным выбором (дихотомические). Задания 1, 2, 3 являются примерами тестового задания 1-го уровня на опознание (рассматривая предъявленный объект, студенты отмечают, соответствует ли он поставленному вопросу, утверждению, ситуации или нет). В тестовых заданиях с альтернативным выбором неизвестным является принадлежность предмету (процессу, явлению) указанного признака. Область поиска ограничена одной из альтернатив.

Принято, чтобы одинаковые формы тестовых заданий сопровождались общей инструкцией. Эта форма тестовых заданий, например, может сопровождаться следующей общей инструкцией:

Каждое из тестовых заданий сопровождается двумя пронумерованными утверждениями (ответами). «Выделите правильный ответ» нажатием левой клавиши мыши (задание 1), или «Введите номер правильного ответа» ( задание 2).

Содержание в задании 1 сконструировано по принципу импликации, в соответствии с которым проверяются знания причинно-следственных отношений. При этом используется логическая форма "Если…,то". Ответ в задании построен в соответствии с принципом противоречия, соответственно которому подбираются такие два ответа, чтобы второй отрицал первый.

Задание 1. Р аздел «Система допусков и посадок», учебная дисциплина «Техническая механика».

Если разность между размером отверстия и размером вала положительная, то посадка является:

1) подвижной;

2) неподвижной.

.

Ответы в задании 2 сконструированы по принципу противоречия. В содержании задания есть суждение, которое студент должен подтвердить или опровергнуть.

Задание 2. Т ема «Основные свойства металлов», учебная дисциплина «Неорганическая химия».

При взаимодействии металлов с водой щелочи:

1) образуются;

2) не образуются.

Ответы в задании 3 сконструированы по принципу противоположностей, в соответствии с которым подбираются полярные ответы.

Задание 3. Т ема«Водород и его свойства», учебная дисциплина «Химия».

С повышением температуры способность к образованию водородных соединений:

1) уменьшается;

2) повышается.

Ответы в заданиях 4, 5 сконструированы по принципу однородности, в соответствии с которым подбираются такие два ответа, которые относятся к одному роду, вид у или отображают две основные стороны объекта, явления, процесса.

Задание 4. Тема «Система допусков и посадок», учебная дисциплина «Техническая механика».

В соединении двух деталей охватывающую поверхность называют:

1) валом;

2) отверстием.

Задание 5. Тема «Нейронные сети: основные положения», учебная дисциплина «Искусственный интеллект».

Выходная связь нейрона называется:

1) синапс;

2) аксон.

Ответы в задании 6 сконструированы по принципу кумуляции, в соответствии с которым содержание второго ответа вбирает в себя (кумулирует) содержание первого и содержит новую информацию.

Задание 6. Тема «Основные средства производства», учебная дисциплина «Экономика предприятия».

Для выявления износа основных средств сравнивают стоимость:

1) восстановительную;

2) восстановительную и первоначальную.

Для того чтобы исключить возможность списывания, можно подготовить шаблон вариантов элементов содержания тестового задания. Такой шаблон позволит создавать несколько вариантов как одного тестового задания, так и теста в целом. Так, например, в задании 7 (шесть вариантов одного задания), задании 8(восемь вариантов одного задания) в фигурных скобках перечислены варианты элементов содержания тестового задания, а многоточие означает, что количество таких вариантов можно продолжить. Для каждого испытуемого берется один из возможных вариантов элементов тестового задания (но не ответов). В тестовом задании может быть несколько элементов, которые имеют различное количество вариантов содержания (задание 8).

Задание 7. Т ема «Правопис И та І в словах іншомовного походження», учебная дисциплина «Українське ділове мовлення».

В начале слова в переводе на украинский язик пишется буква:

1) і;

2) и.

Задание 8. Тема «Правопис И та І в словах іншомовного походження», учебная дисциплина «Українське ділове мовлення».

После в словах í биплан, пилот, мираж, фигура, китель, химия, линия, нитраты,.....ý в переводе на украинский язык пишется буква:

1) і;

2) и.

Для одного из тестируемых задание 8 может иметь следующее содержание:

После буквы б в слове биплан в переводе на украинский язык пишется буква:

1) і;

2) и.

Всем остальным тестируемым при предъявлении тестового задания автоматически подставляют новый номер тестового задания и новый вариант из блока, что исключает возможность списывания.

Тестовые задания закрытой формы множественного выбора.

Тестовые задания с множественным выбором бывают с одним правильным ответом и несколькими правильными ответами. По сравнению с простым выбором вероятность угадывания в этих заданиях уменьшается. Тестовые задания с множественным выбором конструируется в соответствии с принципами, приведенными для заданий альтернативной формы. Так, например, ответы в задании 9 сконструированы в соответствии с принципом однородности и только один из них ‑ правильный ответ, а два остальных являются дистракторами (неправильными ответами).

Задание 9 (задание с множественным выбором и одним правильным ответом). Тема «Система допусков и посадок», учебная дисциплина «Техническая механика».

Допуском на неточность изготовления детали назывется разность между наибольшим предельным размером и:

1) наименьшим;

2) действительным;

3) номинальным.

В з аданиях 10, 11 проверяются знания причинно-следственных отношений с применением конструкции: «Если…, то».

Задание 10 (задание с множественным выбором и одним правильным ответом). Тема «Нейронные сети: основные положения», учебная дисциплина «Искусственный интеллект».

Если активационная функция имеет вид сигмоид, то выходное значение нейрона лежит в диапазоне:

1) [0,1]; 2) [0.-1]; 3) [1,-1].

Задание 11 (задание с множественным выбором и одним правильным ответом). Тема «Сила и движение: единицы измерения», учебная дисциплина «Физика».

Если масса выражена в граммах, а ускорение − в см/с², то единицей наименования силы является:

1) паскаль; 2) дина; 3) ньютон.

Задание 12 предполагает специальные знания философского произведения и используется для отбора в аспирантуру в США [6, с. 54 ]. Содержание этого задания построено по принципу аналогии.

Задание 12 (задание с множественным выбором с одним правильным ответом). Учебная дисциплина «Философия».

Гегель так относится к «Феноменологии духа», как Кант к ….

(а) «Назначение человека», (б) «Система трансцедентального идеализма», (в) «Критика чистого разума», (г) «К критике философии Гегеля», (д) «Мир как воля и представление».

Для уменьшения вероятности угадывания правильного ответа чаще используют тестовые задания с четырьмя, пятью ответами.

Задание 13 (задание с множественным выбором и одним правильным ответом). Учебная дисциплина «Экономика предприятия».

Валовой внутренний продукт – это сумма всех товаров и услуг:

1) произведенных;

2) реализованных;

3) готовых;

4) конечных.

Задание 14 (тестовое задание с множественным выбором, содержащее несколько вариантов правильных ответов). Тема «Операторы присваивания», учебная дисциплина «Алгоритмические языки и программирование».

Выберите синтаксически неверные конструкции, написанные на языке Паскаль:

1) y:=a+b;

2) t:=trunс(1y);

3) y:=trunс(t);

4) int w=5;

5) t2:=sqrt(-5);

6) t2:=sqr(-3).

Задание 15 (тестовое задание с множественным выбором, содержащее несколько вариантов правильных ответов). Тема «Философская культура Древнего Востока», учебная дисциплина «Философия».

Выделите особенности философской культуры Древнего Востока:

1) мифологический характер;

2) связь с религией;

3) практическая направленность;

4) рационализм.

Для оценки умений применять знания в известной ситуации используют расширенную форму тестовых заданий с множественным выбором, в которых в условии задания рассматривается конкретная практическая проблема.

Задание 16 ( тестовое задание расширенного выбора). Тема «Кинематический анализ механизмов второго класса», учебная дисциплина «Теоретическая механика».

Тема: кинематический анализ механизмов второго класса.

Варианты ответов:

a) кривошипно-шатунный;

b) кулисный;

c) синусный;

d) тангенсный.

Вводный вопрос: Для каждого условия подберите механизм, который обеспечит необходимое преобразование движения в приборе.

Условие задания:

1. Разрабатывается прибор для получения нужного закона вращения ведомого звена. Ответ__.

2. Разрабатывается прибор для преобразования вращательного движения в возвратно-поступательное, и наоборот. Ответ__.

Задание 17 (тестовое задание расширенного выбора).

Тема: тестовые задания закрытой формы.

Варианты ответов:

1) 1-й уровень;

2) 2-й уровень;

3) 3-й уровень;

4) 4-й уровень.

Вводный вопрос: Для каждого условия задания подберите контролируемый уровень усвоения деятельности.

Условие задания:

1. Содержание тестового задания содержит цель и требуется уточнить ситуацию. Ответ__.

2. Содержание тестового задания содержит цель и ситуацию. Ответ__.

3. Содержание тестового задания содержит цель, ситуацию и действия по ее решению. Ответ__.

Приложение Б. Примеры тестовых
заданий открытой формы

Тестовые задания открытой формы являются заданиями 2-го уровня усвоения на подстановку. Открытая форма заданий не содержат вариантов ответов. Ответ дописывается тестируемым самостоятельно с клавиатуры в виде слова, нескольких слов, словосочетаний, чисел, формул, графических элементов (если позволяет тестирующая программа). При вводе символов прописные и строчные буквы считаются равнозначными и вводятся вместо прочерков. В содержании тестовых заданий важно соблюдать правильную грамматическую форму и порядок следования слов, за исключением, когда этот порядок следования слов не имеет значения (задание 22). Все вставляемые пропущенные слова должны быть согласованы в роде, числе, падеже (существительное), времени, спряжении (глагол) и т.п. с основным содержанием текста. Так, например, если в выражении: сила равна произведению масс ы на ускорение, пропущено слово массы, а тестируемый ввел масс а, то ответ будет считаться неверным, несмотря на то, что контролируется учебный элемент по дисциплине «Физика». Эта особенность является недостатком тестовых заданий открытой формы.

Открытая форма тестовых заданий, например, может сопровождаться следующей общей инструкцией:

Тестовые задания 18, 19 имеют следующую общую инструкцию: «Вставьте пропущенное слово».

Задание 18 ( дополнение с ограничением на ответ). Тема «Строение атома», учебная дисциплина «Химия».

_ _ _ _ состоит из протонов и нейтронов.

Задание 19 (дополнение с ограничением на ответ). Тема «Строение атома», учебная дисциплина «Химия».

Отрицательно заряженная частица, масса которой в 1840 раз меньше массы нейтрона, называется _ _ _ _ _ _ _ _.

Задание 20 (дополнение с ограничением на ответ). Тема «Система допусков и посадок», учебная дисциплина «Техническая механика».

Характер сопряжения двух деталей определяется _ _ _ _ _ _ _ _.

Открытая форма тестовых заданий может содержать несколько пропусков, тогда тестовые задания, например, могут сопровождаться следующей общей инструкцией: «Допишите (введите) пропущенные символы».

Задание 21 (дополнение с ограничением на ответ). Тема «Технические конденсаторы», учебная дисциплина «Физика».

Работа, совершаемая при зарядке конденсатора, равна _· _/_, где _ разность потенциалов между пластинами.

В тестовых заданиях открытой формы может быть пропущено несколько слов, тогда эти задания будут сопровождаться следующей общей инструкцией: «Вставьте пропущенные слова (словосочетания )».

В некоторых заданиях важна последовательность записи пропущенных слов, а в некоторых нет. Так, в задании 22 порядок написания пропущенных слов не имеет значения (эталоном являются соответственно слово – вращательного и словосочетание – возвратно-поступательное), а в задании 23 (эталоном являются слова: скоростей, механизма) смысл выражения меняется, если поменять местами порядок подстановки этих слов.

Задание 22 ( дополнение с ограничением на ответ). Тема «Структурный анализ плоских механизмов», учебная дисциплина «Техническая механика».

Кривошипно-шатунный механизм применяется в конструкциях для преобразования ___________ движения в _______________ и наоборот.

Задание 23 (дополнение с ограничением на ответ). Тема «Силовой анализ рычажных механизмов», учебная дисциплина «Техническая механика».

Жестким рычагом или рычагом Жуковского принято называть план

_________ _________.

Задание 24 ( дополнение с ограничением на ответ). Тема «Силовой анализ рычажных механизмов», учебная дисциплина «Техническая механика».

Жесткий рычаг рассматривается как ________ тело.

Задание 25 ( дополнение с ограничением на ответ). Тема «Силовой анализ рычажных механизмов», учебная дисциплина «Техническая механика».

В жестком рычаге силы приложены в точках, изображающих точки__________ механизмов

Задание 26 ( дополнение с ограничением на ответ). Тема «Основные направления в психологии ХХ века», учебная дисциплина «Психология».

Представители когнитивной психологии отводят в поведении субъекта решающую роль _________.

Задание 27 ( дополнение с ограничением на ответ). Тема «Узгодження закінчень іменників з прийменниками», учебная дисциплина «Українське ділове мовлення».

Відповідно __ постанови № 36 і згідно __ закон__ про працю виплатити разову допомогу 40 гривень.

Приложение В. Примеры тестовых
заданий на соответствие

Тестовые задания на соответствие применяются чаще всего для выявления фактической информации.

Эта форма тестовых заданий, например, может сопровождаться такой общей инструкцией:

Задание 28 ( тестовое задание на соответствие). Тема «Визвольна війна українського народу 1648 − 1654 рр.», учебная дисциплина “Історія України”.

Дата добавления: 2015-05-24