Методика разработки компьютерных тестов школьной успеваемости

Выделяют следующие этапы создания любых тестов, в том числе и компьютерных.

1. Подготовительное планирование.

2. Куррикулярный анализ.

3. Конструирование заданий.

4. Анализ заданий и выверка.

Расшифровку этапов будем иллюстрировать на примере темы «Площади многогранников».

На этапе подготовительного планирования необходимо решить вопрос о том, кто, что и почему подлежит исследованию. Кроме того, следует понять, кто и с помощью какого инструментального средства будет заниматься реализацией теста на компьютере.

В нашем случае речь идет об учащихся 8 класса общеобразовательной школы. Исследованию подлежит уровень обученности учащихся (по Беспалько) и соответствие этого уровня критерию (стандарту, программе) при промежуточном и итоговом контроле. Создание теста обосновано необходимостью выявить:

· уровень знаний базовых понятий, включаемых в тему, а также умения использовать их для решения задач;

· недочеты в методике обучения по данной теме.

Для этого тест должен предоставить:

· ученику – информацию об уровне знаний по каждому компоненту темы (самоконтроль);

· учителю – подробные сведения об уровне обученности ученика, а также обо всех имеющихся пробелах для дальнейшей коррекции знаний и умений, изменений методики обучения в будущем.

Такой анализ создает предпосылки для индивидуального подхода к учащимся, что позволяет использовать данный тест для разноуровневых классов.

В качестве средства реализации любого теста можно выбирать один из двух инструментов:

· среду программирования (например, Borland Pascal 7.0, Delphi и т.д.);

· инструментальную среду, желательно ориентированную на создание тестов (Магистр, Урок, Макет и т.п.).

В данном примере предложим ориентироваться на язык программирования. Исходя из структуры выдаваемой информации комплекс программ должен состоять из двух блоков:

· собственно теста, осуществляющего диагностику и выдающего информацию ученику о результатах тестирования;

· инструмента для учителя, позволяющего обрабатывать информацию как по отдельному ученику, так и по классу в целом.

При куррикулярном анализе определяются учебные цели. Во-первых, выделяются только те цели, достижение которых может выявиться при тестировании. Во-вторых, выделенные цели уточняются до операционального уровня. Последнее положение означает, что в конечном итоге тот, кто разрабатывает тест (учитель, методист, эксперт) должен иметь каким-либо образом оформленный перечень (например, в виде таблицы) операций, на основании которых можно судить о том, насколько обучаемые владеют тем или иным блоком знаний и умений.

1. В первую очередь, необходимо четко сформулировать стратегическую цель обучения. Для этого необходимо познакомиться со стандартом, программой и учебниками, по которым планируется учить школьников. В нашем примере в качестве такой стратегической цели выступает комплекс знаний и умений, необходимых для того, чтобы определять площадь произвольной фигуры, ограниченной ломаной. Учащиеся должны уметь разбивать сложную фигуру на более простые; определять площадь каждой из простых фигур; определять площадь сложной фигуры как сумму простых. Разумеется, есть и отдаленные цели: развивать логику, интеллект, память, речь и т.п. Однако они не прописаны в стандарте и программе, и их выявление не входит в нашу задачу.

2. Определить комплекс локальных (операциональных) целей, решение которых позволит достичь глобальной цели. При изучении темы «Площади многоугольников» необходимо (как следует из стандарта и программы):

· научить учащихся определять площади простейших фигур: прямоугольника, параллелограмма, треугольника и трапеции. Для этого учащиеся должны уметь определять тип фигуры, элементы, которые необходимо знать для вычисления площади, и формулы, с помощью которых находится площадь;

· научиться определять площади сложных фигур, которые можно разбить на более простые (т.е. уметь видеть и строить такое разбиение и вычислять площадь как сумму площадей более простых фигур);

· научить применять знания, умения и навыки по нахождению площадей рассмотренных фигур при решении задач, в которых такие знания используются как вспомогательные.

Далее начинается самый сложный этап – этап конструирования заданий. На этом этапе:

· конструируются задания с четким определением операций, диагностика которых осуществляется;

· для заданий проектируются кадры для экрана дисплея с инструкцией по вводу ответа;

· определяются примерные весовые характеристики заданий.

Сначала хотелось бы обратить внимание на слово «конструирование». К сожалению, при составлении теста взять задания негде. Действительно, если вы взялись создавать тест, то это означает, что подобного теста вы не смогли найти или тот, который есть, вас не удовлетворяет. Отсюда и необходимость в собственной разработке теста и, как следствие, создание собственных заданий. Разумеется, это не значит, что после длительного поиска вы ничего не найдете. Можно воспользоваться и каким-то блоком готовых заданий, но с большой осторожностью и только в случае, если вы уверены в том, что данное задание - тестовое и соответствует выбранным вами целям (удовлетворяют условию содержательной валидности).

Обратите внимание на составление инструкций к заданиям. Инструкция должна быть недвусмысленной и понятной. Вот несколько правил для написания инструкций:

· будьте кратки, насколько это возможно;

· изъясняйтесь настолько просто, насколько возможно, употребляя простые предложения без уточняющих придаточных предложений;

· примеры должны всегда помогать понять инструкцию.

При апробации тестов на некотором этапе могла бы оказаться результативной попытка оценить инструкции. Наилучшим образом это можно выявить в ходе беседы, позволяющей узнать, что же пытались делать испытуемые, показавшие низкие результаты. Такого рода беседы-опросы неизбежно выявляют неудовлетворительную часть (части) инструкций, которая впоследствии должна быть изменена.

Как уже обсуждалось ранее, надежность тестов зависит до некоторой степени от величины теста. При разработке тестов важно иметь возможность сформулировать настолько большое количество заданий, насколько это возможно. Кроме того, при конструировании теста следует решить, сколько конкретно заданий будет разработано для выявления достижения каждой из операциональных целей.

Количество целей, предложенных в теме «Площади многоугольников», равно 21 (вербальное определение нахождения площади – 4 компонента, знание формул – 4, определение площади простых фигур – 4, площадь сложных фигур с разбиением – 3, без разбиения – 3 и задачи на перенос – 3). Тест рассчитан на урок (максимум 35 минут), следовательно, на проверку достигнутости одной цели получается 35:21-1,67 минуты ~ 100 секунд. На это время предложим (для начала) от 2 до 3 заданий.

Как несложно посчитать, в среднем на задание будет отводиться от 33 до 50 секунд. Соответствующие задания следует разрабатывать, придерживаясь следующего правила: компьютерные задания должны быть сконструированы так, чтобы они в большинстве своем решались устно. В случае, когда требуются подручные средства (например, калькулятор), они предоставляются тем же компьютером. Необходимо по возможности избегать ситуации, когда ученик сочетает работу на бумаге с работой на компьютере.

Если решено не менее двух заданий из трех, ориентированных на выявление усвоения конкретного знания или умения, то предполагаем, что обучаемый умеет решать все подобные задания, т.е. освоил данный вид деятельности.

Если заданий два, и все они решены, считаем, что цель достигнута. Если решено одно из двух заданий, предложим такой алгоритм: если первое не решено, а второе решено, то цель достигнута; в других случаях – не достигнута. Следует отметить, что такое предположение – гипотеза, которая может быть подтверждена в ходе апробации теста либо опровергнута. Тогда можно будет перейти к варианту из трех и более заданий.

Теперь перейдем к составлению первого блока заданий.

Вариативность в данном блоке заданий будет реализована за счет случайной перестановки прямоугольников с ответами и случайной последовательности предъявления заданий.

Задания на вербальное определение нахождения площади

Здесь предполагается выяснить, знают ли учащиеся алгоритм нахождения площади фигур и воспринимают ли его словесное описание. Проверка традиционно осуществляется в диалоге: учитель спрашивает, как определяется площадь такой-то фигуры, а обучаемый отвечает. Рассмотрим обратную технологию: обучаемым будем предлагать определение, а он должен будет определить, площадь какой фигуры вычисляется по этому определению.

Выберем вопросы типа «выбор ответа». Вопросы на экране могут быть оформлены, например, так, как на рис. 6.

Если рассматривать данный пример как первый вопрос, то помимо него (а это вопрос на площадь трапеции) предложим еще семь кадров, отличающихся только текстом в зоне вопроса «Выберите фигуру, площадь которой равна»:

· произведению смежных сторон (для прямоугольника);

· квадрату стороны (для квадрата);

· половине произведения стороны на высоту, проведенную к данной стороне (для треугольника);

· половине произведения смежных сторон (для прямоугольного треугольника);

· произведению стороны на высоту, проведенную к данной стороне (для параллелограмма);

· произведению высоты на среднюю линию (для трапеции);

· сумме длин всех сторон (нет такой фигуры)»).

Определим вес каждого задания. Учитывая, что это самый низкий уровень заданий, все остальные будут иметь больший вес. Поэтому в качестве веса каждого из приведенных заданий возьмем небольшое число, например, 5. Это число будет у нас мерой отсчета.

Рис. 6. Пример размещения задания на экране

Таким образом, если верно будут решены все задания, их общий вес будет равен 40.

Обратите внимание на неоднозначность ответов. Это связано с требованиями программы: учащиеся должны знать, что произведением длин смежных сторон находится площадь прямоугольника, а квадрат – лишь частный случай. Ответ требуется максимально обобщенный!

Задания на знание и понимание формул площади фигур

На этом этапе необходимо проверить, знают ли обучаемые формулы, необходимые для определения площадей простейших фигур (прямоугольника, треугольника, параллелограмма и трапеции). Кроме того, важно проверить, понимают ли учащиеся смысл этих формул.

Выберите формулу для расчета площади данной фигуры (рис. 7).

Рис. 7. Пример размещения блока заданий на экране

Для проверки сконструируем задания, в которых учащимся будет предлагаться чертеж фигуры с указанием параметрических длин сторон и, если нужно, высот. Учащимся предоставим набор формул, среди которых он должен выбрать правильный ответ. Понимание формул будет проверяться за счет того, что обозначение длин сторон будет нестандартным и формулы будут иметь также непривычный вид. Кроме того, будет предложено больше данных, чем это необходимо для определения площади. Учащийся должен будет мысленно составить формулу площади данной фигуры и распознать ее с имеющимся списком формул. Вид вопроса – выбор ответа. В качестве базового оформления кадра выберем вопрос, предложенный на рис. 7. Помимо него предложим еще ряд вопросов, также отличающихся от приведенного только чертежом в зоне вопроса (рис. 8):

Рис. 8. Набор фигур для размещения в окне вопроса

Правильные ответы и характеристики заданий:

1) S = а • b; «утешительное» задание. Использовано как психологический фактор: обучаемый должен хоть что-нибудь решить;

2) S = а • h; здесь «смущающим» моментом является длина боковой стороны;

3) S = a /2 • b; в этом задании преднамеренно перепутаны обозначения и дано больше данных, чем требуется для решения задачи;

4) S = a /2 • h; стандартная формула; усложнена лишь дополнительной длиной стороны;

5) S = а • h; здесь предложено больше данных, чем требуется, и перепутаны обозначения, при этом высота проведена к одному основанию, а дана длина другого;

6) «утешительно-предупреждающее» задание. Ответ: «такой формулы нет». Задание необходимо в качестве иллюстрации возможности такого ответа; кроме этого, задание проверяет знание формулы площади квадрата;

7) S = (a + h) • h; почти стандартное задание;

8) S = (а + h) • b /2 (задание в кадре на рис.7); в этом случае также перепутаны все обозначения и дано больше информации, чем требуется.

Вес каждого задания – 5. Суммарный вес – 40. Вариативность реализуется так же, как и в предыдущем блоке заданий.

Задания на умение определять площади простых фигур

Все задания, рассмотренные ранее, ориентированы на выявление преимущественно теоретических знаний. Данный блок заданий ориентирован на проверку умений использовать эти знания для решения простейших задач. Задания должны обеспечить организацию следующих умственных действий учащихся:

• вспомнить формулу для вычисления площади данной фигуры;

• определить, каких данных достаточно для вычисления этой площади;

• из набора предоставленных данных выбрать те данные, которые нужны; подставить в формулу и вычислить конкретное значение площади.

Рис. 9. Пример размещения третьего блока заданий на экране

По сути первые два пункта уже проверены, и в данном блоке лишь уточняется владение учеником умениями подставить в формулу требуемые данные и вычислить площадь.

10 км 6 км   15 км	Это задание – второе на параллелограмм; особенность: непривычное построение высоты и «лишняя» длина боковой стороны
10 км 8 км   15 км	Это задание – третье на параллелограмм; особенность: непривычное построение высоты и «лишняя» длина основания стороны
8 км 5 км   12 км	Первое задание на трапецию; задание типовое; необходимо проследить, чтобы сумма длин сторон была четным числом

Рис. 10. Набор заданий на вычисление площади параллелограмма и трапеции

Продолжение рис.10

В С M N     A K D

AB = 8 см CD = 6 см BK = 4 см AD = 14 см MN = 10 см

Во втором задании на трапецию дается чертеж трапеции, на котором нарисована высота и средняя линия; даны длины некоторых сторон, высоты и средней линии. Ученик должен выбрать данные, необходимые для нахождения площади, и ввести их (здесь S = МN • ВК = 4 • 10 = 40 – легко считается устно).

16 мм   4 мм   12 мм	Первое задание на треугольник. Нетиповое размещение треугольника и «лишняя» длина стороны
10 м   6 м   8 м	Второе задание на определение площади прямоугольного треугольника. Даны длины всех сторон и опущены высота из вершины прямого угла. Высота и длины сторон провоцируют на проведение сложных расчетов, что здесь не нужно

Рис. 11. Набор заданий для вычисления площади треугольника

Вес всех заданий установим равным 7. Все задания относительно равновелики по площади и отличаются лишь количеством отвлекающих компонент. Заданий на прямоугольник в этом блоке не дается, поскольку они будут тривиальны, и добавить отвлекающие элементы достаточно сложно (по крайней мере, авторы не смогли придумать что-либо более разумное). Количество заданий в блоке получилось 7, общий вес – 49.

Задания на умение определять площади сложных фигур

Этот блок заданий должен проверять следующие умения:

• определять площадь фигуры, составленной из нескольких простых с явно указанным разбиением. Здесь продолжается диагностика умений определять площади простых фигур и проверяется знание того, что площадь сложной фигуры вычисляется как сумма площадей простых фигур, из которых она составлена;

• определять площади сложных фигур, не имеющих явного разбиения на простые. Учитывая, что процесс разбиения весьма субъективен (даже произвольный четырехугольник можно разбить либо на 2, либо на 4 треугольника, при этом сложно привести убедительные аргументы в «большей» правильности первого метола, чем второго), он оценивается косвенно - через результаты решения задач. Ошибки в выполнении данного типа заданий будем относить как к неумению правильно разбить фигуры на части, так и к недочетам в нахождении площадей простейших фигур.

Вид заданий этого блока совпадает с кадром на рис. 9. Здесь также генерируются правдоподобные целочисленные числовые значения длин элементов фигур. Чертежи к заданиям данного блока приведены ниже.

Чертеж к заданию 1 (с готовым разбиением)
8 мм 5 мм   7 мм	Фигура составлена из прямоугольника и параллелограмма. Особенность задания – в недостатке информации. В частности, здесь нет явного задания длины основания и высоты параллелограмма
Чертеж к заданию 2 (с готовым разбиением)
9 м 4 м   7 м	Фигура составлена из прямоугольника и треугольника. Особенность задания – в недостатке информации, в частности здесь нет явного задания длины основания и высоты треугольника

Чертеж к заданию 3 (с готовым разбиением)
7 см 8 см     5 см	Фигура составлена из двух равнобедренных трапеций. Здесь также явно не задана длина высоты трапеции
Чертеж к заданию 4 (без готового разбиения)
3 м     7 м   10 м	Мы предполагали, что данная фигура естественным образом разбивается на два равнобедренных треугольника и один прямоугольник. Вычисления на два варианта данных:

Рис. 12. Набор заданий на определение площади сложных фигур

Продолжение рис. 12

Чертеж к заданию 5 (без готового разбиения)
3 см 3 см 7 см 8 см   15 см	Эта фигура разбивается на прямоугольную трапецию и квадрат (просто продолжаем верхнее основание трапеции). Высота трапеции равна 4 см (7-3=4). Верхнее основание – 8+3=11см. Вычисление площади фигуры при этом разбиении:
Чертеж к заданию 6 (без готового разбиения)
3 км     2 км	В данном варианте предлагается фигура без разбиения, составленная из прямоуголь-ников. Задача ученика – мысленно разбить фигуру на части и вычислить площадь. Здесь несколько вариантов решения. Один из них – разбить фигуру на три прямоугольника (например, провести два горизонтальных отрезка, сделав одни длинный прямоугольник и два маленьких – сверху и снизу). Тогда площадь для данных числовых значений будет равна:

Вес каждого задания – 10. Общий вес заданий – 60.

Задания на перенос

Данный вид заданий, обеспечивающих проверку самого высокого (творческого) уровня обученности, – вещь весьма спорная, и единой точки зрения на нее не существует. Опрос учителей это ярко продемонстрировал. Часть учителей (42%) в качестве задач данного уровня предложили задачи повышенной сложности, предъявляемые на экзаменах в престижные вузы. Другая часть (37%) предложила так называемые «олимпиадные» задачи, требующие высокого уровня подготовки и прекрасного математического мышления. 15% учителей назвали просто «задачи повышенной трудности из учебников и задачников». Остальные 6% не смогли четко определиться (преимущественно молодые специалисты).

Рис. 13. Пример размещения четвертого блока заданий на экране

Так как в данном случае речь идет о разработке компьютерного теста школьной успеваемости, ориентированного на критерий, задания для него конструировались исходя из анализа учебников и программы. Здесь под «заданиями повышенной сложности» понимаются задачи, в которых требуется найти либо площадь какой-либо фигуры, опираясь на знание свойств этой фигуры, либо, наоборот, найти какой-то элемент фигуры, зная ее свойства, часть элементов и площадь.

Вариант кадра и первое задание приведено на рис.13. Числовые значения в задачах должны генерироваться. Остальные задания и ответы к ним рассмотрены ниже.

Задание 1. Определение площади ромба по диагонали.

Вычислите площадь ромба, если его диагонали равны 4 и 6 см.

(В задании генерируется два произвольных числа в пределах от 2 до 10).

Решение.

Задача решается достаточно просто. Если а и b – диагонали ромба, то они перпендикулярны и в точке пересечения делятся пополам. Если рассматривать одну диагональ («нечетную») как отрезок, делящих ромб на два равнобедренных треугольника, то половинки другой диагонали будут высотами этих треугольников. Отсюда . Ответ задачи: площадь ромба равна произведению диагоналей (в нашей задаче ответ – 24).

Задание 2. Определение площади равнобедренного прямоугольного треугольника по гипотенузе.

Вычислите площадь равнобедренного прямоугольного треугольника, если его гипотенуза равна 8 см.

Решение.

Как видно из чертежа к задаче (рис. 14), высота, опущенная из прямого угла, равна половине гипотенузы. Отсюда:

Рис. 14. Подставляя значение гипотенузы в формулу, получаем 16см².

Задание 3. Определение меньшего основания равнобедренной трапеции

Найдите меньшее основание равнобедренной трапеции, если ее площадь равна 48 см², острый угол – 45°, высота – 4 см. (В задании генерируется два произвольных четных числа в пределах от 2 до 10. Меньшее число – высота, большее – верхнее основание. Площадь вычисляется так, как показано в формуле площади в решении.)

Решение.

Хорошо зная свойства равнобедренной трапеции, не очень сложно представить данный чертеж (рис. 15). Из формулы площади трапеции находим искомую сторону:

.

Отсюда:

.

Рис. 15

Вес каждого из заданий этого блока – 11. Общий вес – 33.

Следующий этап – анализ заданий.

Начнем проведение анализа.

1. Технология построения теста обеспечивает его содержательную валидность. Функциональная валидность может быть обеспечена прежде всего за счет экспертной оценки.

2. Полнота теста (т.е. обеспечение диагностики всех целей, заданных программой) выявляется при формировании целей, достижение которых проверяется тестированием и экспертной оценкой не менее двух (а при противоречивых диагнозах – трех) грамотных методистов по предмету.

3. Анализ дистракторов в первом и во втором блоке заданий проводится в ходе апробации теста. Для этого в компьютерной системе должна быть обеспечена возможность отслеживать выбор дистракторов и частоту выбора каждого.

4. Анализ корректности самих заданий, качество составленных инструкций и других компонентов заданий также проверяются в ходе апробации. Одним из критериев «неблагополучности» задания являются вопросы учащихся или большой процент учащихся, не справившихся с легким (с точки зрения разработчика) заданием.

5. Несмотря на то, что сложность в тестах школьной успеваемости, ориентированных на критерий, является не очень значимым параметром. Все же стоит ее оценить. В компьютерном варианте теста следует предусмотреть возможность автоматического сохранения информации о количестве решавших задание и количестве решивших его правильно (или неправильно). Такая информация необходима, прежде всего, как средство проверки качества самого задания. Понятно, что если ни один ученик не смог ответить правильно на данный вопрос, то, скорее всего, вопрос некорректен или имеется ошибка в компьютерной реализации задания. Сложность нужна также для того, чтобы корректировать вес заданий. Например, если при достаточно большой выборке (не менее 300 учащихся) сложность задания не превышает 15%, а само задание ориентировано на выявление творческого уровня обучения, следует выяснить, в чем причина. Скорее всего, данное задание выходит за рамки программы обучения, и его следует либо упростить, либо изменить весовую характеристику так, чтобы оно не являлось значимым для выставления оценки. Но следует учитывать, что данный параметр может лишь демонстрировать, что в данной школе (или школах) этот учебный материал либо не успели пройти, либо исключили из программы.

После анализа заданий требуется разработать алгоритмы обработки результатов тестирования.

К ним относятся строго говоря следующие три алгоритма:

а) алгоритм определения характеристик заданий (основы такого алгоритма рассмотрены при описании анализа заданий);

б) алгоритм обработки результатов для учащегося;

в) алгоритм обработки результатов для учителя.

Дата добавления: 2015-07-02