Й учебный вопрос: Применение ИТ при тестировании

Компьютерные тесты занимают все более важное место, что
объясняется перспективами развития отечественной системы
образования, связанными с расширением форм контроля образовательных достижений учащихся на основе тестов.

Проблема создания и использования тестов может рассматриваться как с общепедагогических позиций, так и в связи с использованием средств ИКТ. В первом случае раскрываются такие аспекты тестирования (часто говорят об основах специальной науки тестологии), как общие вопросы психолого-педагогической диагностики уровня обученности и продвижения в учении, понятия шкал, типов и видов тестов, систем оценивания результатов тестирования, абсолютного и относительного тестирования и др. В аспекте же использования средств ИКТ в процессе подготовки и осуществления тестирования необходимо иметь представления о возможностях использования программных средств и систем для автоматизации процедур создания (генерации) тестовых заданий и
предъявления их испытуемому, математико-статистической
обработке результатов тестирования, уметь применять инструментальные программные системы для разработки тестовых заданий для психолого-педагогической диагностики.

Тестовые задания подобного вида могут быть объединены в
систему «задания—тест». На основе выполнения такого теста
могут быть оценены знания и умения обучаемых.

Под педагогическим контролем понимается система проверки результатов обучения и воспитания обучающихся.
Контроль — неотъемлемая часть процесса обучения на всех
этапах его протекания. В зависимости от функций, которые
выполняет контроль в учебном процессе, можно выделить три
его основных вида:

• предварительный;

• текущий (промежуточный);

• итоговый.

Предварительный контроль нужен для получения сведений об исходном уровне познавательной деятельности, например, вступительные экзамены в институт. По результатам этого контроля решается вопрос о пригодности того или иного человека для выполнения программы, по которой готовят специалистов в данном заведении. Вступительные экзамены — это контроль, направленный не только на те или иные предметные знания или умения, но и на целый ряд общих показателей как умственного, так и личностного развития индивидуума (в данном случае абитуриента). Результаты контроля могут быть использованы как для адаптации учебного процесса к особенностям данного контингента учащихся, так и к исходному уровню студентов или для доработки этого исходного уровня. Итоги вступительных экзаменов также могут быть использованы для построения курсов по различным дисциплинам.

Текущий контроль, в свою очередь, непосредственно
связан с управлением процессом усвоения знаний и в этом случае выполняет функцию обратной связи, которая, совпадая с контролем по содержанию, отличается от него по функциям. Проводя аналогию с понятием обратной связи в кибернетике, можно сделать вывод, что чем чаще осуществляется контроль процесса обучения, тем выше его эффективность.

Итоговый контроль осуществляется для оценки результатов обучения, полученных в конце работы над данным курсом. Обычно считают, что задача контроля состоит в том, чтобы установить, как знает обучаемый изученный курс. О знаниях можно судить по выполнению учеником каких-либо действий на базе этих знаний. Одни и те же знания
могут функционировать в большем числе весьма различных
действий. Поэтому любому специалисту можно доказать, что
он не знает, если подобрать такую деятельность, которой он
не обучен и в которой не так просто использовать требуемые
знания. Качество знаний зависит и от особенностей той познавательной деятельности, в которую они включены, и от широты включения этих знаний в различные виды деятельности.

Положение о неразрывной связи знаний с действиями (умениями) давно отражены в теории педагогики (П. Я. Гальперин, Н.Ф.Талызина) в виде уровней усвоения знаний. В. П. Беспалько выделяет четыре уровня:

• уровень узнавания;

• уровень распознавания (воспроизведения, алгоритмический);

• эвристический уровень или уровень применения знаний
и привычных условиях (практического использования полученных знаний);

• уровень применения знаний в новых условиях (творческое применение знаний).

В основу выделения этих уровней положено содержание
деятельности, в которой должны использоваться усваиваемые знания. Приведенная выше типизация подводит к вопросу о том, какие задачи, а следовательно, какие же действия обучаемых позволяют судить об их знаниях. Преподаватель должен уметь адекватно оценивать, достиг ли учащийся требуемого уровня знаний. В современном учебном заведении каждый учитель имеет программу тех предметных знаний, которые он должен сформировать у ученика (студента), но ни по одному предмету нет конкретной программы умений, навыков (видов деятельности), в которых ученик должен уметь использовать эти знания

Коротко остановимся на связи целей обучения с итоговым
контролем. Конкретная программа видов познавательной деятельности (видов познавательных умений) определяется целями обучения. Иногда проверка усвоения знаний сводится только к воспроизведению этих знаний, хотя все-таки чаще требуется использовать знания при решении каких-либо задач.

Осуществление любого вида контроля решает проблему содержания контроля — выделение совокупности контролируемых характеристик. С одной стороны, это определяется целями обучения, а с другой — психологической теорией обучения, принимаемой за основу при составлении обучающих программ, т. е. контролю подвергаются основные независимые характеристики процесса, совокупное изменение которых и приводит процесс к переходу из одного качественного
состояния в другое.

Контролирующие программы могут разрабатываться отдельно либо являться составной частью электронных книг, учебных средств и т. п.

Содержание контрольных заданий должно удовлетворять
трем критериям качества контроля: валидности, надежности и объективности. Под валидностью, понимают соответствие предлагаемых контрольных заданий цели контроля. Валидность бывает содержательная и конструктивная. Последнюю можно определить как соответствие задания контролируемому познавательному действию; содержательная валидность
ориентирована на предметные знания, которые в реальном
учебном процессе контролируются достаточно часто.

Надежность контроля предполагает определенную свободу от погрешностей измерений; иными словами, результаты, получаемые при повторных проверках, должны иметь небольшую дисперсию.

Объективность контроля, помимо валидности и надежности, включает в себя этические, педагогические, психологические и другие составляющие. Как и для традиционного контроля, в автоматизированном контроле также актуальна проблема объективности оценки знаний. Содержание вопросов контрольного задания должно точно соответствовать проверяемому материалу. Априорно требуемый уровень сложности вопросов точно определить практически невозможно, так как все обучаемые обладают различными способностями, подготовкой, отношением к работе и т. д. Приходится иметь дело с некоторыми усредненными характеристиками сложности вопросов, формирующимися из личного опыта составителей
тестов. При традиционном контроле оценка выставляется
преподавателем, который, обладая необходимым опытом,
обеспечивает валидность и надежность контроля.

Современными педагогами ведутся исследования по вопросам повышения качества педагогического контроля; улучшение форм и методов, исследование вопросов экономичности и
оптимизации и т. д. Выделяются следующие взаимосвязанные функции педагогического контроля:

1. Диагностическая функция — под этим понимается
процесс выявления и оценки интересующих свойств личности; эта часть системы контроля связана с процессом выявления уровня знаний, умений, навыков, воспитанности.

2. Обучающая функция — различные методы и формы контроля используются не только для диагностики, но и для активизации работы по усвоению учебного материала.

3. Воспитательная функция — сам факт наличия контроля организует, дисциплинирует, направляет деятельность обучающихся. Это достигается за счет систематической работы по выявлению сильных и слабых сторон личности и обнаружению пробелов в знаниях и их быстрейшего устранения. При этом главная роль отводится формированию творческого отношения к знанием, активного стремления учиться в полную силу, развивать свои способности. Все три функции взаимосвязаны, трудно бывает выделить какую-либо одну в качестве ведущей.

Систематическая и эффективная проверка знаний в ходе
учебного процесса без автоматизации контроля весьма затруднительна, а иногда и практически невозможна. К преимуществам автоматизированного контроля можно отнести следующее:

• высвобождение значительного времени преподавателя
для других форм работы;

• быстрота контроля;

• оперативность;

• охват значительного контингента контролируемых;

• необходимость детального осмысления преподавателем
предмета и тщательной его проработки при подборе учебного
материала, подлежащего контролю, разработке соответствующей документации и т. д.;

• экономическая целесообразность;

• рост эффективности учебного процесса.

Контролирующие программы, поддерживающие технологию мультимедиа, позволяют использовать текст, графику, звук, анимацию и видеофрагменты.

Тестовые задания могут быть следующих основных видов:

1. Закрытый тест, когда используются только предопределенные ответы, делится в свою очередь на следующие подвиды:

• задание-выбор, когда выбирается правильный ответ или
несколько правильных ответов из списка имеющихся (одиночный выбор, множественный выбор);

• задание-сопоставление, когда необходимо установить
связи или соответствия между двумя списками (например,
определить соответствия между списком формул, описывающих закономерности протекания определенных явлений или
процессов, и картинками, где изображено протекание соответствующих явлений или процессов);

• задание-ранжирование, когда необходимо установить
правильную последовательность действий, например последовательность проведения лабораторного эксперимента;

2. Открытый тест, когда обучаемый сам вписывает нужный ответ.

Следовательно, автоматизированный контроль, как и
традиционный, обычно опирается на два основных типа ответов: конструируемые и выборочные (альтернативные). Последние при этом подразделяются на моноальтернативные (среди предложенных ответов только один правильный) и полиальтернативные (правильных ответов в меню более одного).

При составлении контрольных заданий трудно бывает
удачно сформулировать вопросы (информационное содержание и сложность) и оценить ответы на них. Отметим, что правильность конструируемых ответов труднее проверить, чем правильность выборочных, так как аппарат семантического, синтаксического и морфологического анализа, применяемого в компьютерных системах, еще недостаточно разработан. Обычно в качестве заданий с конструируемыми ответами в тестах используются задачи, требующие числового ответа.
Благодаря простому способу ввода ответа и его анализа вопросы с альтернативным выбором получили более широкое распространение. Надо при этом отметить, что это не лучший вариант с точки зрения педагогической значимости контроля. Иногда в состав альтернативных ответов включают типовые ошибки обучаемых. Несмотря на то что ответы должны быт правдоподобными, не содержать «отрицательной» подсказки, этот вариант также нельзя признать педагогически целесообразным, так как ученик может запомнить неправильный ответ и в будущем допустить ошибку, представив его. Существует мнение, что неправильные альтернативные ответы могут запомниться, и пренебрегать этим не следует. Все это необходимо учитывать при разработке контрольных заданий, так как в большинстве случаев ответ проверяется на его совпадение с эталоном; система вычисляет оценку, основываясь только на формально проявленных знаниях.

После проведения тестирования необходим анализ результатов контроля. Во-первых, необходимо объективно оценить качество используемых на занятиях методик и результатов их применения. Во-вторых, итоги контроля в известной степени характеризуют работу преподавателя и экзаменатора, причем обилие отличных оценок не обязательно является признаком благополучия в группе. В-третьих, полученный материал дает возможность прогнозировать дальнейшее обучение и вносит необходимые коррективы.

Проведение компьютерного тестирования предполагаем
использование либо уже готового теста, либо написание этого
теста с помощью специальной оболочки для генерации тестов — специальной системы, функционирующей на базе средств информационных и коммуникационных технологий. К настоящему времени существует большое количество подобных систем и оболочек. Большая часть из них очень проста в использовании и предназначена для учителей и преподавателей, владеющих лишь начальными навыками пользователя ПЭВМ. Обычно система состоит из следующих компонентов: программы для создания тестов, программы для проведения тестирования,
программы для просмотра результатов тестирования и их статистической обработки.

Удобный интерфейс системы для создания тестов (оболочки для генерации тестов) позволяет учителю (преподавателю) без особых усилий создать новый тест или, используя уже имеющиеся вопросы, выбрать из них нужные и сгруппировать их по темам. На уроке система поможет учителю провести опрос, разослав вопросы сразу всему классу, а затем автоматически обработать, записать и сохранить результаты тестирования.

Использование компьютеров в процессе оценки знаний и
умений дает возможность отслеживать, чего учащийся добился с 1 сентября или со дня последней проверки. Можно получить распечатку результатов, которая послужит основой тщательного анализа прогресса учащихся. С помощью подобных отчетов система может контролировать успешность обучении каждого ученика, класса (группы), школы (факультета), колледжа, вуза в процессе изучения различных предметов и отобразить их с помощью цифр, таблиц или графиков.

К настоящему времени практически в каждом учебном заведении разработаны и используются для автоматизации контроля знаний самые разнообразные тестирующие, контролирующие программы, экспертные системы. Однако многие учителя хотели бы создавать собственные тесты.

Для создания новых тестов необходимо приобрести специальную «оболочку» для создания тестов.

Выделим основные возможности современных программных «оболочек» для генерации тестов.

1.Оценивание каждого вопроса в тесте (вес, балл) определяется дидактическими показателями, предложенными В. П. Беспалько.

2. Поддержка следующих типов вопросов (заданий):

• одиночный выбор;

• множественный выбор;

• ввод с клавиатуры;

• соответствие;

• указание области на рисунке;

• сортировка;

• вопросы с присоединенной процедурой вывода и анализа
ответа.

3. Несколько вариантов проведения тестирования.

• смешивание вопросов — вопросы для тестирования выбираются случайным образом, однако в первую очередь задаются вопросы с высокой степенью важности, что позволяет повысить эффективность тестирования и обеспечивает более
быструю подготовку к блиц-опросам;

• последовательно — вопросы задаются в порядке их расположения в тесте. В данном режиме появляется возможности
создавать информационные кадры, т. е. одновременно проводить обучение и тестирование.

• с учетом тем — вопросы при тестировании выбираются случайным образом с учетом тем (вначале тема № 1, затем тема №2 и т. д.). Количество вопросов по каждой теме может быть различно.

4. Защита теста паролем (отдельно для режимов изменения и тестирования), шифрование тестов не позволяет произвольно редактировать вопросы и ответы и защищает от фальсификации результатов тестирования. I

5. Число вопросов в тесте не ограничено и их количестве можно постоянно пополнять новыми и редактировать уже существующие вопросы.

6. Неограниченное число вариантов ответа в каждом вопросе.

7. Возможность копирования вопросов, что облегчает труд учителя по составлению тестов.

8. Поддержка работы в сети (локальной или глобальной).

9. Ведение полного протокола тестирования, осуществление сбора результатов в базу данных; причем предпочтительно использовать структурированную базу данных, которая содержит информацию об оценках по различный предметам, информацию об учащихся, их уровне знаний и подготовки т. п.

10. Разбиение тестируемых на группы.

11. Полноценное форматирование описания теста и вопросов (каждый символ может быть написан своим шрифтом, цветом и т. д.).

12. Использование рисунков и любых объектов непосредственно в тексте вопроса, что повышает наглядность тестов и расширяет спектр применения системы.

13. Группировка вопросов теста по темам. Число тем не ограничено. Такая организация данных позволяет педагогу создать свою базу тем и тестов, а также использовать разработки своих коллег при подготовке к занятиям.

14. Сопровождение вопросов мультимедийными файлами,
что позволяет сделать работу более наглядной и интересной,
а также осуществлять индивидуализированный подход к тестируемому за счет представления информации в наиболее понятном и естественном для него виде.

15. Возможность ограничения времени тестирования.

16. Предварительный просмотр теста. Позволяет оценить
форму и содержание теста в условиях, максимально приближенных к реальным.

17. Экспорт теста в формат RTF.

18. Печать теста: только вопросы, вопросы и ответы, вопросы и ответы + правильные ответы, распечатка результатов ответов одного ученика, целого класса, шаблона теста, графиков и диаграмм.

Использование автоматизированных тестирующих систем
дает учителям возможность дальнейшего планирования учебного процесса, в том числе и создания индивидуального учебного плана для каждого ученика. Появляется возможность выбора новой стратегии обучения, соотнесения новых знаний с ранее усвоенными знаниями.

Рекомендации для учителя, разрабатывающего контролирующие (тестирующие) программы

Тест успешности усвоения является педагогическим инструментом, позволяющим выявить степень усвоения обучаемым
того или иного учебного материала. По результатам тестирования можно рассчитать критерии эффективности предложенной системы мер на уровне знаний (В. П. Беспалько). Например: тесты состоят из заданий определенного уровня и нескольких вариантов ответов, один из которых является правильным. Сравнение ответа обучаемого с эталоном и определение числа правильно выполненных им операций теста (А)
из всех предложенных ему заданий (Р) позволяет определить
коэффициент усвоения, измерить и оценить качество усвоения:

Методика вычисления качества усвоения опыта обучаемыми с помощью коэффициента усвоения позволяет сформулировать принцип завершенности обучения. Коэффициент усвоения может принимать значения от 0 до 1. По его величине судят о завершенности процесса обучения. Процесс обучение считается завершенным, если коэффициент усвоения по проектируемому уровню > 0,7. В этом случае считается, что
в последующей деятельности обучаемый способен совершенствовать свои знания в процессе самообучения.

Если по результатам тестирования получен коэффициент усвоения < 0,7, то это означает, что обучаемый будет совершать систематические ошибки в последующей деятельности и при этом не сможет самостоятельно их исправить.

И еще несколько рекомендаций: в процессе разработки
использования контролирующих (тестирующих) программ необходимо предусмотреть, во-первых, проблемную постановку вопросов и использование аудиовизуального материала, методических приемов, способных заинтересовать обучаемого, стимулировать его познавательную активность, потребовать поиска нетрадиционного выхода из проблемных ситуаций. Во-вторых, их создание должно быть основано на возможностях ИКТ, реализуемых, например, технологией мультимедиа. Такие программы позволяют производить «настройку» программы на конкретного обучаемого предполагают работу на нескольких уровнях сложности, производят накопление и анализ данных о результатах обучения, способствуют повышению эффективности учебного процесса. Контролирующие программы, поддерживающие технологии
мультимедиа, позволяют использовать текст, графику, звук, анимацию и видеофрагменты.

Автоматизация контроля знаний и умений обучаемых позволяет повысить объективность контроля, проверить соответствие знаний обучаемых государственным и региональным стандартам.

Дата добавления: 2014-01-03