Понятие валидности. Количественная оценка валидности теста

Теор. валидность той или иной м-ки по отн-ю к сформулированной задаче д.б. критерием для выбора ее в кач-ве инструмента исслед-я. Валидизация личностных м-к на основе внеш. критериев часто бывает невозможной и поэтому приходится опираться на данные конструктивной валидности. При выборе вида валидности следует учитывать опр. ненадежность Ψатрич. диагноза, т.к. сущ. различное предст-е о диагнозе в разных школах. В том случае, когда известен эмпирич. коэф-т валидности м-ки, он д.б. оценен по отн-ю к базовому ур-ню диагностируемого параметра. Базовый ур-нь – доля присут-я в изучаемой популяции той черты или особ-ти, кот. мы собираемся диагностировать. От базового ур-ня зависит инкрементная валидность теста, указывающая на его роль в повышении точности д-ки. Т.е. соотн-е коэф-та валидности с базовым ур-не позволяет ответить на вопрос: насколько будет оправдано его использ-е. При базовом ур-не, приближающемся к 0 или 1, инкрементная валидность теста становится настолько малой, что его использ-е нецелесообразно. Напр., если у 5% клинич. популяции имеется органическое поражение мозга, то базовый ур-нь для данного диагноза в данной популяции будет = 5%.

Валидность зависит от особ-тей групп, модераторов. В роли в роли модераторов выступают: пол, возраст, ур-нь обр-я, интересы, мотивация. В клинической Ψд-ке перечень таких модераторов не разработан и нет их дей-я – это скорее исключение, чем правило. Напр., длит. Ψфармакологическое воздей-е при некоторых Ψ. забол-ях м. существенно ↓ валидность м-к, направленных на изучение лич-ти больного.

Валидность – действительно ли данный тест измеряет то, для измерения чего он предназначен, и в какой степени? Валидность предусматривает прямую проверку того, насколько хорошо тест выполняет свою f. Для опр-я валидности обычно треб. независимые, внеш. критерии всего того, что тест д. измерять. Напр., если тест пригодности к обучению мед. профессиям используется при отборе поступающих в мед. уч-ще, таким критерием, в общем, будет являться успешное окончание этого уч-ща. В пр-се валидизации данного теста его следовало бы провести на большой группе студентов в то время, когда они поступают в училище. Показателями результативности их обуче­ния в мед. училище могли бы служить получаемые каждым студентом от­метки. хар-ки преподавателей, успешное или неуспешное прохождение практики и завершение обучения. Такая сводная хар-ка и служит критери­ем. с которым должны соотноситься исходные тестовые показатели студентов. Силь­ная корреляция, или высокий коэф-нт валидности, означала бы, что студенты, имевшие высокие показатели по тесту, добивались в мед. училище заметных успехов, а у имевших низкие показатели успехи были слабыми. Слабая корреляция указывала бы на плохое соответствие между тестовыми показателями и критериаль­ной мерой и, следовательно, на низкую валидность теста. В данном случае коэф-т валидности дает нам возможность определить, насколько точно м.б. пред­сказана на основе тестовых показателей эфф-ть (по заданному критерию) деят-ти.

Валидность тестов, предназначенных для др. целей, устанавливается сходным обр. отн-но подходящих для этого критериев. Валидность батареи тестов, предназначенных для опр-я летных качеств, м.б. установлена по рез-там тренировочных полетов. Валидизация тестов, имеющих более широкое применение, производится отн-но ряда независимо получаемых поведенче­ских индексов, и их валидность устанавливается только в ходе постепенного накопле­ния данных из множества различных иссл-й.

Кажущуюся парадоксальность поня­тия валидности теста. Если так необх. наблюдать за людьми вне тестовой ситу­ации или как-то иначе получать объективные данные о том, что мы пытаемся предска­зать с помощью теста, почему же не отказаться от самого теста? Ответ на этот вопрос нужно искать в различиях между группой, на которой производится валидизация теста, и группами, в которых данный тест будет со t использ. по его прямому назначению. Прежде чем предоставить тест пользователям, его валидность устанавливается на репрезентативной выборке исп-х. Показатели этих исп-х использ. не по прямому назначению, а только в целях проверки создава­емого теста. Если валидность теста доказывается таким м-дом, его м. приме­нять на других выборках уже при отсутствии критериальных мер.

И все же м. возразить, что нужно лишь подождать до тех пор, пока используе­мые в кач-ве критериальных мер рез-ты деят-ти или пов-я любой группы появятся сами собой и т.о. получить ту инф-ю, которую мы пытаемся предсказать с помощью тестов. Однако подобный образ дей-й в бол-ве случаев потребовал бы неприемлемых затрат времени и Е. Тесты как раз и предназначены для того, чтобы свести к мини­муму недопустимую расточительность такого обр. дей-й — и его пагубное эмо­ц. воздей-е на людей. С помощью тестов м. оценить, с заданным пределом погрешности, актуальный уровень навыков, знаний и других релевантных хар-к индивидуума, составляющих предпосылку его будущей деят-ти. И чем выше валидность и надежность теста, тем меньше будет относительная величи­на погрешности.

Валидность показывает нам не только степень соответствия теста своему назначению. Фактически, она указывает нам, что измеряется тем или иным тестом. Анализируя данные валидизации, мы можем объективно определить, что же все-таки измеряет наш тест. Поэтому было бы правильнее определять валидность как меру нашей увер-ти в том, что тест измеряет именно то, для измерения чего он пред­назначен. Несомненно, интерпретация тестовых показателей была бы более ясной и однозначной, если бы тесты всегда получали названия исходя из эмпирически уста­новленных соотн-й, по которым устанавливалась их валидность. Тенденцию к изменению в этом направлении можно увидеть в выборе таких названий, как «тест академич. оценки» и «тест распределения персонала» вместо неопр.— «тест интеллекта».

34. Содержательная валидность – логическая валидность или валидность по определению.

М-ды уст-я валидности через описание сод-я, по су­ществу, заключаются в систематич. проверке сод-я теста на соответ-е репрезентативной выборке измеряемой обл-ти пов-я. Такая процедура валидизации обычно применяется к тестам, предназначенным для измерения того, насколько чел-к овладел конкретными навыками или учебным предметом. М. создаться впечатление, что для уст-я валидности любого такого теста достаточно было бы простого просмотра его сод-я. Напр., тест на умножение, правописание или бухгалтерские навыки, казалось бы. д.б. валидным по опр-ю, если состоит из заданий на умножение, правописание или ведение бухгалтерских опера­ций соотв-но.

Реш-е, однако, не столь просто, как это может показаться. Сразу же возникает проблема формир-я выборки заданий, адекватно отражающих всю оценивае­мую предметную обл-ть. Поэтому тестируемая обл-ть пов-я сначала д.б. подвергнута систематич. ан-зу, с тем чтобы сущ. увер-ть в полном и пропорциональном охвате ее гл. аспектов заданиями теста. Напр., тест можно легко перегрузить теми аспектами исследуемой обл-ти, по кот. про­ще составить объективные задания. Поэтому рассматриваемую предметную обл-ть след. описывать заранее, и как м. полнее, а не определять после того, как тест уже составлен. Правильно построенные образоват. тесты д. охватывать цели обучения, а не только его конкретные темы. Сод-е, след-но, необх. определять достаточно широко, включая в него помимо знания фактического материала такие важнейшие цели обучения, как применение изученных правил и объяснение фактов. Кроме того. валидность больше зависит от релевантности тесто­вых ответов индивидуума рассматриваемой сфере пов-я, чем от очевидной ре­левантности сод-я тестовых заданий. Простая проверка сод-я теста м. и не выявить те пр-сы, которые действительно обеспечивают выполн-е тес­та исп-ми.

Важно также избежать неоправданных обобщений в отн-и обл-ти пов-я. выборочно проверяемой тестом. Если, напр., орфографич. тест с мно­жественным выбором ответов измеряет сп-ть распознавать правильно и непра­вильно написанные слова, то из этого не следует, что он также измеряет сп-ть правильно написать диктант, частоту орфографич. ошибок в сочинении и др. аспекты умения писать без орфографич. ошибок. Еще одна трудность возникает в связи с возможным влиянием посторонних факторов на показатели теста. Напр., на рез-ты экзаменац. теста по матем-ке или механике м. чрезмерно повлиять сп-ть понимать словес­ные инструкции или скорость выполн-я простых, стандартных задач.

Содержат. валидность теста обеспечивается с самого начала благодаря отбору соотв. заданий. Что касается образоват. тестов, подготовке их заданий предшествует полный систематич. просмотр со­отв. учебников и учебных программ, а также консультации со специали­стами по данному предмету. На основе собранной таким путем инф-и составляется спецификация теста для составителей заданий. В ней указы­вается охватываемые тестом обл-ти сод-я или темы, проверяемые учебные цели-задачи или сп-бы дей-я, а также отн-ное значение отдельных тем и сп-бов. В закл-е д.б. указано треб. число заданий каждого типа по каждой теме.

Данные о содержат. валидности. приводимые в рук-ве к тесту учеб. дост-й, д. сопровождаться описанием тех м-дов, которыми обеспечива­лись целесообразный отбор и репрезентативность сод-я теста проверяемой предметной обл-ти. Если в процессе конструирования теста принимали участие спе­циалисты но данному предмету, следует указать их к-во и проф. квалификацию. Если они выступали в роли экспертов при классиф-и заданий, необх. привести дававшиеся им указания и коэф-т согласов-ти их мнений. Поскольку программы и сод-е курсов со t меняются, особ-но желательно указать дату обращения к экспертам. Следует также сообщить число и хар-р проанализированных при подготовке теста программ и учебников, с указа­нием года издания.

Содержат. валидизация тестов учебных дост-й обычно дополняется рядом эмпирич. м-дов. И суммарный показатель, и выполн-е отдельных за­даний можно скорректировать отн-но шкалы успев-ти. В общем, сохраня­ются те задания теста, которые показывают наибольший прирост процента учащихся, переходящих с более низких на более высокие уровни успев-ти. Др. доп. м-ды, когда они уместны, включают ан-з типичных ошибок при вы­полн-и уч-мися теста и набл-е за сп-бами их работы. В последнем случае тестир-е ведется в индивидуал. порядке, причем ученика просят при реш-ии каждой задачи «рассуждать вслух». Существенность скоростного фактора м. контролироваться по к-ву тестируемых, не успевающих закончить тест, или с помощью одного из более тонких м-дов. Чтобы обнару­жить возможное нежелательное влияние сп-ти понять инструкцию на выпол­нение теста, м. вычислить коэф-т корр-и между показателями по данному тесту и показателями теста на понимание прочитанного. С др. стороны, если тест предназначен для оценки понимания текста, вопросы, относящиеся к содер­жанию еще не прочитанного отрывка, покажут, насколько исп-й в сост-и на них ответить, исходя лишь из имеющихся у него предварительных знаний или пользу­ясь другими нерелевантными источниками инф-и.

Дата добавления: 2015-06-04