Надежность измерений и процедуры вычисления коэффициента надежности

Достоверность как критерий оценки качества теста и способы предотвращения искажения результатов тестирования

Дост-сть – это критерий кач-ва теста, обеспеч. защиту его рез-в от непреднамер-х мотив-х искажений или созн-х фальсификаций.

Сознат-ые искажения испытуемые вносят в своих интересах. Защита ПД-ста от этого: 1. осведомление исп-го о тесте и процедуре тестир-ия. 2. собл-ие спец-м треб-ий этич-го кодекса пс-га. 3. Для устран-ия или хотя бы регистрации фен-на соц-й желат-сти, необходимо исп-ть шкалы лжи. Желат-но не сообщать исп.по чьей инициативе провод.тестир-ие. 4. Для пров-ки достов-сти рез-в теста, пс-г м\провести этот же тест повторно ч\з некот-ое время, но с другой установкой: постар-сь, вып-я этот тест, произвести на др.впеч-ие, описать себя так, чтобы выглядеть благопр-но в глазах др. Здесь выс-ая кор-ция м\у тестом и ретестом м\свид-ть о серьёзном искажении. Приём репертуарной модификации опросника м\б видоизменён предлож-и исп-му вып-ть тест не только от своего имени, но и от имени опред-го репертуара ролей. 5. специфич-ий отказ исп-го от тестир-ия внутренне, но внешне это не проявл-ся, тогда он выб-т одну из след-х тактик: тактику позит-го стиля ответа (да, нет, нейтр-й ответ) либо тактику случ-го стиля ответа. Для устран-ия этих искажений, приним-ся ряд мер в самом опроснике: для исключения вл-ия соглашат-ва или отрицания, исп-ся прямые пункты (ответ: верно в пользу выявленного св-ва), обратные (ответ: неверно в пользу выявл-го св-ва). Если баланс утвердит-х и отриц-х ответов наруш-ся, то рез-ты призн-ся ненадёжными. Для исключения тестов со случ-ми ответами, в стим-й мат-л ввод-ся вопросы-дубли – синонимы, перефразы. Если исп-й по-разл-му отв-т на один и тот же вопрос, зн-т он прим-т случ.тактику и рез-ты призн-ся недостов-ми.

Надежность – это критерий качества теста, выражающий точность психологических изменений, а также устойчивость результатов к действию посторонних случайных факторов. Например, результат измерения такого лабильного признака как настроение, не может быть таким же надежным (точным) как результат измерения более стабильного признака, скажем знаний орфографии.

Точность измерений определяется с помощью корреляционных методов статистики. При этом используются формулы вычисления корреляции Пирсона, Спирмена, Кендалла и др.

Вот почему в понятии «надежность теста» принято выделять 3 главных аспекта соответственно трем разным процедурам вычисления коэффициента надежности:

1) надежность-устойчивость (ретестовая надежность);

2) надежность-эквивалентность (надежность параллельных форм);

3) надежность-согласованность (надежность частей теста).

Надежность-устойчивость доказывается путем повторного проведения теста на той же выборке испытуемых (выборке стандартизации). Отсюда ее второе название – ретестовая надежность. Обычно временной разрыв между исследованиями составляет 2 недели. Замечено, что с его увеличением показатели корреляции имеют тенденцию к снижению. Это связано с тем, что измеряемое свойство нестабильно, развивается, могут наступить и возрастные изменения, а также произойти события, повлиявшие на состояние исследуемых качеств. Однако в некоторых случаях повторный тест проводят и через более длинный временной промежуток, например, в целях оценки прогностической валидности.

Надежность-эквивалентность определяется путем применения 2-х эквивалентных форм теста к одной и той же выборке. Эквивалентными формами теста принято называть два теста с тождественным психологическим содержанием, стимульные части которых, однако, отличаются друг от друга по внешнему оформлению. Поэтому этот вид надежности называется по-другому надежностью параллельных форм.

Надежность-согласованность определяется путем «расщепления» теста на две части и вычисления коэффициента корреляции между оценками, полученными по каждой из этих частей. Поэтому этот показатель иногда называют надежностью частей теста.

Преимуществом надежности-согласованности по сравнению с ретестовой надежностью и надежностью параллельных форм является выигрыш во временно-пространственном факторе. А это выражается в отсутствии необходимости в повторном обследовании, экономии времени, снятии эффекта упражнения, памяти и др.

17.Ретестовая надёжность как критерий оценки качества тестов:

Надежность ретестовая — характеристика надежности психодиагностической методики, получаемая путем повторного обследования испытуемых с помощью одного и того же теста. Надежность вычисляется по соответствию результатов первого и второго обследований или по сохранению ранговых мест испытуемых в выборке при ретесте. Коэффициент надежности (rt) соответствует коэффициенту корреляции между результатами таких обследований. При использовании интервальных шкал применяется коэффициент корреляции произведения моментов Пирсона. Для шкал порядка в качестве меры устойчивости к перетестированию может быть использован коэффициент ранговой корреляции Спирмена или Кэндалла.

При характеристике Н. р. особое значение имеет временной интервал между первым и вторым обследованиями. С его увеличением показатели корреляции имеют тенденцию к снижению.

Недостатки. Так, при повторном применении одних и тех же заданий, у испытуемых может сформироваться навык работы с данной психодиагностической методикой, что приводит к улучшению индивидуальных результатов, хотя и не одинаково выраженному у разных лиц. Это неизбежно ведет к ухудшению коэффициента надежности.

Для большинства тестов общих способностей характерно улучшение показателей Н. р. с возрастом испытуемых за счет лучшего контроля условий их выполнения. Другим фактором увеличения расчетных показателей Н. р. является относительное замедление с возрастом темпа психического развития в области тех характеристик, которые могут стать объектом измерения или влиять на результат теста. Эти особенности делают ретест пригодным лишь для ограниченного числа методик, допускающих многократное повторное обследование. К их числу относятся сенсомоторные пробы, тесты скорости и ряд других методик, отличающихся большим количеством пунктов.

18. Надёжность параллельных форм как критерий оценки качества тестов:

Надежность параллельных форм – характеристика надежности психодиагностической методики с помощью взаимозаменяемых форм теста. При этом одни и те же испытуемые в выборке определения надежности обследуются вначале с использованием основного набора заданий, а затем – с применением аналогичных дополнительных наборов. Коэффициент надежности по типу Н. п. ф. может быть определен и другим способом, а именно: испытуемые делятся примерно на равные группы, затем одной из них предлагается форма А теста, а другой – форма Б. Через определенное время (обычно не более недели) проводится повторное тестирование, но в обратном порядке.

Такая процедура обследования лишена значительной части недостатков способа определения надежности ретестовой. Так как в параллельной форме используется другой по содержанию материал, возможность тренировки и запоминания отдельных решений уменьшается. Важнейшим преимуществом данного метода является сокращение временного интервала перед повторным обследованием. Основным показателем Н. п. ф. является коэффициент корреляции между результатами первичного и повторного обследований, который позволяет оценить как временную стабильность теста (собственно надежность), так и степень соответствия результатов обеих форм теста. Если формы применяются непосредственно одна за другой, то корреляция отражает их взаимозаменяемость.

Отношение между параллельными формами теста имеет сложный характер. Оба набора заданий должны не только отвечать одним и тем же требованиям, измеряя идентичные показатели и давая сходные результаты, но вместе с тем быть относительно независимыми друг от друга. На практике эта задача осуществима далеко не для всех тестовых заданий (в особенности это касается личностных методик, опросников), что существенно ограничивает сферу применения Н. п. ф. Другим недостатком характеристики надежности по типу Н. п. ф. является возможность усвоения испытуемым принципа решения, общего для основной и параллельной форм. Таким образом, в случае оценки Н. п. ф. влияние тренировки и навыка, приобретаемого при повторном обследовании, если и снижается по сравнению с характеристикой надежности ретестовой, однако не устраняется полностью.

Дата добавления: 2015-06-04