Стандартизация психодиагностических тестов

Особое значение имеет выбор критерия оценки получаемых результатов. Без сопоставления с точкой отсчета результаты психологических испытаний ничего не значат.

1. Они сопоставляются с нормами выполнения в выборке стандартизации (репрезентативная выборка того типа, для которой данная методика предназначена, например, дети определенного возраста, студенты высших учебных заведений сходного профиля, представители той или иной профессии и др.). Эти нормы устанавливаются опытным путем.

2. Затем результаты каждого испытуемого сопоставляются с нормой и квалифицируются как средние, высокие или низкие. Это позволяет определить положение конкретного испытуемого относительно нормативной выборки или выборки стандартизации. Для этого сырые баллы (т. е. количество правильных ответов) с помощью специальных таблиц переводятся в стандартные показатели, сопоставимые друг с другом и с нормой. В данном случае используется статистическая норма (уровень, который характеризует статистически среднего человека).

Стандартизированность психодиагностической методики предполагает:

1 Единую стандартную процедуру её проведения и обработки результатов.

2 Перевод "сырых" результатов теста в стандартную шкалу тестовых данных (что позволяет сопоставлять результаты у разных испытуемых в разных тестах).

Репрезентативность тестовых норм -правомерность применения тестовых норм в большой группе людей. Так, если тестовые нормы были вычислены на выборке школьников, то эти нормы нельзя автоматически переносить на студентов - надо провести рестандартизацию теста, проверить его на студентах и вычислить тестовые нормы для студентов.

Кроме статистических тестовых норм часто используют критериальные нормы, т. е. достиг ли человек критического требуемого уровня развития профессионально важного психологического качества. В критериальных тестах учитывают не степень отклонения баллов от центра шкалы, а достижение или недостижение какого-то критического уровня на шкале.

Достоверность теста - способность теста защищать информацию от мотивационных (сознательных и бессознательных) искажений и социальной желательности ответов (это достигается черчз введение в тест проверочной шкалы лжи).

Вопросы:

1 Почему для результатов психологического тестирования важен выбор критерия оценки получаемых результатов.

2 Что такое стандартизированность психодиагностической методики.

3 Что такое репрезентативность тестовых норм.

4 Что такое критериальные нормы.

5 Что такое достоверность теста.

8. Надёжность и валидность.

Важнейшими показателями качества психодиагностических методик являются надежность и валидность.

Надежность- помехоустойчивость теста, независимость его результатов от действия всевозможных случайных факторов. К числу таких факторов следует отнести:

1. разнообразие внешних материальных условий тестирования, меняющихся от одного испытуемого к другому (время суток, освещенность, температура в помещении, наличие посторонних звуков, отвлекающих внимание и т. п.),

2. динамичные внутренние факторы, по-разному действующие на разных испытуемых в ходе тестирования (время так называемой "врабатываемости" выхода на стабильные показатели темпа и точности действий после начала тестирования, скорость утомления и т. п.),

3. информационно- социальные обстоятельства (различная динамика в установлении контакта с психологом или лаборантом, проводящим тестирование; возможное наличие других людей в помещении; наличие предыдущего опыта знакомства о данным тестом; наличие какого-то знания и отношения к тестам вообще и т. п.).

Выделяют три типа надежности (К. М. Гуревич):

1. надежность самого измерительного инструмента.

2. стабильность изучаемого признака.

3. константность, (независимость результатов от личности экспериментатора).

Надежность теста показывает независимость его результатов от действия разных случайных факторов. Средняя относительная величина этого отклонения определяется как "стандартная ошибка измерения" (Se). Величина ошибки измерения указывает на уровень неточности или ненадёжности тестовой шкалы.

Для проверки стабильности изучаемого признака используется метод, получивший название "тест- ретест", который заключается в проведении повторного психодиагностического испытания той же выборки испытуемых (от 30 человек) через определенный промежуток времени, в вычислении коэффициента корреляции между результатами первого (X) и второго (У) тестирования.

Повторное обследование проводится через несколько месяцев (но не более чем через полгода). Повторное испытание не проводят слишком быстро после первого, поскольку есть опасность, что испытуемые будут воспроизводить свои ответы по памяти.

Коэффициент константности определяется путем корреляции результатов двух психодиагностических испытаний, проведенных на одной и той же выборке испытуемых с соблюдением идентичности условий, но разными экспериментаторами.

При этом, метод измерения "ретестовой надёжности" пригоден только для психических свойств, стабильных во времени. Надёжность тестов на психические состояния и динамичные установки личности нельзя проверить таким образом. В этом случае применяют различные методы "расщепления" теста на отдельные пункты.

Для проверки надежности инструмента по показателю однородности используют метод расщепления - для этого все задания психодиагностического инструмента делятся на четные и нечетные (по нумерации), отдельно обрабатываются, а затем подсчитываются коэффициенты корреляции между этими рядами. Чем выше величина коэффициента корреляции, тем однороднее методика, тем выше ее надежность.

Валидность.

Для характеристики способности теста измерять действительный уровень психического свойства или качества используется понятие валидности. Валидность (Validity) теста показывает, в какой мере он измеряет то качество (свойство, способность, характеристику и т п), для оценки которого он предназначен. Высокая валидность указывает на то, что тест измеряет именно то, на что направлен. Инвалидный, т.е. не обладающий валидностью, тест не пригоден для практического использования.

В современной психометрии выделяются три основных вида валидности:

1) содержательная валидность. (Content validation).

Содержательная валидность означает, что тест является валидным по мнению специалистов.

2) эмпирическая валидность. (empirical validity).

Эмпирическая валидность заключается в определении способности теста служить индикатором или предсказателем строго определённой психической особенности или формы поведения человека.

3). концептуальная валидность. (construct validity).

Она устанавливается путём доказательства правильности теоретических концепций, положенных в основу теста.

Также выделяют следующие виды валидности:

1. конвергентная валидность - сопоставление данной методики с авторитетными родственными методиками и доказательство значимых связей с ними.

2. дискриминантная валидность - сопоставление с методиками, имеющими другое теоретическое основание и констатация отсутствия значимых связей с ними, называется.

3. прагматическая валидность - проверка методики с точки зрения ее практической значимости, эффективности, полезности. Для проведения такой проверки, как правило, используются независимые внешние критерии (независимый от теста, внешний источник информации о проявлении в реальной жизни и деятельности людей измеряемого психического свойства).

В зависимости от специфики самой диагностической методики и внешнего критерия различают несколько ее видов.

1. Валидность «по одновременности», или текущая валидность. Определяется с помощью внешнего критерия, информация по которому собирается в период проведения испытаний (например, успеваемость, производительность труда и др.).

2. Прогностическая, или «предсказывающая», валидность отличается тем, что информация по внешнему критерию собирается некоторое время спустя после проведения обследования. Такая валидность свидетельствует о возможностях методики предсказывать успешность испытуемого в каких-либо видах деятельности.

Для проверки прогностической валидности теста нужно обследовать более 300 человек, а через 2 - 3 года выделить среди этих людей критериальные группы по высоким и низким значениям (например, отличники и двоечники) и посчитать корреляцию с прежними показателями теста.

3. Ретроспективная валидность определяется на основе критерия, отражающего событие или состояние качества в прошлом. Она также может свидетельствовать о предсказательных возможностях методики.

На валидность теста также негативно влияют случайные факторы. Поэтому в психометрике принято следующее психометрическое неравенство: ВАЛИДНОСТЬ < НАДЁЖНОСТЬ.

Это означает, что валидность не может превышать надёжность теста.

Методы проверки валидности тестов.

Критерий валидности - это независимый от теста, внешний по отношению к тесту источник информации об измеряемом психическом свойстве.

Мы не можем судить о валидности теста до тех пор, пока не сравним его результаты с источником истинной (или хотя бы заведомо более валидной) информации об измеряемом свойстве- с критерием.

4. Часто в качестве критерия валидности используется экспертная оценка.

Это метод "известных групп" (здесь к участию в психометрическом эксперименте по проверке валидности теста приглашаются испытуемые, про которых известно, к какой группе по критерию они относятся).

Метод "известных групп" обладает серьезным недостатком. Он не всегда позволяет использовать тест для прогноза. Так, при формировании "известных групп" оценивается поведение, которое происходило в прошлом, а мы хотим сделать тест дня прогноза поведения, которое будет происходить в будущем.

5. Для решения этой проблемы применима прогностическая схема валидизации теста, которая затрагивает большой промежуток времени.

Когда заказчик твёрдо знает, каких доказательств эффективности предлагаемого теста можно потребовать от тестолога, он будет надёжно застрахован от профанации.

Для проверки валидности теста можно использовать метод "известных групп", когда приглашаются люди, про которых известно, к какой группе по критерию они относятся (например, группа «высокоуспешных, дисциплинированных студентов» - высокий критерий и группа «неуспевающих, недисциплинированных студентов» - низкий критерий, а студенты со средними значениями не участвуют в тестировании), проводят тестирование и находят корреляцию между результатами теста и критерием.

Измерение психометрических характеристик теста осуществляют разработчики теста, но пользователи должны знать и понимать, насколько тот или иной тест надежен, валиден, стандартизирован, достоверен и репрезентативен.

Качество любой психодиагностической методики зависит от степени ее стандартизованности, надежности и валидности. При разработке любой диагностической методики ее авторы должны проводить соответствующую проверку и сообщать в руководстве к ее применению полученные результаты.

Вопросы:

1. Надёжность теста и её целесообразность.

2. Какие факторы, влияющие на надёжность проведения теста вы можете назвать.

3. Сколько типов надёжности вы можете назвать.

4. Какой метод используется для проверки надёжности.

5. Что такое коэффициент константности.

6. Что такое "метод расщепления", где и когда он пприменяется.

7. Что такое валидность.

8. Сколько видов валидности вы можете назвать.

9. Что такое предсказывающая и ретрспективная валидность.

10. Что такое критерий валидности.

11. Метод "Экспертных групп", в качестве проверки какого критерия он применяется и в чём его недостатки.

12. Почему знания о надёжности и валидности необходимы для психолога- диагноста.

Дата добавления: 2014-01-04