Измерение валидности. Валидность определенных пунктов

Измерение валидности. Валидность целого теста

1)Эмпирическая валидность.

Если в случае с содержательной валидностью оценка теста производится за счет экспертов (устанавливающих соответствие заданий теста содержанию предмета измерения), то эмпирическая валидность измеряется всегда с помощью статистического коррелирования: подсчитывается корреляция двух рядов значений - баллов по тесту и показателей по внешнему параметру, избранному в качестве критерия валидности.

2)Конструктная валидность.

Конструктная валидность имеет отношение к теоретическому конструкту самому по себе и включает в себя поиск факторов, объясняющих поведение при выполнении теста. Как особый тип конструктная валидность канонизирована в статье Кронбаха и Миля (1955). Авторы оценивали с помощью этого типа валидности все тестовые исследования, которые не были прямо направлены на предсказание некоторых значимых критериев. Исследование содержало информацию о психологических конструктахл.

3)"Прогностическая" валидность.

"Прогностическая" валидность определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик — предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

Соответствие пунктов измеряемому фактору обеспечивает конвергентную валидность теста- это проверка ожидаемой связи тестовых оценок с другими показателями. Например, если для измерения какой-либо черты существует несколько методик, целесообразным было бы провести эксперименты по хотя бы двум, и тогда при обнаружении высокой положительной корреляции их результатов между собой можно говорить о валидности. Основной целью конвергентной валидизации является определение того, будут ли оценки теста варьироваться в соответствии с ожиданиями. Сбалансированность пунктов относительно иррелевантных факторов обеспечивает дискриминантную валидностъ. Эмпирически она выражается в отсутствии значимой корреляции с тестом, измеряющим концептуально независимое свойство.

№ 20 Достоверность как специальная разновидность валидности применительно к тестовым самоотчетам. Методы борьбы с социальной желательностью.

Особой разновидностью валидности является ДОСТОВЕРНОСТЬ. Речь идет о сознательных или бессознательных искажениях, которые вносит в тестовые результаты сам испытуемый, руководствуясь в ходе теста особой мотивацией, отличающейся от той, которая присуща ему в реальном поведении. Способность теста защищать информацию от МОТИВАЦИОННЫХ ИСКАЖЕНИЙ и есть достоверность теста. Особенно, остро проблема достоверности стоит в случае тест-опросников, которые допускают больше свободы в выборе испытуемым любого варианта ответа. Типичный прием обеспечения достоверности — наличие в тест-опросниках ШКАЛ ЛЖИ, введение вопросов «не про что», введение параллельных вопросов, вопросов дублей. Эти шкалы основываются главным образом на феномене СОЦИАЛЬНОЙ ЖЕЛАТЕЛЬНОСТИ — стремлении испытуемых давать в ходе тестирования социально одобряемую информацию. Если испытуемый набрал по шкале лжи балл выше критического, то его протокол объявляется недостоверным и ему предлагается либо выполнить данный тест еще раз более откровенно, либо выполнить другой тест. Многие более специфичные ловушки, направленные на измерение достоверности, часто входят как компонент в структуру конкретного теста, а иногда даже не подлежат разглашению как элемент ноу-хау (информационного изобретения) и профессиональной тайны, разделяемой разработчиками только с лицензированными пользователями методики, подписавшими особое лицензионное соглашение при приобретении теста. Достоверность тестирования тесно связана со степенью доверительности общения, которую смог психолог установить с данным испытуемым. Здесь полезно различать две диагностические ситуации: консультативную (СИТУАЦИЯ КЛИЕНТА) и аттестационную (СИТУАЦИЯ ЭКСПЕРТИЗЫ). В первом случае испытуемый участвует в тестировании на добровольной основе и сам заинтересован получить рекомендации по результатам тестирования (как, например, в профориентационной консультации). Во втором случае тестирование проводится по инициативе педагога или администрации, психолога, родителей, т. е. других лиц, и эти другие больше заинтересованы в результатах, чем сам испытуемый. Понятно, что в аттестационной ситуации вопрос о достоверности особенно актуален. И опросники, не снабженные шкалами лжи, использовать в таких ситуациях бесполезно. Наоборот, в ситуации клиента могут быть использованы такие методики, на которые испытуемый заведомо будет отвечать некорректно в ситуации экспертизы. Вопросы достоверности и стандартизации тесно связаны между собой. Очень часто даже объективные тесты достижений, если они проходили стандартизацию на добровольцах (в ситуации консультации), должны быть рестандартизированы ля того, чтобы их использовали в аттестационной ситуации.

№ 21 Технология создания и адаптации методик

Ситуация конструирования психологических тестов предполагает наличие только исходной концепции психического свойства наряду с отсутствием процедуры его измерения, удовлетворяющей требованиям места, времени, возможностям количественного анализа и ограничениями прочих ресурсов (А.А.Бодалев, В.В.Столин). Несмотря на то, что конструирование методик, относящихся к различным подходам, имеет определенную специфику, можно выделить обобщенный алгоритм деятельности по разработке теста.
1.Теоретическое обоснование методики.
2. Собственно конструирование.
2.1 Спецификация теста (определение числа заданий). Подробно процедура спецификации тестов на примере опросников приведена в учебнике Л.Ф.Бурлачука.
2.2. Разработка заданий.
2.4. Предварительное оформление.
3. Апробация методики.
На данном этапе проводится пилотажное исследование на сокращенной выборке стандартизации. Рассчитываются основные психометрические показатели. В первую очередь, проводится анализ заданий теста. Подробно данная процедура освещена А.Анастази. Анализ заданий теста (пунктов теста) осуществляется по двум параметрам: трудность заданий (доля испытуемых выборки, справившихся с заданием) и дискриминативность заданий (различительная способность заданий). На этапе апробации методики также производят предварительный расчет показателей надежности и валидности.
Расчет психометрических показателей на выборке стандартизации.
5.Стандартизация теста. Расчет тестовых норм.

6.Окончательное оформление методики.

7.Пересмотры методики с течением времени.

Ситуация адаптации предполагает перепроверку основных психометрических показателей методики в новых условиях. В первую очередь, адаптации подлежат переводные тесты. Адаптация зарубежных тестов по объему эмпирико-статистической работы практически не уступает созданию оригинальных диагностических методик.

А.А.Бодалев и В.В.Столин выделяют следующие этапы адаптации переводного теста:

1.Анализ внутренней согласованности пунктов теста.

2.Проверка устойчивости к перетестированию.

3. Анализ корреляций с релевантным внешним критерием.

4. Проверка или рестандартизация тестовых норм.

5. В случае адаптации многомерной методики – проверка воспроизводимости структуры отношений между шкалами.

Особые задачи ставит перед психологом ситуация «внутрикультурного переноса» теста на новую популяцию, отличающуюся от выборки стандартизации половозрастными или профессионально-культурными особенностями. В данном случае необходимо: 1) проверить валидность методики; 2) перепроверить тестовые нормы.

№22 Требования к психометрической подготовке психолога

Для эффективного развития практической психодиагностики сегодня требуется резкое повышение психометрической культуры всех психологов, использующих измерительные психодиагности­ческие методики. Методами рестандартизации теста, простейши­ми приемами проверки надежности и валидности должны владеть все психологи.

До сего дня сохранилось не вполне оправданное разделение (и даже противопоставление) психологов, считающих себя специалис­тами в области клинических методов, и психологов, считающих себя специалистами по тестированию. Но в большинстве реальных прак­тических ситуаций требуется сочетание этих методов. Клинические, диалогические методы необходимы на начальных этапах работы в заданной области для того, чтобы психолог сумел построить ясное содержательное представление о предмете психодиагностики. Они также необходимы в особых спорных случаях, требующих индивиду­ализированного подхода. Но когда от психолога требуется проведе­ние ускоренных, массовых обследований, обращение к некоторым стандартизованным, измерительным методикам становится неизбеж­ным. Здесь требуется психометрическая грамотность в подборе тако­го рода методик: нельзя использовать методики, о которых неизвест­но, какого рода психометрической отладке они подвергались.

Всеобщая психометрическая грамотность психологов не исклю­чает выделения из их среды специалистов особого рода - психологов-психометристов, профессионально занимающихся психометри­ческим обеспечением психодиагностики. Психолог-психометрист должен уметь:

1. Самостоятельно планировать и осуществлять все этапы по пси­хометрическому конструированию или адаптации психодиагностичес­ких методик: проверку надежности и валидности на уровне отдель­ных пунктов теста, отсев ненадежных и невалидных пунктов, пост­роение и анализ распределения тестовых баллов, составление мате­матических уравнений для прогнозирования или «решающего правила» для распознавания.

2. Организовывать хранение и обработку психодиагностических данных на компьютере, владеть навыками работы на компьютере в рамках стандартных операционных систем, знать структуру исполь­зуемых в психодиагностике баз данных и уметь управлять базами дан­ных.

3. Организовать работу психологов-психодиагностов по ведению документации к используемым методикам, по соблюдению методи­ческих стандартов, по сведению и интеграции результатов в общие банки психодиагностической информации.

4. Вести картотеку методик в рамках заданной области (отрасле­вой психологической службы), тщательно иерархизируя методики по уровню психометрической обеспеченности, вести библиотеку мето­дических материалов и методических рекомендаций по использова­нию стандартизованных методик.

№23 Психодиагностические ситуации и задачи

Психодиагностические задачи можно различать с точки зрения того, кто и как будет использовать диагностические данные и какова ответственность психодиагноста в выборе способов вмешательства в ситуацию обследуемого. Психодиагностические задачи можно различать с точки зрения того, кто и как будет использовать диагностические данные и какова ответственность психодиагноста в выборе способов вмешательства в ситуацию обследуемого.

Данные используются специалистом-смежником для постановки непсихологического диагноза или формулирования административного решения. Эта ситуация типична для использования психодиагностических данных в рамках деятельности различных комиссий (административной, аттестационной, дисциплинарной…). Психолог выносит суждение о специфических особенностях мышления, личности сотрудника, а руководство учреждения принимает решение, за которое психолог не несёт персональную ответственность. В данном случае психолог выступает в качестве эксперта, давая свою оценку наряду с прочими участниками. Он должен следить за тем, чтобы характер использования результатов не выходил за рамки, очерченные требованиями профессиональной этики. С этой целью документ, который готовит психолог для заказчика, должен содержать информацию об ограничениях в использовании результатов.

Кроме того, в ситуации, когда позиция психолога оказывается наиболее подкреплённой объективными данными, а последствия решения комиссии для оцениваемого негативны, возможна ситуация, когда «все стрелки переводятся» на психолога. Такие ситуации могут отрицательно сказаться на его статусе.

Данные используются самим психодиагностом для постановки психологического диагноза, хотя вмешательство в ситуацию обследуемого осуществляется специалистом другого профиля. Такова, например, ситуация психодиагностики применительно к поиску причин девиантного поведения: диагноз имеет психологический характер, а работу по его реализации в жизнь могут проводить воспитатели, учителя и т.д.

Данные используются самим психодиагностом для постановки психологического диагноза, а последний служит ему основанием для разработки путей психологического воздействия. Такова ситуация психодиагностики в условиях психологической консультации.

Диагностические данные используются самим обследуемым в целях саморазвития, коррекции поведения и т.п. В этой ситуации психолог несёт ответственность за корректность данных, за этические аспекты «диагноза» и лишь частично – за то, как этот диагноз будет использован клиентом.

Хотя и не существует жёсткого соответствия между характером задачи и психодиагностическим методом, всё же можно отметить некоторую предпочитаемость тех или иных методов в тех или иных случаях.

Так, в ситуациях 1 и 2 методы должны давать «стратегическую» информацию об человеке, т.е. обеспечивать более или менее долгосрочный прогноз, они также должны позволять соотнесение обследуемого с другими людьми, т.е. предполагать стандартизацию. Поэтому в данных ситуациях наибольшее употребление получили объективные тесты и тесты-опросники, причём последние иногда основаны не на психологических категориях, а на категориях (системе понятий) заказчика.

В ситуации 3 информация зачастую рассчитана на регулирование тактики практической работы самого психолога, соотнесение с «нормой» имеет меньшее значение, поэтому чаще используются идеографические техники, проективные и диалогические методы.

В ситуации 4 главное требование к методам – лёгкость перевода получаемых с их помощью данных на язык самого обследуемого. Этому условию удовлетворяет, например, тест 16 PF Р. Кеттелла, но плохо соответствует MMPI, диагностические описания которого рассчитаны скорее на психиатра или психотерапевта.

В зависимости от свободы «входа» (добровольно или принудительно человек подвергается обследованию) и «выхода» (самостоятельно ли определяет дальнейшую свою судьбу на основе результатов тестирования), выделяют также 4 типа диагностических ситуаций (принуждение характеризует «вход» в ситуацию тестирования, социальный контроль – «выход»):

Социальный контроль
Принуждение	Консультирование	Отбор
Принудительное обследование	Аттестация

В каждом случае требуется соответствующий подбор методик и норм.

№24 Требования к психодиагностической литературе и методическим характеристикам. Требования к методикам.

Разработчик и пользователь методик взаимодействуют между собой прежде всего посредством методической литературы. Стандартные требования к оформлению руководства, методических указаний, писем и другой методической литературы приняты в качестве директивных документов обществами психологов ряда стран.

Целесообразно различать круг требований к документам разного типа:

• к исследовательской литературе, публикуемой в научных журналах, сборниках и монографиях;

• к обзорно-аналитическим руководствам и справочным изданиям, освещающим процедурные и количественные, а также содержательно-теоретические аспекты применения какой-то методики или какого-то класса методик;

• к «подручным методическим материалам», непосредственно инструктирующим пользователя в применении методики и содержащим стимульный материал, инструкции, тексты заданий, ключи, нормы, правила интерпретации; популярным изданиям по психодиагностике.

1. Научные сообщения. Должны освещать: теоретические основания методики, способ разработки и эмпирического обоснования, исследовательские данные по репрезентативности, надежности, валидности шкалы тестовых показателей. Для читателей в научном сообщении могут быть даны «образцы», отдельные примеры тестовых заданий, позволяющие проиллюстрировать принципы, на которых построена методика. В научных сообщениях не должны освещаться: для методик с профессиональными ограничениями («п-методик») — полный текст заданий, ключи, тестовые нормы, детальные инструкции по проведению и интерпретации. Обо всей этой информации автор научного сообщения должен говорить лишь косвенно, используя ссылки на распространяемую среди специалистов «инструктивную» литературу. В научном сообщении могут быть приведены исчерпывающие описания методик, знание которых непрофессионалами не может принести ущерба конкретным людям или психодиагностическому потенциалу самой методики. Этот класс методик предлагается условно обозначить термином «открытые методики»(«о-методики»).

Автор научного сообщения имеет право определить статус разработанной им методики как открытой методики, но любые модификации или адаптации методики, уже определенной как профессиональная «п-методика», должны освещаться в научных сообщениях в соответствии с указанными требованиями.

2. Справочно-методические издания. В этих изданиях могут быть приведены инструктивные материалы, включая текст заданий (во­просов), ключи, нормы, но при одном принципиальном условии — изданию придается «Я»-статус издания для специалистов, обеспечиваю­щий ему распространение среди читателей, имеющих необходимую психологическую подготовку.

3. Инструктивные документы. Содержат описание методики, обеспечивающее ее адекватное использование в точном соответствии со стандартами: предмет диагностики, сфера применения, контингент испытуемых, процедура применения. Описание обязательно должно снабжаться подробными сведениями о процедуре разработки методики, полученных при этом данных о надежности и валидности. Приведенные тестовые нормы должны сопровождаться однозначным описанием выборки стандартизации и характера диагностической ситуации в обследовании: добровольное участие испытуемых, бескорыстно сотрудничающих с психологом в целях помощи исследованию («научное сотрудничество»), участие платных испытуемых («платное участие»), использование методики в ходе запроса испытуемого на получение консультативной помощи («ситуация клиента»), использование методики в ходе принудительного (сплошного) административного обследования («ситуация экспертизы»).

Справочные издания и инструктивные материалы должны периодически пересматриваться, так как условия применения методик со временем неизбежно меняются, а следовательно, изменяются психометрические свойства.

В справочных и инструктивных материалах должны быть однозначно сформулированы требования к профессиональному статусу пользователя методики.

Инструктивные материалы должны пройти объективные испытания на однозначность указанных в них предписаний: пробная группа пользователей методики (теста) должна направлять автору руководства копии протоколов по результатам обследования, на основании которых автор должен обеспечить идентичность стандартов авторского варианта методики и тех характеристик методики, которые выявляются при ее использовании пользователями руководства. Последнее требование имеет принципиальное значение для методик, предполагающих значительное участие «экспертной» оценки.

Процедуры подсчета тестовых баллов и интерпретации должны быть описаны с однозначной ясностью, позволяющей получать идентичные результаты при обработке одинаковых протоколов разными пользователями руководства.

Предпочтительно включение и использование пользователями те­стов локальных тестовых норм (по сравнению с неспециализированными по популяции).

4. В популярных изданиях авторы-психологи не имеют права разглашать профессиональную тайну: описывать смысл диагностических приемов, знание которых испытуемыми существенно вредит валидности методики.

25. Требования к пользователям. Международные профессионально-этические принципы и нормы.

Дата добавления: 2015-06-04