Виды валидности

Виды валидности - Несколько специфичных характеристик психодиагностического инструментария, обусловленных особенностями диагностических методик, временным статусом внешнего критерия.
Во многих работах (А Анастази, 1982; Л.Ф Бурлачук, С.М. Морозов, 1989; KM. Гуревич, 1970; Б.В Кулагин, 1984; В Черны, 1983; "Общая психодиагностика", 1987 и др) называются чаще всего следующие:

1. Валидность "по содержанию". Этот прием используется в основном в тестах достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала. На это и должна ответить проверка валидности по содержанию. Для этого проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность "по содержанию" также подходит к критериально-ориентированным тестам. Иногда этот прием называют логической валидностью.

2. Валидность "по одновременности", или текущая валидность, определяется с помощью внешнего критерия, по которому информация собирается одновременно с экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени успеваемость в период испытания, производительность в этот же период и т д. С ним коррелируют результаты успешности по тесту.

3. "Предсказывающая" валидность (другое название - "прогностическая" валидность). Определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

4. "Ретроспективная" валидность. Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.

Особой разновидностью валидности является ДОСТОВЕРНОСТЬ, которая не всегда выделяется в учебниках по психодиагностике, хотя требует специальных усилий и процедур по обеспечению.

Речь идет о сознательных или бессознательных искажениях, которые вносит в тестовые результаты сам испытуемый, руководствуясь в ходе теста особой мотивацией, отличающейся от той, которая присуща ему в реальном поведении. Способность теста защищать информацию от мотивационных искажений и есть достоверность теста. Особенно остро проблема достоверности стоит в случае тест-опросников, которые допускают больше свободы в выборе испытуемым любого варианта ответа.

Типичный прием обеспечения достоверности — наличие в тест-опросниках шкал лжи. Эти шкалы основываются главным образом на феномене социальной желательности — стремлении испытуемых давать в ходе тестирования социально одобряемую информацию. Если испытуемый набрал по шкале лжи балл выше критического, то его протокол объявляется недостоверным и ему предлагается либо выполнить данный тест еще раз более откровенно, либо выполнить другой тест. Многие более специфичные «ловушки», направленные на измерение достоверности, часто входят как компонент в структуру конкретного теста, а иногда даже не подлежат разглашению как элемент «ноу-хау» (информационного изобретения) и профессиональной тайны, разделяемой разработчиками только с лицензированными пользователями методики, подписавшими особое лицензионное соглашение при приобретении теста.

Достоверность тестирования тесно связана со степенью доверительности общения, которую смог психолог установить с данным испытуемым. Здесь полезно различать две диагностические ситуации: консультативную (ситуация клиента) и аттестационную (ситуация экспертизы).

Психологические факторы, от которых зависит достоверность самоотчета, условно можно сгруппировать в следующие классы:

· Факторы знания.

· Фактор социальной желательности.

· Факторы индивидуальной тактики.

Фактор социальной желательности обозначает тенденцию испытуемого давать о себе социально одобряемую информацию. Сила этой тенденции зависит как от общей внеситуативной установки испытуемого на морализацию «Я-образа» и социальную успешность, так и от того, насколько эту установку актуализирует сама ситуация тестирования. Однако эта тенденция не будет давать систематического искажения, если испытуемые не смогут разгадать направленность теста-опросника и связать диагностируемое свойство с тем или иным полюсом социальной желательности. Таким образом, действие этого фактора до некоторой степени опосредовано действием факторов знания. Однако при диагностике личностных свойств, тесно связанных с психической «нормальностью» или «социальной успешностью», фактор социальной желательности ответа обусловливает очень серьезные искажения.

Для эффективного развития практической психодиагностики сегодня требуется резкое повышение психометрической культуры всех психологов, использующих измерительные психодиагности­ческие методики. Методами рестандартизации теста, простейши­ми приемами проверки надежности и валидности должны владеть все психологи.

До сего дня сохранилось не вполне оправданное разделение (и даже противопоставление) психологов, считающих себя специалис­тами в области клинических методов, и психологов, считающих себя специалистами по тестированию. Но в большинстве реальных прак­тических ситуаций требуется сочетание этих методов. Клинические, диалогические методы необходимы на начальных этапах работы в заданной области для того, чтобы психолог сумел построить ясное содержательное представление о предмете психодиагностики. Они также необходимы в особых спорных случаях, требующих индивиду­ализированного подхода. Но когда от психолога требуется проведе­ние ускоренных, массовых обследований, обращение к некоторым стандартизованным, измерительным методикам становится неизбеж­ным. Здесь требуется психометрическая грамотность в подборе тако­го рода методик: нельзя использовать методики, о которых неизвест­но, какого рода психометрической отладке они подвергались.

Всеобщая психометрическая грамотность психологов не исклю­чает выделения из их среды специалистов особого рода - психологов-психометристов, профессионально занимающихся психометри­ческим обеспечением психодиагностики. Поэтому целесообразно привести здесь два списка нормативных требований - к психологу и к психологу-психометристу.

Требования к психологу:

1. Психолог должен уметь квалифицированно разбираться с пси­хометрической документацией в методической литературе по психо­диагностике, должен знать, какие психометрические характеристики теста должны указать его разработчики, в какой степени эти психо­метрические характеристики соответствуют типу теста, с одной сто­роны, и актуальной задаче, для которой его требуется использовать, с другой. Например, в тех случаях, когда требуется использовать тест для прогноза со значительным упреждением, а сведений о проверке прогностической валидности не получено, тест не может считаться готовым для решения данной задачи.

2. Психолог должен правильно определить, в какой мере извест­ные тестовые нормы по требующейся методике применимы в его си­туации с учетом контингента испытуемых и типа диагностической си­туации, существует ли ситуация «внутрикультурного переноса» и нуж­на ли рестандартизация тестовых норм. При необходимости психолог должен уметь самостоятельно практически произвести рестандартизацию, построив и проанализировав распределение тестовых баллов.

3. Психолог должен уметь самостоятельно собирать данные, прово­дить корреляционную обработку и измерять эмпирическую валидность -эффективность методики по отношению к заданному критерию. При необходимости психолог должен уметь самостоятельно конкретизиро­вать операциональные индикаторы критериальной информации.

4. Психолог должен уметь самостоятельно определять появление слишком высокой погрешности в результатах, утрату методикой не­обходимого уровня надежности, при этом проверять свою гипотезу статистически.

5. Психолог обязан вести двойную документацию: все копии про­токолов он должен быть готов передать в головную методическую организацию (научно-академическую или отраслевую) для пополне­ния общего банка данных и совершенствования психометрических характеристик методики. Все модификации, вносимые в методику (формулировку инструкции, отдельных вопросов, последовательность предъявления), психолог должен согласовывать с головной методи­ческой организацией, так как самодеятельное введение на местах раз­нообразных частных модификаций влечет за собой утрату психомет­рической чистоты получаемых результатов, не ускоряет, а замедляет создание модификаций, адаптированных к специфическим условиям и обладающих необходимыми психометрическими свойствами. Тща­тельное соблюдение заданных методических стандартов — необходи­мый атрибут психометрической культуры психолога.

6. Психолог должен уметь самостоятельно выявлять и измерять уровень мотивационных искажений, обусловливающих фальсифика­цию тестовых данных испытуемыми, должен уметь корректно отсеи­вать недостоверные протоколы, статистически фиксировать достиже­ние приемлемого уровня достоверности для массовых результатов в групповой психодиагностике.

7. Психолог должен овладевать приемами сложного количествен­ного подсчета косвенных тестовых показателей, а также интегральных показателей, требующих агрегирования многообразной числовой ин­формации. Он должен уметь поставить задачу программисту (или психологу-психометристу) для проведения расчетов на компьютере.

Психолог-психометрист должен уметь:

1. Самостоятельно планировать и осуществлять все этапы по пси­хометрическому конструированию или адаптации психодиагностичес­ких методик: проверку надежности и валидности на уровне отдель­ных пунктов теста, отсев ненадежных и невалидных пунктов, пост­роение и анализ распределения тестовых баллов, составление мате­матических уравнений для прогнозирования или «решающего правила» для распознавания.

2. Организовывать хранение и обработку психодиагностических данных на компьютере, владеть навыками работы на компьютере в рамках стандартных операционных систем, знать структуру исполь­зуемых в психодиагностике баз данных и уметь управлять базами дан­ных.

3. Организовать работу психологов-психодиагностов по ведению документации к используемым методикам, по соблюдению методи­ческих стандартов, по сведению и интеграции результатов в общие банки психодиагностической информации.

4. Вести картотеку методик в рамках заданной области (отрасле­вой психологической службы), тщательно иерархизируя методики по уровню психометрической обеспеченности, вести библиотеку мето­дических материалов и методических рекомендаций по использова­нию стандартизованных методик.

Условно все задачи, возникающие во взаимодей ствии педагога и психолога в школе, можно разделить на психолого-педагогические и психологиче ские. В первом случае цели и методы решения задачи определяет педагог, а психолог-диагност выполняет вспомогательную функцию, а именно: проводит психодиагностику ученика, дает его психологический портрет и прогнозирует результат педагогического воздействия, а в некоторых случаях проводит и вторичную психологическую диагностику после воздействия. Этот тип задач в большинстве случаев связан с обслуживанием образовательной функции школы.

Задачи второго типа — собственно психологические, которые преимущественно и приходится решать школьному психологу. Психологическая диагностика выступает как этап решения проблемы, где средства решения — чисто психологические (консультативная помощь, коррекция личности, психологический тренинг, индивидуальная и семейная психотерапия, психологические рекомендации и т. д.). Как правило, школьный психолог сам выступает в роли психодиагноста и в роли субъекта, осуществляющего психологическое воздействие. Не меньшее значение имеет фактор заказчика. Запрос психологу может поступать от педагога, от родителей, от самого школьника. Кроме того, сам психолог может поставить перед собой эту задачу.

Хотя содержание психодиагностической деятельности (на этапе тестирования) практически не зависит от того, кто сформировал запрос, но на этапе интерпретации результатов возникает проблема перевода психодиагностической информации и психологических рекомендаций на язык ее пользователя. Кроме того, перед психологом встают этические проблемы, поскольку он должен исходить из гуманистического принципа защиты личности ребенка.

Весьма условно все типовые задачи можно отнести к двум классам, исходя из главных функций школы— функции образования и функции воспитания. Различение этих функций, безусловно, следует считать сугубо ориентировочным. Оно полезно потому, что помогает как-то структурировать изложение и ориентировку в материале. Все дело в том, что образовательная и воспитательная функция в любом детском учреждении тесно переплетены (яркий пример — дошкольное учреждение, в работе которого вообще трудно отделить учебные занятия от развивающих, воспитательных по своему смыслу игр и других занятий.

Условно все задачи, возникающие во взаимодействии педагога и психолога в школе, можно разделить на психолого-педагогические и психологические. В первом случае цели и методы решения задачи определяет педагог, а психолог-диагност выполняет вспомогательную функцию, а именно: проводит психодиагностику ученика, дает его психологический портрет и прогнозирует результат педагогического воздействия, а в некоторых случаях проводит и вторичную психологическую диагностику после воздействия. Этот тип задач в большинстве случаев связан с обслуживанием образовательной функции школы, и он освещается в главе 3.

Задачи второго типа - собственно психологические, которые преимущественно и приходится решать школьному психологу. В нашей книге они в большей степени связаны с реализацией воспитательной функции школы, и нашли отражение в главе 4. В этом случае психологическая диагностика выступает как этап решения проблемы, где средства решения - чисто психологические (консультативная помощь, коррекция личности, психологический тренинг, индивидуальная и семейная психотерапия, психологические рекомендации и т. д.). Как правило, школьный психолог сам выступает в роли психодиагноста и в роли субъекта, осуществляющего психологическое воздействие. Не меньшее значение имеет фактор «заказчика». Запрос психологу может поступать от педагога, от родителей, от самого школьника. Кроме того, сам психолог может поставить перед собой эту задачу.

Хотя содержание психодиагностической деятельности (на этапе тестирования) практически не зависит от того, кто сформировал запрос, но на этапе интерпретации результатов возникает проблема перевода психодиагностической информации и психологических рекомендаций на язык ее пользователя. Кроме того, перед психологом встают этические проблемы, поскольку он должен исходить из гуманистического принципа защиты личности ребенка

Материал, изложенный в данной статье, служит яркой иллюстрацией тех трудностей, которые возникают при диагностике определенных свойств личности, осознаваемых самим испытуемым как социально порицаемые. Неискушенным в психодиагностике педагогам иной раз кажется, что асоциальные тенденции в поведении подростка сами собой бросаются в глаза (особый жаргон, нагловато-циничная манера держаться на людях и т. п.). Но на самом деле вовсе не всегда внешняя манера, поза соответствуют реальной готовности к совершению асоциальных, противоправных действий.

Л. Б. Филонов — специалист с большим практическим опытом работы в области диагностики отклоняющегося поведения подростков — делает акцент на использование особого комплекса методик, являющегося оригинальной модификацией ТЕСТА ЛИЧНОСТНЫХ КОНСТРУКТОВ, предусматривающей свободное порождение испытуемым любого словесного материала. Такая изощренность методического инструментария вызвана тем, что обычные тест-опросники в данном случае не работают: нередко реальный ДЕЛИНКВЕНТ — подросток с устойчивыми противоправными тенденциями — выдает защитную, социально-желательную информацию, а обыкновенный ребенок с законопослушным поведением, но эмоционально не сбалансированными реакциями — негативистскую, нонконформистскую информацию.

К сожалению, за рамками параграфа остался ряд иных методических приемов, используемых в практической работе по диагностике уровня и мотивов отклоняющегося поведения (проективные рассказы по картинке, рисуночные техники). Определенную пользу в диагностике отклоняющегося поведения может дать специальный показатель склонности к делинквентности в уже упомянутом опроснике ПДО (Личко, Иванов, 1981). Но практически все эти методики, как и описанные в данном параграфе, требуют специальной профессиональной подготовки для их проведения, что может отчетливо увидеть каждый читатель данного параграфа.

Представление об отклонениях у подростков часто ассоциируется со своеобразным выходом отдельных их действий за рамки ранее устоявшегося поведения. Констатируется, что привычные отношения, а также общение и взаимодействие со средой нарушаются. Исследователями признается, что такой стиль поведения остается типичным для всех лиц этого возраста. Но в то же время всегда ищут грань, которая определяет допустимые варианты отхода от стандартного и типичного стиля общения в область опасных тенденций, возникающих в этот период. Потребность в такой дифференциации существенно значима, поскольку именно в подростковом возрасте может возникнуть ряд необратимых асоциальных образований в структуре личности. Именно это определяет повышенную значимость всего, что связано с диагностикой личности подростков. Как правило, исследователи сходятся во мнении, что процесс диагностики подростков затруднен. Последнее обусловлено рядом факторов, которые связаны и со спецификой коммуникации с подростком, с его новыми тенденциями, с особенностями его личностных качеств и свойств в разных ситуациях.

Дата добавления: 2015-06-04