Перекрестная валидность. Конкретная методология

Методы и приемы анализа

Мы хорошо помним устойчивую, хотя не всегда оправданную, нега­тивную реакцию «классической психологии» на попытки применения психодиагностических тестов: считалось, что за тестами «нет глубо­кой настоящей теории», что их отчетливый прагматизм не опирается на научную основу, а если таковая и есть, то она не соответствует при­нятым в нашей стране концепциям и подходам.

Тем не менее тесты получали и получают широкое распростране­ние в исследовательских лабораториях, в клинической практике, на предприятиях, в школах и т. п. Несмотря на критическое и даже пре­небрежительное отношение к тестам, существует, на наш взгляд, по крайней мере, один веский аргумент в их пользу: все эти психодиагно­стические процедуры позволяют получать информацию об индивиду­альных психологических особенностях конкретного человека, о его отличии от других людей.

Понятно, что этот аспект применения психодиагностических мето­дов можно рассматривать как один из важных критериев эффектив­ности тестов, как и любых других конкретных психодиагностических процедур: насколько полна, точна и надежна получаемая с их помо­щью информация, настолько она поддается научному толкованию и специальной интерпретации.

Проблема интерпретации данных психодиагностического метода теснейшим образом связана с понятием валидности теста. Эта связь, однако, не вполне очевидна и не проста: дело в том, что она лежит «в стороне» от привычной логики оценки теста, поскольку большин­ство специалистов по психодиагностике, в силу совершенно понятных психологических причин, выпускает из вида то обстоятельство, что «интерпретация» психодиагностических данных, имеет два уровня: интерпретация в терминах принятой математической модели обработ-

Раздел 3. Методы и приемы анализа

ки данных и интерпретация в терминах психологической концепции, принятой тем или иным специалистом.

Психологические причины «выпадения» из поля внимания спе­циалистов отмеченного выше обстоятельства лежат в особенностях организации мыслительного процесса: при обсуждении той или дру­гой предметной реальности люди не отдают себе отчет в том, что каж­дый из них «видит» (говоря психологическим языком — отображает) одну и ту же реальность по-своему.

Поэтому-то психологическое умение интерпретировать диагностиче­ские данные и расценивается как «искусство», поскольку редко (а в спе­циальной литературе — почти никогда) не обсуждается вопрос о со­ответствии этих разных моделей: модели реальности, существующей «в голове» специалиста (т. е. его собственных представлений о пси­хической реальности, его психологических знаний и предпочтений); математической модели обработки данных тестирования (т. е. части технологического процесса применения метода); психологической мо­дели реальности, принятой «конструктором» теста (т. е. психологиче­ской основы для создания методики, выбранной ее автором).

Если учесть к тому же, что все эти модели так или иначе интегриру­ются в рамках «модели решаемой задачи», о которой мы говорили при обсуждении содержательной стороны деятельности практического психолога, то станет совершенно понятным, что их стихийное, неосоз­наваемое и не отраженное в рациональных понятиях соотнесение, без которого и невозможна адекватная интерпретация данных, в действи­тельности сильнейшим образом зависит от личного опыта и вкуса практического психолога, и в действительности в таком случае явля­ется скорее искусством, чем наукой.

В контексте приведенных выше соображений рассмотрим особен­ности современного понимания проблемы «валидности теста» и за­тем снова вернемся к вопросу о связи названных выше различных моделей в разрешении проблем интерпретации психодиагностиче­ских данных.

Идея и техника «перекрестной валидизации»

Возможность применения процедуры перекрестной валидизации будет проиллюстрирована на примере техники графических психоди­агностических методов, специально созданной в рамках реализации дуального подхода для комплексного двухуровневого психодиагно­стического обследования с применением методов-экспресс и глубин­ной личностной диагностики.

Часть II. Практическая психодиагностика

Рис. 10. Трехкомпонентная структура психологии профессионального

становления

Естественно, что в сложившейся ситуации мы не могли обойти вниманием вопросы валидности и надежности этого специфического класса методик. Рассматривая эту проблему на первом этапе работы с графическими методами, мы, в основном, ориентировались на спо­собы субъективной и экспертной оценки валидности, а также на дан­ные, получаемые с помощью метода контрастных групп.

Именно в этом случае применяется процедура перекрестной валиди­зации и сопоставляются данные, полученные с помощью графических методов, с результатами других методических приемов, в частности

Раздел 3. Методы и приемы анализа

техники личностных опросников, результатов наблюдений и традицион­ных методов оценки продуктивности той или иной деятельности и т. д.

Проблема валидности психодиагностических процедур оказалась теснейшим образом связанной с проблемой интерпретации тестовых данных. Продолжая рассмотрение проблемы интерпретации, мы дол­жны подчеркнуть, что в современном тестировании есть одно обеску­раживающее несоответствие:

» с одной стороны, разработаны и продолжают развиваться стро­гие статистические процедуры обработки данных, утверждаются в действующей практике строгие критерии измерения психиче­ских явлений;

» с другой — налицо «нестрогие» правила обоснования соответ­ствия теста изучаемому явлению и чрезвычайно затрудненная для практического решения задача конкретной и точной интер­претации полученных результатов в терминах теоретического знания психологии.

Это несоответствие в значительной степени является основанием кри­тики метода тестов вообще. Вместе с тем наш анализ позволяет увидеть, что современные специалисты (А. Анастази, X. Улликсен, А. Хьюсон и др.) по теории тестирования [16; 325; 357; 369], обсуждая эту проблему, ограничиваются лишь первым уровнем интерпретации, построенным ис­ключительно на привлечении количественных критериев.

Конечно, одной из важных составляющих научного тестирования и основой научной интерпретации результатов тестовых испытаний яв­ляется наличие психологически и статистически обоснованных норм. Однако вся современная литература по тестологии буквально «зацик­лилась» на этом моменте, и тестовая норма понимается теперь не иначе, как установленное на базе репрезентативной выборки усреднение ко­личественных данных в результатах выполнения теста. Существует об­ширная дискуссия по этому вопросу, в ходе которой разработано даже специальное «деление» норм: на групповые, профессиональные, школь­ные, национальные, универсальные и др. (см., например, 16; 70).

Можно согласиться, что без количественного обоснования квали­фицированная интерпретация тестовых данных действительно невоз­можна, но можно утверждать, что применение только количественных подходов и создает то исключительно неудобное положение для прак­тикующего психолога, в котором чрезвычайно ответственное и чрезвы­чайно важное значение приобретает не знание, а интуиция исследовате­ля при описании, обобщении и объяснении эмпирических данных.

Часть II. Практическая психодиагностика

Все это убеждает нас в плодотворности продолжения исследований в этом направлении и служит для нас аргументом в пользу разработки метода и техники «перекрестной валидизации» психодиагностических тестовых процедур. Общая идея и схема оценки «перекрестной валид-ности» показана на рис. 11.

Основной смысл техники перекрестной валидизации состоит в том, чтобы сопоставить данные, полученные разными методами, с разны­ми моделями личности, имеющимися в психологической литературе, на одном и том же контингенте испытуемых, а затем сравнить эти дан­ные с результатами экспертных оценок, данными наблюдения и про­дуктами реальной деятельности.

Рис. 11. Схема «перекрестной» качественной валидизации

Практические приложения «перекрестной валидизации»

В качестве конкретного примера применения процедуры перекре­стной валидности рассмотрим технику валидизации разработанного нами графического теста «Автопортрет».

Хорошо известно, что использование графических методов встре­чает много трудностей на практике. Известно, например, что при иден­тификации почерка, несмотря на общее мнение экспертов об идентич­ности почерка, о его «абсолютном сходстве», на поверку оказывалось, что предъявленные рукописные отрывки были выполнены различными

Раздел 3. Методы и приемы анализа

людьми [178]. Вместе с тем необходимо осознавать, что наряду с индиви­дуальными различиями в изобразительной деятельности имеется подо­бие, сходство внутри того или иного вида графики, разнообразие типов личности внутри одного и того же типа рисунка, и сходство это иногда столь высоко, что вызывает недоумение.

Этот пример показывает, насколько важна разработка специальной техники (и технологии) сопоставления, соотнесения типологической («видовой») классификации графического продукта с индивидуаль­но-типологическими классификациями людей, включенных в процесс психодиагностического обследования графическими методами.

Первый этап перекрестной валидизации (как следует из схемы рис. 10) как раз и состоит в упорядочении психодиагностических данных. Наше исследование показало, что материал, полученный в тесте «Автопортрет», можно упорядочить по схеме, предложенной Г. Ридом [392; 393]:

» перечисляющий рисунок (изображение нескольких автопортре­тов при инструкции нарисовать один);

» органический рисунок (на фоне изображения живой природы в окружении растений, животных и т. д.);

«гаптический рисунок (изображение себя часто в состоянии бо­лезни: «болит зуб», «болит голова» и т. д.);

* эмфатический рисунок (изображение себя в какой-либо эмоцио­нальной атмосфере, идущей извне);

* декоративный рисунок (изображение портрета в явно приукра­шенном виде, в красивой рамочке, с присутствием цветов и дру­гого декора);

» имажинарный рисунок (изображение себя в виде какого-либо персонажа из литературного или любого художественного про­изведения, а также созданного в собственном изображении);

» ритмический рисунок (изображение, в котором подчеркивается движение, т. е. изображение движущегося человека: идущего, бе­гущего по лестнице и т. д.);

* структурный рисунок (изображение себя «как есть»: голова, ноги и т. д. может быть изображено одно лицо, может быть изображе­ние в полный рост).

Следующий этап перекрестной валидизации предполагает сопо­ставление полученной нами «типологии рисунка» с рассмотренными ранее психологическими типами К. Юнга. Результаты такого сопо­ставления приведены в табл. 4.

12-1282

Часть II. Практическая психодиагностика

Таблица 4

Процентное соотношение индивидуально-типологических особенностей

по тесту «Автопортрет»

Вид изображения по Г. Риду	Психологический тип по К. Юнгу	Процентное соотношение особенностей изображения
Перечисляющий	Мыслительный экстраверт	2,4
Органический	Мыслительный интроверт	30,5
Эмфатический	Ощущающий экстраверт	3,2
Гаптический	Ощущающий интроверт	2,2
Декоративный	Чувствующий экстраверт	8,8
Имажинарный	Чувствующий интроверт	13,2
Ритмический	Интуитивный экстраверт	20,3
Структурный	Интуитивный интроверт	17,6

Данные таблицы позволяют судить о доминировании того или ино­го типа личности в обследуемой группе.

Для более полной интерпретации результатов указанных тестов не­обходима дальнейшая работа по сопоставлению показателей, выявляе­мых при обработке рисунка, с показателями других методик и данными наблюдения. На этом, предварительном, этапе можно воспользоваться весьма авторитетной психологической типологией К. Юнга. Вместе с тем, как мы уже указывали, процедура перекрестной оценки валидности принципиально предполагает прямое соотнесение различных моделей: моделей обработки данных рисуночного теста (например, тип по Риду), психологических моделей типов личности (например, тип по Юнгу), а также допускает новую возможность соотнесения отдельных призна­ков личности (в моделях личности Кэттелла, Леонгарда и др.) и при­знаков рисунка, выделенных нами в наших рисуночных тестах.

Для иллюстрации такой возможности приведем еще один пример другого эмпирического исследования — с использованием известного за рубежом графического прожективного теста «дом — дерево — челог век» (ДДЧ).

В результате реализации этой процедуры получены весьма устой­чивые данные как по субъективному (по данным самооценок и само_г наблюдения), так и по экспертному критерию валидности (они оказа­лись порядка 0,9).

В практических реализациях лишь десять из ста обследуемых смог­ли по тем или иным причинам либо отрицать правильность характе-

Раздел 3. Методы и приемы анализа

ристики, составленной для них с помощью графических методов, либо утверждать, что пока они еще не замечали за собой указанных осо­бенностей. По результатам дополнительных бесед, однако, они иногда соглашались с тем, что и в своем детстве «имели нечто похожее». При­веденные данные интересны сами по себе, но существенно более важ­но то, что почти всегда независимые эксперты, которые хорошо знали испытуемых, подтверждали наличие качеств, указанных в этих психо­логических характеристиках.

Большой массив данных, насчитывающий тысячи рисунков, зна­чимые коэффициенты корреляции, полученные при сопоставлении количественных показателей графических методов с другими мето­дами, также свидетельствуют о достаточной, по крайней мере для практических целей, эффективности графических диагностических процедур.

Дополнительные данные о надежности и валидности были получе­ны нами в продолжение той же логики перекрестной валидизации при использовании метода контрастных групп, когда в обследовании уча­ствовали специалисты различных профессий: учителя, руководители, программисты, художники, режиссеры, актеры, вокалисты, литерато­ры, инженеры, банковские служащие.

Надежность методов, определяемая в результате повторного обсле­дования, по нашим данным, колеблется от 0,6 до 0,8 при вычислении коэффициентов корреляции в интервалах между обследованиями от одного до трех месяцев и в пределах одного года.

Таким образом, при разработке стандартизированных процедур и вы­боре надлежащих количественных способов обработки данных, вопрос об основных требованиях валидности и надежности психодиагности­ческих методик может быть успешно решен при помощи процедур принятой нами техники перекрестной валидизации данных. Более того, эта техника может служить средством взаимной проверки и уточне­ния не только самих диагностических методов, но также различных психологических моделей психических явлений (в частности, различ­ных моделей личности).

На основании сопоставления результатов, полученных с помощью традиционно применяемой в профориентации ДДО (дифференци­ально-диагностически-опросной методики Е. А. Климова) и данных, полученных с помощью описанных нами графических методик, мы можем сказать, что использование ДДО совместно с графическими методиками существенно обогащает весь процесс профессиональной консультации. Более того, изучение индивидуально-психологических

12*

Часть II. Практическая психодиагностика

предпосылок профессионального самоопределения личности с помощью психодиагностического комплекса с участием графических методов имеет определенные положительные перспективы: позволяет глубже проанализировать особенности индивида и выработать более адекват­ные рекомендации по повышению явности профессионального само­определения как молодежи, так и взрослых.

Оценивая общие перспективы применения комплексных психо­диагностических методов и процедур перекрестной валидизации в практической работе психолога — диагноста и консультанта — мы считаем полезным сказать несколько добрых слов в адрес графи­ческих методов психодиагностики. Графические методы работают с невербальным материалом, и это позволяет существенно расши­рить как возрастной диапазон их применения, так и возможности межкультурного использования. Эти методы оказались интересны­ми для оптантов; они позволили легче установить коммуникатив­ные контакты между сторонами, включенными в диагностический процесс. В силу проективного характера графических процедур их результаты, как показывает наш опыт, менее подвержены контро­лю сознания, а это весьма важный аргумент в пользу их примене­ния. Они оказались простыми и быстрыми в применении, что, во всяком случае, допускает их эффективное использование в качестве методов предварительной экспресс-диагностики.

В рассмотренных нами версиях и вариантах применения перекре­стной валидизации графические диагностические методы работают «через проекцию» на сетку психологических типов личности. Но при этом они дают также некоторую оценку состояния автора рисунка. Такая ситуация позволяет, по крайней мере, в принципе применять графические методы вместе с соответствующими методами стандарт­ных психодиагностических процедур оценки личностных качеств (MMPI, Кэттелл, Айзенк и др.), а также — с методами оценки состо­яний (инструментальные методы, САН, Люшер и т. д.).

Графические методы могут прекрасно работать в сложных психо­диагностических комплексах, имеющих целью создание обобщенно­го, а если нужно — то и конкретизированного — психологического портрета данного индивида с выявлением (и учетом) спектров и теку­щих значений его состояний и его интересов. Последнее, конечно, важ­но не только в диагностических задачах, но и в консультационной ра­боте как в сфере профессионального становления, профессионального самоопределения человека, так и в психологической поддержке инди­вида на его жизненном пути.

Раздел 3 Методы и приемы анализа

Дата добавления: 2015-06-04