Законченыли споры?

7!

поэтому при использовании формул возможен некоторый редукционизм. В целом же, по мнению Клейнмюнца, этот аргумент не валиден. Он использует пример шахматного компьютера, который приспособлен для решения сложных задач.

Прагматическим аргументом в пользу того, чтобы не использовать формулы, является высокая стоимость иссле­дований. Для того, чтобы иметь в своем распоряжении нуж­ные формулы, следует провести большое число предварительных исследований. Всегда существует опреде­ленная степень риска получить неадекватный результат, даже при использовании модели, считающейся валидной. Модели всегда несколько упрощают реальность, они долж­ны быть адаптированы к изменяющейся реальности. Моде­ли всегда «зависимы от контекста», то есх'ь они разрабатывались в определенное время, для определенной популяции и для определенных условий. Однако не стоит преувеличивать эти опасности. В противном случае можно прийти к «reductio ad absurdum»*, если рассматривать каж­дый контекст как новый (то есть как ситуацию, к которой не применимы ранее установленные закономерности). Да-вес и др. (1993) призывает исследователей использовать информацию о контексте при разработке моделей прогноза.

Айнхорн (1986), занимающийся вопросами теории ре­шений, анализирует проблему другим способом. Оба — и статистик и клиницист — должны принять решение. Одна­ко работа над проблемой происходит по-разному. Клини­ческий психолог, рассматривая симптомы как проявление глубинных процессов, выступает с позиций детерминизма. Он пытается воссоздать картину таким образом, чтобы все происходящее в настоящий момент напоминало прошлое или же было почти тождественно ему. Он стремится пол­учить совершенный прогноз. Этот способ рассуждения на­поминает постановку медицинского диагноза, где единицей анализа является болезнь, причину которой и стремится установить врач. На основе этого может быть определена эффективная стратегия лечения. В противоположность это­му статистик допускает существование ошибки и разраба­тывает модель таким образом, чтобы учесть влияние

* «reductio ad absurdum» (лат.) —доведение до абсурда (прим. перев.).

неизбежных случайных ошибок. Следовательно, статистик имплицитно исходит из того, что и мир, и человеческая природа содержит в себе элемент неопределенности, и что возможно лишь частичное познание. Каждая формула — это всего лишь попытка приближения к описанию комплек­сного феномена.

Айнхорн приводит пример, показывающий, что допуще­ние существования ошибки может вести к меньшей ошибке. Из исследований, показывающих, как люди осваивают представление о вероятности, известно, что, сталкиваясь со случайными событиями, они стараются раскрыть систему (понять принцип) и иногда действуют так, как будто эта система действительно существует. Например, если нужно определить, какой шар будет взят из ящика — белый или красный (при условии, что известен их пропорциональный состав — в ящике 40% белых и 60% красных шаров),— можно ориентироваться на то, что красных шаров больше, и при каждой пробе говорить, что будет взят красный шар. Ответ будет правильным в 60% случаев. Но возможна и другая стратегия ответов. Если известно, что соотношение между количеством шаров разных цветов 6:4, то можно попытаться ответить в 60% случаев «красный» и в 40% — «белый». Поскольку событие является случайным, вероят­ность успеха будет 0,60 х 0,60 + 0,40 х 0,40 = 52%. Таким образом, предполагать наличие несуществующей системы хуже, чем не предполагать вообще.

В психологии сосуществуют оба подхода — и клиниче­ский, и статистический. Важно знать, в какой ситуации какое решение следует использовать. Если событие не яв­ляется случайным, то более предпочтительным будет ана­лиз системы. В иных случаях проведение анализа может напоминать стереотипное следование предрассудкам. Сто­ронники клинического подхода склонны предполагать на­личие «системы» в жизни своих клиентов. Статистики допускают существование границ ошибки и пытаются оце­нить размеры этой ошибки. В этой ситуации важно знать, насколько значимыми являются ошибочные допущения в той или иной области. С одной стороны, сказать, что фено­мен случаен, в то время, когда он таковым не является,— это значит потерять возможность для сбора информации. С другой стороны, говорить, что феномен не является отра-

жением некоей системы, что на самом деле не так, значит создавать иллюзию осведомленности и контроля.

Айнхорн приходит к выводу, что эти споры никогда не прекратятся. Будут сохраняться два различных подхода к решению.проблем в психологии, и это является стимулиру­ющим фактором для развития знаний и критических уста­новок в отношении возможностей познания. Вероятно и то, что клинические психологи и пользователи-непрофессио­налы переоценивают число правил для исследования реаль­ных феноменов.

Результаты исследований, свидетельствующие о том, что статистический прогноз более адекватен по сравнению с клиническим, не были встречены с энтузиазмом и не пол­учили немедленного одобрения. Давес и его сторонники столкнулись с критикой используемых ими методик. Иног­да критические замечания касались того, что используемая формула выведена не для данной конкретной популяции или же, наоборот, что формула не отражает популяцию в целом. Всегда можно отыскать выборку, для исследования которой данная формула абсолютно не применима. Замеча­ние представляется совершенно справедливым, но следует отметить, что при этом не предлагается никаких альтерна­тивных вариантов. В данном споре большинство аргументов относятся к тому, что могло бы произойти, а не к тому, что есть на самом деле. Давес и его коллеги знают, что иссле­дования, построенные на использовании формул, подверга­ются критике. Полученные конкретные результаты можно интерпретировать разными способами, но на самом деле редко встречаются альтернативные интерпретации, кото­рые бы подтверждались эмпирическими данными.

Как это ранее отмечал и Миль, Давес и его коллеги объ­ясняют существующее в психологии сопротивление исполь-зованию формул при составлении прогнозов и рекомендаций когнитивными и эмоциональными особенно­стями людей. Отвергаются не формулы сами по себе, а то, что эти формулы нам сообщают. Другое возражение связа­но с тем, что мы многого не знаем о явлениях, которые в жизни считаются важными. Человек может предвзято от­носиться к тому, что коэффициент корреляции прогноза с реальными жизненными событиями (средний возраст вступления в брак, школьные и академические успехи, по-

вторные преступления) в самых лучших линейных моделях находится в пределах от 0,3 до 0,4. Корреляции значимы, но они не слишком высоки и содержат большую долю неоп­ределенности. Подобного рода непредсказуемость может разрушить нашу веру в возможность понимания событий нашей жизни в сколько-нибудь значительной степени. На­конец отмечается и негибкость статистических моделей. Модели не меняются автоматически вслед за изменениями людей и обстоятельств. Но нельзя винить в этом модель как таковую. Необходимо пересматривать модели с учетом об­ратной связи. Для адаптации моделей к новым обстоятель­ствам необходимо проведение эмпирических исследований.

Давес и его коллеги уже отмечали, что люди с трудом принимают результаты прогностических исследований. По мнению многих, более достоверная и адекватная информа­ция о человеке скорее может быть получена при индивиду­альной работе с ним, нежели при оценивании его с помощью самых лучших тестов. Бар-Хиллел и Вагенаар (1993) с удивлением отмечают, насколько плохо люди понимают значение слов «шанс» и возможность. В нашей повседнев­ной жизни мы часто сталкиваемся со случайными событи­ями, такими, например, как пол ребенка при рождении, выигрыш на фондовой бирже. Последнее может быть опи­сано как «модель хаотичного движения». Такую модель можно представить себе, вообразив путь пьяного человека по скверу. Как считают Нисбетт и Росс (1980), приобрете­ние более глубоких знаний по статистике не слишком изме­нит ситуацию. Может возникнуть вопрос: «Можно ли понять, когда событие не является случайным?» Результа­ты некоторых игр и конфликтов непредсказуемы (можно не относиться к этому серьезно, так как результат игр станет •скоро известен). С другой стороны, представляется логич­ным четко знать, что некоторые феномены непредсказуе­мы. Душа бывает подобна ветру, который дует туда, куда он захочет, и пытаться его контролировать бессмысленно. Однако исследователи не отказались от поисков возможных способов прогноза и поисков системы в феноменах. Откры­тие такой системы означает рост знания и иногда (не всегда, но в большинстве случаев) возможность контроля.

Бар-Хиллери Вагенаар (1993) считают, что представле­ние людей о «шансе» отличается от того, как его определяют

в статистике. Имеется в виду, что серия случайных событий не воспринимается людьми как случайность. Эти ошибоч­ные представления становятся чем-то вроде «самодостаточ­ного пророчества». Если ошибочное мнение о случайном феномене существует довольно долго, то оно получит под­тверждение. Например, некорректное утверждение «слиш­ком большая любовь убивает» также получит подтверждение, поскольку ни один человек не бессмертен.

Другой пример. Главный менеджер меняет одного менед­жера за другим. Последний из них должен действовать на абсолютно непредсказуемом рынке. После определенного периода времени дела начинают идти хорошо. Главный ме­неджер доволен собой: он оказался прав, не побоявшись отвергнуть всех предыдущих кандидатов, и его не подвела интуиция в выборе подходящего человека на вакантную должность. Конечно, приводить аргументы задним числом — post hoc* — нетрудно, но это вряд ли оправдано.

Еще один пример. Официант полагает, что молодая, хо­рошо одетая пара заплатит большие чаевые. Он ведет себя очень корректно, демонстрирует свое дружелюбие, и в ито­ге получает весьма приличные чаевые. Post hoc он хвалит себя за свою «деловую» проницательность и знание психо­логии клиентов. Если же его ожидания окажутся ошибоч­ными, то, вполне вероятно, он назовет своих посетителей «снобами». Однако, его представление о собственной пси­хологической проницательности не будет поколеблено. Хо­рошо известно, что все, что свидетельствует в пользу наших гипотез, оказывается для нас более значимым, чем то, что противоречит им.

Как показано в данном разделе, многим клиентам и пси­хологам трудно отказаться от предпочтения клинического типа оценивания. В некоторых случаях, когда нет соответ­ствующей статистической модели, действительно сущест­вует необходимость в вынесении клинического суждения. Однако во многих случаях статистическая информация о вероятности и случайных феноменах не воспринимается корректно из-за влияния когнитивных и эмоциональных факторов. Ради сохранения привычных, но статистически ложных представлений люди даже готовы видеть их под­тверждение в любых эмпирических данных.

* post hoc (лат.) — после этого (прим.перев.) ■

Преимущества и недостатки клинического и статистиче­ского типов прогнозов интенсивно обсуждались в пятидеся­тые и шестидесятые годы. Поэтому участники дискуссии сочли возможным рассматривать 1986 год как своеобраз­ную юбилейную дату. За исключением Сарбина, главные участники этой дискуссии не изменили своих позиций. В результате обсуждений появилась новая область исследова­ний — моделирование клинического заключения (judgment), целью которой является описание и объяснение этой важной деятельности клинического психолога, а так­же пользователей-непрофессионалов.

В спорах о преимуществах того или иного типов прогноза победа оказалась на стороне статистического прогноза. Ес­ли люди предпочитают клиническое оценивание использо­ванию формул, что предполагает нарушение правил в отношении учета ошибок, вероятности событий и случай­ностей, то этот способ рассуждений может быть назван «не­рациональным» или «неоптимальным». Казалось бы, вопрос очерчен достаточно полно и как будто бы урегули­рован. Исчезла ли эта дискуссия из научной повестки дня? Витгенштейн (1958) считает, что вопросы вообще не могут иметь ответов, а проблемы — решений, они просто исчеза­ют на какое-то время и впоследствии появляются вновь. Случится ли что-либо подобное со спором о разных типах прогнозов?

Психиатр Кирмайер (1994) попытался показать отличие ситуации клинического прогноза от ситуации статистиче­ского прогноза. Он проанализировал свои собственные ме­дицинские, психиатрические и психосоматические диагнозы. В клинической ситуации присутствуют двое — клиент с волнующей его проблемой и эксперт. Этот эксперт не может поставить правильный и полный диагноз в каждом случае психологической или психосоматической жалобы. Хотя все руководства по медицине и призывают нас верить в то, что всем пациентам может быть поставлен правильный диагноз, de facto это может оказаться не так, несмотря на все знания, все статистически определенные нормы и фор­мулы решений. Такие руководства содержат описания абс­трактных, идеализированных случаев. Однако в реальной жизни существуют конкретные и трудные для работы слу-

чаи, для которых невозможна постановка точного (полно­го) диагноза. Иногда может быть и так, что диагноз очеви­ден, но лечение, адекватное для данного случая, не оказывает должного воздействия на клиента.

Более того, существуют вполне определенные ограниче­ния в постановке конкретного диагноза: врач (в медицине) или психолог не могут проверить все и каждую в отдельно­сти возможность. Для этого просто не хватит времени. Кро­ме этой практической проблемы, существуют вопросы и принципиального характера. Кирмаейр отмечает, что вза­имодействие клиента и эксперта носит особый характер. Оно отлично от взаимодействия в обычной ситуации и со­относимо с научным взаимодействием. Клиническая ситу­ация не тождественна экспериментальным условиям в биологии или психологии. Указанные подходы не являются ни взаимодополняющими, ни взаимоисключающими. По мнению Кирмайера, нужно считаться с тем, что существует область точных знаний и наряду с ней область знания более или менее неопределенного и неточного. Образуемое этими областями пространство используется для постановки диаг­ноза, поскольку оно позволяет эксперту интерпретировать проблему в процессе взаимодействия с клиентом и тем са­мым находить то, что de facto там содержится. Достаточно «независимый» пациент нередко вносит свой вклад в поста­новку диагноза. Клиент, кроме того, рассматривает себя как часть проблемы, и Кирмайер замечает по этому поводу (1994, стр. 191): «Уникальный характер клинических встреч ограничивает возможность использования какой-либо эпистемологии, исходящей из любого научного кон­текста,— будь то контекст экспериментальных наук (таких как биология и психология) или описательных наук (как, например, эпистемология). Здесь необходима особая — клиническая — эпистемология». Его вывод понятен: кли­ническая интерпретация, клинический прогноз (можно для этого придумать и другие названия) нуждаются в своей собственной эпистемологии. Кирмаейр приводит пример осуществления такого рода «клинической эпистемологии» в случае психосоматического расстройства пациента. Он использует различные источники информации — такие, как наблюдение симптомов, анализ общих и специфиче­ских форм поведения клиента до заболевания, психологи-

ческие показатели и психологические предпосылки. Эта информация используется для установления возможной ор­ганической патологии, для исключения обмана или хитро­сти. В описываемом им конкретном случае многие эксперты пришли к выводу, что пациент симулирует. Однако паци­ент был доставлен в хирургический кабинет и получил большую дозу сильнодействующих лекарств. В итоге на основе всех имеющихся данных было диагностировано со­матическое заболевание.

Диагностическая схема, таким образом, предполагает использование как знаний из области экспериментальных и описательных (корреляционных) наук, так и анализ мо­тивов и возможных интерпретаций. Некоторые психологи и психиатры допускают даже существование бессознатель­ной мотивации. Допущение интерпретаций, мотивов и не­полного (незавершенного) диагноза оставляет значительное место для анализа биографических данных клиента, таких характеристик, как социальное происхож­дение, культурный уровень. Неправильно думать, что мо­тивы ни с чем не связаны и в этом смысле произвольны. Кирмайер (стр. 195) утверждает, что «... имплицитная или "житейская" психология оказывает значительное влияние на оценивание клиницистом того, являются ли симптомы сознательно мотивированными или же они бессознательны, находятся ли они под произвольным контролем».

Диагностика психологических и психосоматических проблем почти всегда носит неопределенный характер. Экс­периментальный контроль и воспроизведение возможны в ограниченном числе случаев, а нормы выборки подходят лишь частично. Клиент и эксперт в процессе взаимодейст­вия должны прийти к достаточно глубокому пониманию психологических и психосоматических проблем. Сущест­вует область (вне «сильных» и «строгих» медицинских, пси­хологических и биологических данных), где подобные интерпретации допустимы. Кирмайер указывает на тот факт, что различные типы знаний не должны смешиваться, что факты и их интерпретация — это не одно и то же. В слабых местах психолог-клиницист может легко придать некоторый риторический пафос своей интерпретации, об­ращаясь к расхожей фразе, что «результаты научных исс­ледований показали, что...».

В этом разделе показа ею, что дискуссия о преимуществах клинического и статистического подходов еще не законче­на. Кирмайер считает, что существуют ситуации, когда следует использовать именно клиническую интерпрета­цию. Согласно этому автору, существует особая эпистемо­логия, применимая к получению клинического вывода и взаимодействию между экспертом и клиентом. Так что кли­нический прогноз образует область «sui generis»*. Это, ко­нечно, оспаривается психиатрами, по мнению которых, необходимость таких интерпретаций и «символизации» ис­чезнет, когда будет получено больше информации о работе нашего мозга и гормонов.

ТРИНАДЦАТЬ ИТОГОВЫХ ТЕЗИСОВ

1. В психологии можно видеть три связанных между со­бой исторических дискуссии. Это обсуждение преимуществ клинического или статистического типов прогнозов; проти­воположность способов характеристики человека с по­мощью объективных тестов и при непосредственном взаимодействии с экспертом; разные типы (способы) опи­сания — идеографический и номотетический.

2. Начало реальной дискуссии положила работа Миля (1954). И, хотя споры еще не завершены, их содержание несколько изменилось, а различия в подходах обозначились более четко.

3. Различия между описаниями и объяснениями на осно­ве результатов тестирования в противоположность непос­редственному наблюдению и взаимодействию с человеком отсылают нас к вопросам: что является отправной теорети­ческой базой, что есть редукционизм, а что считается ва­лидным методом и процедурой исследования?

4. Резкое противопоставление различий номотетическо-го и идеографического способов описания и объяснения не­правомерно и приводит к путанице, поскольку проведение номотетического исследования возможно и в индивидуаль­ном варианте. Объектом идеографического исследования является конкретный индивид. Исследования этого типа не нацелены на выявление общих закономерностей. Совре­менные эпистемологи считают резкое противопоставление различий идеографического и номотетического описаний

* sui generis (лат.) — особого рода, своеобразный (прим. переп.).

несостоятельным. Нельзя сказать, что индивид не подчиня­ется никаким законам вообще, но в то же время нет такого закона, который был бы приложим ко всем потенциально возможным ситуациям.

5. Противопоставление номотетического и идеографиче­ского подходов оказало меньшее влияние, чем противопо­ставление клинического и статистического типов прогноза.

6. Изначально различие между клиническим и статисти­ческим прогнозами состояло в разнице способов интеграции данных. Позже обозначились различия в типах используе­мой информации, то есть сторонники прогноза статистиче­ского типа использовали данные психометрических тестов, в то время как клиницисты полагались на собственные впе­чатления и данные интервьюирования.

7. Сарбин обозначил различие между статистическим и клиническим способами интеграции информации. В прак­тическом отношении существует очевидное различие меж­ду двумя прогнозами, что убедительно показал Миль.

8. Различие между клиническим и статистическим под­ходами оценивается по-разному: как весьма незначитель­ная проблема, тривиальная проблема или даже несуществующая проблема. На наш взгляд, это серьезный вопрос.

9. В данной полемике победа — на стороне статистиче­ского подхода, клинический прогноз считается потерпев­шим поражение. Статистический прогноз содержит меньше ошибочных утвердительных предсказаний и меньше оши­бочных отрицательных предсказаний. Но в особых услови­ях клинический прогноз может оказаться более адекватным. Это не означает, что всегда следует опираться на статистический прогноз. Общество, вероятно, никогда не согласится с тем, чтобы, например, решение о возмож­ном освобождении преступника принималось согласно ка­кой-либо формуле.

10. Позитивным результатом полемики между сторонни­ками статистического типа прогноза и сторонниками кли­нического прогноза явилось возникновение интереса к тому, каков процесс получения клинического вывода.

11. Сопротивление принятию статистического подхода объясняется тем, что он недостаточно хорошо известен, а также тем, что в какой-то мере задевает Я-концепцию и

идентичность клинициста. Определенное влияние может также оказывать преданность клиницистов любимым тео­риям.

12. Сопротивление принятию результатов статистиче­ской модели внутри и вне круга психологов иногда объяс­няется распространенностью неправильного понимания случайности и склонностью к «самоосуществляющимся пророчествам».

13. Содержание этих споров можно представить как по­следовательность следующих шагов.

• Обнаружение противоречия.

• Противоречие получает название, обозначаются пози­ции.

• Обсуждается весомость аргументов.

• Иногда возможны попытки «примирения».

• Попытки одержать победу. Аргументы сторон различны, используются даже аргументы типа «argument ad homines»*.

• Новые участники дискуссии выбирают ту или другую сто­рону.

• То обстоятельство, что аргументы не убеждают противо­положную сторону, объясняют психологическими особен­ностями оппонентов.

Аргументы имеют свои периоды подъема и спада. Споры эти, очевидно,бесконечны.

argumenlum ad hominem — аргумент к человеку (лат.). Выражение от­носится к доводам, воздействующим на чувства собеседника в противо­положность объективным аргументам (прим. перев.).

Глава 3

Представление о надежности и валидности в обыденном сознании и в психодиагностике

В первой главе показано, что возможно рассмотрение трех уровней психодиагностики:

1) Уровень житейских представлений: психологические по­нятия имеют некоторое содержательное наполнение и в повседневной жизни, т.е. на уровне обыденного сознания;

2) Концептуальный и таксономический уровень: этот уро­вень представлен психологическими теориями о поведе­нии, мышлении, эмоциях;

3) Математический уровень: этот уровень представлен раз­личными моделями ответов на задания тестов и методи­ками анализа данных. Существует множество различных психологический теорий и концепций. К сожалению, не всегда можно подобрать для них адекватные статистиче­ские методы обработки данных, а с другой стороны, уро­вень математического моделирования не часто соответст­вует определенным концепциям и конструктам. Некоторые понятия не имеют вполне четкого значения, что затрудняет разработку для них математических мо­делей.

Последовательность трех уровней представляет собой описание психодиагностики «снизу вверх». В идеальном варианте эти три уровня согласуются между собой, причем сведения одного уровня к другому не происходит. Напри­мер, математический уровень психометрической модели соответствует теоретически ожидаемой модели поведения (или когнитивной характеристики). Информация, пол­ученная в результате эмпирических исследований, и мате­матическое моделирование на основе теорий и концепций обогащают житейские представления о характеристиках поведения, познания и т.д. В попытке достигнуть этого мы без особой необходимости не подчеркиваем различия меж­ду теоретическими конструктами и математическими мо­делями, а описания конструктов на уровне здравого смысла не всегда отбрасываем как наивные, ненаучные, ошибоч-

ные или необоснованные. Житейские представления о по­ведении человека достаточно хаотичны, но они-то и постав­ляют материал для научной психологии. В качестве примера понятия, в котором можно выделить три уровня, можно привести концепцию атома. Представления об атоме упоминались уже Демокритом, понятие атома существова­ло на уровне житейских представлений, а затем получило теоретическое обоснование и соответствующую математи­ческую модель.

Взаимодействие между уровнями никогда не бывает аб­солютно успешным, поскольку каждый уровень имеет свою собственную логику развития. Развитие математического моделирования происходит слишком быстро по сравнению с изменениями житейских представлений, а иногда даже по сравнению с динамикой деятельности практического пси­ходиагноста. Это и обусловливает различия в деятельности практических психологов и разработчиков математических методов в психологии. Кроме того, уровень знаний пользо­вателей-непрофессионалов и практических психодиагно­стов также различен, поскольку они ориентируются на разные вещи при тестировании и прогнозировании. На наш взгляд, взаимодействие мех<ду уровнями должно рассмат­риваться как полезное и разумное. Ни один из уровней не может существовать сам по себе, ни один из них не сводим к другому, в то время как их сопоставление представляется продуктивным для понимания поведения человека.

Помимо выделения трехуровневой структуры, возмож­но также рассмотрение психодиагностики как системы, со­стоящей из четырех компонентов. Компоненты и уровни нередко взаимодействуют. Концепции надежности и валид-ности, являющиеся главным предметом данной главы, мо­гут быть рассмотрены с точки зрения трех уровней и четырех компонентов. В обыденном сознании надежность и валидность имеют много различных значений, также как и в некоторых научных дисциплинах (например, в эпистемо­логии). В психологии требования надежности и валидности предъявляются как к теоретическим конструктам, так и к тестам и процедурам; точно так же его можно отнести и к проведению диагностического обследования. Остановимся подробнее на характеристике житейских представлений о надежности и валидности, на описании соответствующих психологических концепций.

Понятие надежности широко используется в повседнев­ной жизни, но оно существует также и как психологическое понятие, имеет оно и свое математическое определение. В классической и в современной теории тестов акцент сделан на математическом (статистическом) определении. Это оп­ределение представлено в главе 1. В данной же главе мы приведем описание житейских представлений о надежно­сти и валидности, рассмотрим некоторые философские оп­ределения, имеющие определенное влияние в психологии, и изложим содержание психологических концепций валид­ности и надежности. Понятие надежности тесно связано с понятием надежности теста или опросника (а часто им и ограничивается).

Понятие валидности присутствует в обыденном сознании не так широко, как понятие надежности. Тем не менее существует некоторое представление о валидности утверж­дений. В психологии понятие валидности имеет различные значения, на которые оказывают влияние как представле­ния здравого смысла, так и данные эпистемологии, как пси­хологические теории и конструкты, так и развитие математических моделей и различных техник анализа дан­ных. Значение понятия валидности меняется в связи с раз­витием представлений на всех трех уровнях и в эпистемологии. Валидность — понятие многостороннее.

3.1. Надежность

Слово «надежность» часто используется в повседневной речи. Например, можно говорить о человеке как о надежном или ненадежном. В психодиагностике понятие «надеж­ность» относится в большинстве случаев к характеристике тестов, процедур и способов оценивания. Более того, суще­ствует теория тестов, которая определяет надежность теста в соответствии с определенными правилами и основывается на представлении о характеристиках тестовых показате­лей. Существуют эмпирические процедуры оценки надеж­ности тестов (это рассматривалось в главе 1). Уровни не являются абсолютно независимыми.

3.1.1. Житейские представления о надежности

В повседневной жизни мы характеризуем человека как надежного или ненадежного. В основе этого лежит наше

представление о том, можем или не можем мы доверять этому человеку, честен он или нет. Термин «надежность» используется также и при оценке качества информации. Это понятие может также использоваться и при характери­стике презервативов или при оценке долговечности снеж­ного покрова в начале зимы. Надежность представляет интерес для психологов как характеристика человека. Еще в 1928 г. Хартшорн и Мэй попытались оценить индивиду­альные различия людей по характеристике «надежность». По обшему мнению, успех не сопутствовал исследователям при измерении этой характеристики, т.к. она оказалась слишком зависимой от ситуации. Однако в одной из интер­претаций данного исследования эта характеристика была названа стабильной, а нестабильность результатов была приписана низкому методическому уровню сбора и обра­ботки данных (Rushton, Brainerd, Pressley, 1983).

Многие люди рассматривают надежность как важную характеристику. В одном исследовании, проведенном гол­ландскими психологами, 600 родителям предлагалось пере­числить характеристики, которые они считают важными для своих детей. Как показало это исследование, наиболее часто называются следующие качества: честность, справед­ливость, независимость, открытость и ответственность (Van Voorst tot Voorst-Alting van Geusau, 1984).

Долгое время предметом исследований психологов были прилагательные, описывающие личностные характеристи­ки. С помощью эксплоративного факторного анализа, обычно по методу варимакс-вращения, следуя традиции простой структуры по Терстоуну, выделялись и интерпре­тировались отдельные факторы. Существует разделяемое многими исследователями положение о том, что прилага­тельные, описывающие личностные характеристики, могут быть представлены пятифакторной моделью (см. также гл. 5). Эта модель была создана в результате анализа всех прилагательных, с помощью которых можно описать чело­века. Третий фактор из этой модели — «добросовестность» (ответственность) — в какой-то степени напоминает то, что называется надежностью. Приведем список прилага­тельных, представляющих полярные, т.е. наиболее пози­тивные и, соответственно, самые негативные, характеристики по этому фактору, организованный, спо-

собный к планированию, эффективный, ответственный, надежный, добросовестный, с одной стороны, и беззабот­ный, хаотический, беспорядочный, легкомысленный, без­ответственный, неряшливый, непредсказуемый, забывчивый, с другой.

В США в прикладной психологии управления использу­ются так называемые «тесты честности» («integrity tests»). И, хотя характеристики этих тестов не бесспорны, они до­статочно хорошо предсказывают соответствующий крите­рий. Этот критерий содержит преимущественно описание таких личностных характеристик и типов поведения, как безответственность, бездеятельность, проблемы с дисцип­линой, возможные нарушения правил во время работы, медлительность и частое отсутствие на рабочем месте. В тесте существуют задания, направленные на выявление та­ких позитивных характеристик, как добросовестность, уп­равляемость, надежность, и задания, выявляющие такие негативные типы поведения, как стремление к сенсациям, ссоры с авторитетными лицами, враждебность (Sackett, 1994). Американские работодатели выбрали из 86 предло­женных характеристик, описывающих подчиненных, те, которые они считают наиболее важными: некоррумпиро­ванное™, целостность натуры, добросовестность. Когни­тивные способности занимают в этом списке шестое место (Ones, Viswesvaran & Schmidt, 1993).

Подведем некоторые итоги. В этом разделе речь шла о том, что понятие «надежность» часто используется в по­вседневном общении для описания качеств того или иного человека. Надежность является очень важной характери­стикой человека, как по мнению родителей, так и по мне­нию работодателей. Характеризуя человека как надежного, мы имеем в виду, что он не действует непредсказуемым образом от случая к случаю. Этот же смысл вкладывается в понятие надежности" в психологии.

3.1.2. Понятие надежности в психодиагностике

Надежность является важным понятием научной психо­логии. Концептуальная схема и практические процедуры оценки надежности используются и в других научных дис­циплинах. В прекрасных обзорах методов оценивания в педагогике под редакцией Американского Совета по обра-

зованию всегда отводится место для главы о концептуаль­ных и методических аспектах надежности. Стенли (1971) считает, что о надежности проще говорить на языке фор­мул. Но, отмечает он, внимание должно также уделяться и «логическим и эмпирическим аспектам» (стр. 359). «Логи­ческий аспект» в терминологии Стенли близок тому, что в данной работе мы называем концептуальным аспектом.

Исходное предположение концепции надежности состо­ит в том, что при оценивании различных феноменов (био­логических, физиологических, психологических) неизбежны ошибки измерения. При повторном измерении никогда не будут получены те же баллы или та же сумма баллов, что и в первом измерении. Под надежностью в пси­ходиагностике понимается повторяемость результатов из­мерения (Runkel & McGrath, 1972; Nunnally & Bernstein, 1994) или согласованность результатов измерения (Feldt & Brennan, 1989, Stanley, 1971).Таким образом, понятие «на­дежность» показывает степень свободы результатов тести­рования от ошибок измерения, а также степень согласованности и повторяемости полученных результатов. Об ошибках в повседневной жизни говорят в тех случаях, когда человек мог избежать неудачи или исправить сделан­ное. «Errare humanum est»*, в то же время мы говорим: «Я больше никогда не допущу подобной ошибки».

Понятие «случайной ошибки» в математической модели также является частью этой модели. В этом смысле ошибки могут считаться неизбежными. Совсем не просто описать случайные ошибки. Можно попытаться рассматривать их как характеристику самого процесса оценивания или, что также возможно, как нечто свойственное самому исследу­емому феномену. Речь не идет о постоянной или система­тической ошибках, которые можно контролировать в процессе психологического оценивания и которых можно избежать путем стандартизации. Понятие случайной ошиб­ки плохо улавливается на интуитивном уровне, а термин «надежный» иногда соотносится с понятием валидности. Как было показано в гл. 2, случайность и случайные собы­тия не слишком легки для понимания. Люди усматривают закономерности в случайном наборе чисел и сами они не * Errare humanum est (лат.) — Человеку евойственно ошибаться (прим. перев.)

способны создать такой набор. Всегда соблазнительно ви­деть структуру или какой-либо план в случайных феноме­нах. В этом смысле случайные ошибки противоречат интуитивным представлениям.

Кроме того, в обыденном языке понятия надежности и валидности иногда отождествляются. Например, прогноз погоды называется надежным в том случае, если он соот­ветствует реальным событиям, а не тогда, когда различные радиовещательные компании дают одинаковую информа­цию. Лекарство считается надежным тогда, когда оно дает желаемый эффект, но не когда различные специалисты вы­писывают одно и то же лекарство в сходных случаях.

Любое руководство по теории тестов перечисляет множе­ство возможных источников случайных ошибок. В качестве таких источников могут быть названы: сам человек, коле­бания внимания и работоспособности, забывчивость, легко­мысленное отношение, импульсивность. Второй источник — это среда. Окружение различается объективно и субъек­тивно. Оно по-разному влияет на субъекта, работающего с тестом. Наконец, и сами методики, и процедуры, и даже сами исследователи могут быть источниками ошибок. В той мере, в какой можно учесть или устранить эти факторы, они не являются источниками «ненадежности» теста, но всегда остаются иные, неконтролируемые, ошибки. Существует ряд практических процедур, определяющих случайные ошибки. Теория «обобщаемости» («generalizability theory») Кронбаха, Глезера, Нанды и Раджаратнама (1972) наряду с другими может рассматриваться как система, упорядочи­вающая источники ошибок. Эта теория определяет различ­ные коэффициенты надежности применительно к той конкретной области заданий, показатели которой психолог хочет обобщить: например, относительно заданий (внут­ренняя согласованность), относительно времени (стабиль­ность), относительно оценок разных экспертов (согласие между теми, кто производит оценивание). Дисперсионный анализ применяется для оценки всех источников (см., на­пример, Van der Kamp, 1976, De Gruvter & Van der Kamp, 1991).

Надо признать, что психологам, математикам и методо­логам не так легко представить себе, что же такое случай­ная ошибка «на самом деле». Но, может быть, к этому и не

следует стремиться. В математических моделях трудностей с понятием случайной ошибки не возникает, а практиче­ская ценность этого понятия доказана (личное сообщение Сниджерса, Амстердам, 20 декабря, 1994).

Исторически сложилось так, что надежность измери­тельного инструмента или процедуры измерения определя­ется с помощью двух конкретных показателей: ошибки измерения и коэффициента надежности. Первый отражает расхождение тестовых баллов, получаемых у одного чело­века. Если величина этого расхождения мала, то измерение может быть признано надежным. Стандартная ошибка рас­сматривается как стандартное отклонение в процессе боль­шого числа измерений на одном и том же человеке. Практически это недостижимо, так как невозможно много раз предлагать работу с одним и тем же тестом одному и тому же человеку. Выходом из этой ситуации стало введе­ние коэффициента надежности. Коэффициент надежности является выражением двух отношений: постоянства — не­постоянства и стабильности — нестабильности. Существу­ет несколько коэффициентов, описание которых можно встретить в любом руководстве по использованию тестов. В 1937 году Кьюдер и Ричардсон составили список этих коэф­фициентов. Хорошо известны предложенные ими KR-20 и KR-21.

Разработка первого коэффициента надежности припи­сывается Спирмену (1904). Если невозможно подвергнуть одинаковым тестовым испытаниям одного и того лее чело­века и не существует его двойника (ведь можно же подумать о монозиготных близнецах!), то, очевидно, нужно проявить некоторую изобретательность, чтобы создать «копию» это­го человека. Оригинальное решение Спирмена заключа­лось в том, чтобы сконструировать неких искусственных «двойников для разных целей», по выражению Уиттманна (1988, стр. 513). То же было сделано Фишером, отцом дис­персионного анализа. Он тоже создавал искусственных двойников, используя их в разных целых. Результаты ис­пытуемых внутри клеток матрицы двумерного распределе-ния представляют собой результаты «двойников», выбранных для оценки дисперсии ошибки. Это, конечно, не реальные, а статистически сконструированные двойники. Задания в тесте Спирмена — это «теоретические» двойни-

ки, потому что они представляют случайную выборку в одной из областей вопросов теста. Это было одной из причин определения надежности для параллельных тестов Гуллик-сена (1950). Блестящая идея Спирмена позволяет опреде­лить надежность в виде формулы: 1 минус отношение дисперсии ошибки к общей дисперсии (см. гл. 1).

У одного и того же теста могут быть различные коэффи­циенты надежности. Однако изначально нужно знать, ка­кой тип надежности подходит для тех или иных практических и исследовательских целей. Например, что является наиболее приемлемым — согласие ли между экс­пертами, между разными измерениями, между разными заданиями одного и того же теста или двумя частями одного теста. Пользователь тестов должен выбрать коэффициент, наиболее соответствующий его целям. Обратившись к спра­вочникам, можно определить, имеется необходимый коэф­фициент надежности или нет.

Понятие «надежность» используется для характеристи-.-ки тестов, методик и процедур оценивания. Под «надежно­стью» понимается повторяемость и согласованность результатов Тестирования. Концепция надежности предпо­лагает также оценку неизбежных случайных ошибок. Счи­тается, что расхождение между результатами тестирования в отношении какой-либо характеристики основывается на реально существующих, стабильных различиях между людьми. Допускается, что истинные результаты человека стабильны во времени. В основе лежит допущение, что од­нажды полученные показатели не изменяются (Feldt & Brennan, 1989, Wittmann, 1988, Nunnally & Bernstein, 1994). Это предположение присутствует в известных руко­водствах по теории тестов (Gulliksen, 1950). Следователь­но, можно говорить об «истинных» баллах (истинных в платоновском смысле, т.е. подлинных, идеальных сущно­стей), в соответствии с которыми все изменения во времени являются только «видимостью». В настоящее время иссле­дователи уже не делают предположений о существовании неизменных истинных показателей, но требование надеж­ности тестовых показателей остается, поскольку истинные или надежные показатели рассматриваются как предпола­гаемая оценка многих независимых повторных процедур тестирования. Однако эти истинные или надежные баллы могут изменяться с течением времени.

Понятие надежности в психодиагностике специально разработано для характеристики тестов и других методик. Теоретическая основа заимствована из теории тестов. Но применительно к психодиагностическому процессу кон­цепция надежности обычно не рассматривалась. В каком смысле психодиагностический процесс может быть назван надежным и как можно оценить надежность процесса оце­нивания? Прямого ответа на этот вопрос не существует.

В первой главе приведено описание измерения случай­ной ошибки. Учет случайной ошибки позволяет обеспечить интервалы надежности для полученных баллов. Психоди­агност предпочитает иметь дело не с точечным оценивани­ем, а с интервальным, при котором существует 95-процентная вероятность того, что будут получены ис­тинные показатели человека. Кстати, синоптики, делая прогноз погоды, поступают примерно так же.

Невозможно не видеть ценность понятия случайной ошибки. Эти ошибки можно оценить с помощью некоторых искусственных конструктов («двойников» Спирмена). Од­нако они остаются чуждыми нашему интуитивному пони­манию. Представление о надежности на уровне здравого смысла иногда имеет сходство с психологической концеп­цией валидности. Отметим, что представляется достаточно соблазнительным рассматривать полученные результаты как стабильные. Однако такого условия нет в современной теории тестов. Классическое понятие параллельного теста базируется на скрытом допущении, что вещи никогда не меняются (см. также Wittmann, 1988). Следствием этого является то, что в теории отсутствуют средства понятийно­го описания и процедуры измерения феномена динамики и изменений. Слишком просто сказать, подобно Платону, что все изменения — это только «видимость» и что «ничто не ново под луной». Наннелли и Бернштейн (1994) с некото­рым сожалением приводят этот вывод в своем собственном руководстве, но это не больше и не меньше, чем следствие из классической теории тестов.

Подведем некоторые итоги. Концепция надежности яв­ляется важной и сложной. В руководствах по проведению психологичесого оценивания приводится описание различ­ных коэффициентов надежности. Их вычисление основано преимущественно на классической теории тестов. Концеп-

ция надежности развивалась внутри психологии, но она используется и в рамках других наук. Можно встретить замечания, что в психологии слишком много внимания уде­ляется ошибкам, потому что сами психологические концеп­ции содержат слишком много ошибок. Однако Наннелли и Бернштейн (1994) замечают, что проблемы коррекции ошибочного оценивания не чужды медицинским и естест­венным наукам. Так, например, при измерении давления может быть зафиксировано некоторое непостоянство, как и при измерении психологических характеристик (Lenders, 1988).

3.1.3. Проблема согласованности трех уровней психодиагностики при определении надежности

В предыдущем разделе описывались житейские пред­ставления о надежности и психологические концепции на­дежности, обсуждались различия между ними. Житейские представления о надежности можно углубить и дополнить положениями научной психологии о существовании слу­чайных ошибок, согласованности и повторяемости. Также возможна и обратная ситуация, когда представления из житейской психологии дадут толчок для разработки содер­жания понятия надежности.

Отношение между математическим определением на­дежности и содержанием психологических теорий нельзя назвать простыми и ровными. Леви (1974, стр. 21) крити­ковал классическую теорию тестов, отмечая, что «...теория тестов сильна своим практическим применением, но ее от­ношение к другим психологическим теориям сомнительно, неясно». Уиттманн (1988) делает замечание сходного ха­рактера, а Вуд (1989) считает, что то же самое может быть высказано и по адресу современной теории анализа ответов на задания теста (IRT).

Конечно, психометрики выдвигают аргументы в свою защиту, отмечая при этом недостатки содержания самих психологических теорий и говоря о том, что исследователи не понимают теории тестов. Например, Мелленберг (1980) приводит в качестве примера исследование клинических психологов, которые оценивают «адаптацию», рассматри­вая различия между показателями, полученными при ха­рактеристике «образа-Я» и характеристике «идеального

Дата добавления: 2015-06-04