Точность психодиагностического метода

Вдифференциальной психометрике числовые значения (ранги, катего­риальные шкальные значения) приписываютсяне стимулам, аиндиви­дам. Дифференциальная психометрика имеет дело синдивидуальными различиямимежду людьми вкачественном иколичественном составе психических свойств, какими являются способности,отдельные когни­тивные функции (память,внимание и т. п.), мотивы,поведенческие чер­ты, установки, оценки исамооценки, способыпсихического самосохра­нения(психической защиты) ит. п.

Дифференциальная психометрика

Термин «дифференциальная психометрика» в данной книге обозна­чает науку о дифференциально-психологических измерениях. Диф­ференциальную психометрику принято отличать от «общей психо­метрики». Общая психометрика имеет дело с задачами измерения психологических характеристик стимула, в частности моделирует об­щепсихологические (справедливые для всех людей) функциональные зависимости между свойствами стимулов и свойствами субъективных реакций. В психофизике речь идет об установлении соответствий меж­ду физическими характеристиками стимулов и субъективными харак­теристиками ощущений (сенсорная психофизика), в социально-психо­логических измерениях устанавливается соответствие между рядами социальных объектов (например, разные виды рекламируемых това­ров) и определенными психическими реакциями (например, на кон­тинууме от «очень нравится» до «очень не нравится» и т. п.).

Раздел 3. Теоретические проблемы диагностических методов 79

По отношению к психодиагностике и дифференциальной психоло­гии психометрика выступает в статусе технолого-методической дисцип­лины: она обосновывает требования, которым должны удовлетворять измерительные психодиагностические методы, обосновывает процеду­ры их разработки и применения.

Основываясь на введенном выше основании классификации, совре­менные методы психодиагностики условно можно разделить на две категории:

1) стандартизованные измерительные методы (будем называть их в дальнейшем «тесты»);

2) экспертные, или методы понимания (по традиции они часто фи­гурируют под названием «клинических» методов).

К первым относятся объективные тесты и стандартизованный самоотчет, ко вторым — проективные и диалоговые методы. В ос­нове стандартизованных методов лежит соблюдение достаточно строгих и сформулированных в явной форме правил. Эта методы обеспечивают диагноз (и на его основе прогноз) лишь с вероятностной точностью. Диагноз оказывается более надежным по отношению к группе испыту­емых, чем по отношению к отдельному испытуемому.

Экспертные методы в большей степени основаны на профессио­нальном опыте, психологической интуиции самого психодиагноста. Они оказываются незаменимыми везде, где не разработаны (или не­известны стандартизованные процедуры). Экспертные методы часто оказываются более эффективными по отношению:

* к психическим явлениям, плохо поддающимся объективации (субъективные переживания, личностные смыслы, глубинные слои опыта);

» к чрезвычайно изменчивым явлениям, для которых трудно создать фиксированную операциональную модель (динамика целей, со­стояний, настроений, многоплановых отношений в группе).

Если их применяет эксперт высокой квалификации, они оказывают­ся более надежным средством в случае индивидуальной диагностики,

Часть I. Психодиагностика — теоретико-методологические аспекты

кроме того, не следует забывать, что глубокий экспертный анализ — не­обходимый первичный этап в разработке всякой стандартизованной процедуры. По мере стандартизации экспертные методики также под­лежат количественному обоснованию.

Достоинства измерительных методов — объективный характер процедуры, возможность перепроверки — обеспечиваются не автома­тически, а благодаря выполнению психометрических требований -требований репрезентативности, надежности, валидности (включая достоверность), краткие определения: репрезентативность — соответ­ствие тестовых норм выборки стандартизации тестовым нормам той по­пуляции, на которой применяется тест; надежность — точность и устой­чивость процедуры измерения, ее независимость от варьирующих случайных факторов; валидность — соответствие методики измеряе­мому концепту.

Если эти требования не выполнены, то использование тестов ни­чуть не менее произвольная процедура, чем стихийное «вчувствова-ние» эксперта в испытуемого. Более того, в этом случае результат ока­зывается в нелепой зависимости от комплекса случайных и побочных обстоятельств. Психодиагност в своем отношении к тесту уподобля­ется фаталисту, склонному уповать на жребий и выразившееся в нем «провидение» (в отсутствие каких-либо разумных доводов в пользу того или иного решения). Опасны не тесты сами по себе, а их исполь­зование без теории и без психометрики, когда стандартная процедура выполняет фактически лишь роль глухого забора, отгораживающего психодиагноста от реального испытуемого. В этом случае тест служит источником иллюзорного впечатления о возможности освобождения психолога от необходимости наблюдения за весьма информативными признаками поведения испытуемого, его манерами, способом работы над заданиями и т. п.

Знание психометрики дает психологу необходимую критичность в по­нимании ограниченности методик, в понимании тех допущений, кото­рые сделаны при разработке той или иной оценочной шкалы теста, опросника, системы задач и т. п.

Специфика психодиагностических процедур по сравнению с обыч­ными физическими измерениями заключается в том, что здесь сама процедура измерения взаимодействует с «объектом» измерения, бо­лее того, рождается в этом взаимодействии, зависит от его характери­стик и «портится», если эти характеристики меняются. В физических измерениях объект в значительных пределах пассивен и не влияет со своей стороны на физический прибор. Человек, напротив, всегда ак-

Раздел 3- Теоретические проблемы диагностических методов

тивен и может применять такую тактику, которую психодиагност при разработке методики вовсе не предусматривал. Диапазон «срабатыва­ния» теста довольно узок и фактически сводится к той популяции, на которой происходила эмпирико-статистическая разработка теста, обес­печивающая его надежность, валидность, репрезентативность тесто­вых норм. Узость этого диапазона можно сравнить со свойствами пру­жинного динамометра из мягкого металла: сколько-нибудь тяжелый груз, выходящий по весу за допустимые пределы, порождает в пружи­не необратимые деформации и нарушает изометричность шкалы.

Для корректного применения теста на новой популяции или в новых целях (от целей зависит установка испытуемых в ситуации тестирова­ния) психолог должен провести серию предварительных психометри­ческих экспериментов, направленных на перепроверку надежности, валидности и репрезентативности теста в новых условиях. Перенесе­ние теста с одной популяции на другую без проверки как минимум однородности распределения тестовых баллов (устойчивости тесто­вых норм) может приводить к серьезным диагностическим ошибкам или к непроизводительным затратам на бесполезную психодиагно­стику. К немалым ошибкам может приводить попытка прогноза по ре­зультатам теста, не проверенного на прогностическую валидность, — в этом случае психолог должен ограничиться лишь текущим диагнозом.

Строгое следование требованиям психометрики особенно необхо­димо при переносе тестов, разработанных за рубежом. В условиях недостаточной разработки отечественных методик многие психоло­ги склонны рассматривать в качестве готовых зарубежные методики, тогда как реальные языковые и социокультурные различия бывают столь сильны, что полная эмпирическая адаптация зарубежной мето­дики по своему объему не уступает разработке оригинальной методи­ки. Это, прежде всего, относится к шкалам ценностных ориентации, к характерологическим опросникам и другим личностным тестам. В настоящем руководстве читатели познакомятся с процедурами, по­зволяющими проверить эмпирическую корректность тестовых диаг­ностических шкал. Для того чтобы убедиться в пригодности того или иного зарубежного теста, психолог должен уметь повторить процеду­ру, с помощью которой конструировался и обосновывался этот тест его авторами. Если при конструировании многомерного теста исполь­зовался факторный анализ, то нельзя считать адаптированным тест, прошедший проверку только на устойчивость тестовых норм, нужно обязательно перепроверить устойчивость самих тестовых шкал (т. е. по­вторить факторный анализ).

82__________ Часть I. Психодиагностика — теоретико-методологические аспекты

В традиционной теории тестов одним из основных критериев каче­ства теста является его надежность. Р. Кэттелл [337] предложил обосно­ванное требование, чтобы одним из основных критериев качества психо­диагностического метода считалась точность, т. е. понятие, которое лучше выражает, что имеется в виду мера безошибочности. Термин «надеж­ность» Кэттелл предлагает употреблять для одного из видов точности.

Понятие точность является интуитивным понятием. Оно выража­ет требование к психодиагностическому методу безошибочно выявлять то, что он выявляет. К точному методу у нас больше доверия, чем к ме­тоду, точность которого не гарантирована или неизвестна. С субъектив­ной точки зрения точность — это степень доверия тому, что полученные результаты представляют реальную величину изучаемой характеристи­ки личности.

Математически точность оценивается степенью соответствия меж­ду двумя (или несколькими) намерениями, осуществленными с помо­щью одного и того же метода. Значит, если мы спустя определенное время применяем метод у тех же испытуемых, то должны получить те же или почти те же результаты.

Точность можно представить и с помощью приблизительного опре­деления, в какой степени полученные результаты близки по своему качеству «истинной» величине изучаемой характеристики. Здесь, однако, есть гносеологически сложная проблема: как определить эту «истинную» величину характеристики, если мы узнаем о ней только посредством величины индикаторов. Можно исходить из предполо­жения, что бесконечное количество повторений измерения элими­нирует ошибку до минимума и приблизит наши измерения к этой «истинной» величине. Определение точности в большой степени влияет на интерпретацию результатов, полученных с помощью ме­тода на практике. Если нам известна точность, которая чаще всего выражена коэффициентом корреляции или в виде отношения оши­бочной и настоящей дисперсии, мы в каждом конкретном исследова­нии можем вычислить, какой приблизительно является ошибка нашего измерения, или в каком интервале надежности находится «настоящая» величина исследуемой характеристики испытуемого. Психолог, при­менявший на практике знания о точности теста перцептивной скоро­сти, не скажет об испытуемом, что он получил 35 баллов, а скажет, что его результат находится в интервале от 31 до 39 баллов с вероят­ностью 99 % (35 + 4).

Раздел 3. Теоретические проблемы диагностических методов _____________83

Р. Кэттелл характеризует точность по отношению ко времени, к за­даниям психодиагностического метода и по отношению к обследуемым:

• точность в отношении времени является выражением того, что метод является независимым от случайных колебаний во време­ни. Имеется в виду надежность в более узком смысле. Она разли­чается на достоверность и на стабильность. Под достоверностью понимаем вероятность совпадения результатов при повторном намерении у одних и тех же испытуемых, когда второе обследо­вание непосредственно следует за первым. Стабильность метода обозначает, что результаты одних и тех же испытуемых не меня­ются даже при повторном обследовании после более длительно­го времени (приблизительно спустя шесть недель — два месяца). Когда мы интерпретируем индексы надежности, которые в этом случае чаще всего определяются на основе подсчета коэффици­ентов корреляции между результатами первого и второго обсле­дования, мы должны учесть возможное колебание исследуемой характеристики личности. Знания, настроения, отношения, уро­вень решения проблем — все эти, как и многие другие, стороны личности могут изменяться под влиянием стимулов развития, учения, актуального функционального состояния и т. п. В таких случаях низкие индексы надежности не является показателем пло­хого качества метода, а говорят о вариативности исследуемой харак­теристики;

* точность в отношении заданий говорит о том, насколько каждое задание (вопрос, задача) метода вносит вклад в изучение данной характеристики. Имеется в виду, что метод настолько хорош, на­сколько качественными являются элементы, из которых он со­стоит, мы различаем две формы, а именно эквивалентность и со­гласованность.

Эквивалентность обозначает, что метод существует в двух или не­скольких вариантах, которые взаимозаменяемы. Индекс эквивалент­ности является высоким тогда, когда корреляция между обеими вари­антами близка 1. Метод с таким высоким индексом эквивалентности выгодно применять в ситуациях, когда требуется одного испытуемого обследовать дважды, например, до лечения и после лечения, чтобы уз­нать, вызвало ли определенное воздействие желаемый эффект. При низком индексе эквивалентности (обычно корреляция ниже 0,7) мы Должны осторожно пользоваться вариантами одного метода в ситуа­ции индивидуального обследования. Но с таким методом можно рабо-

84__________ Часть I. Психодиагностика — теоретико-методологические аспекты

тать в научно-исследовательских целях, и тогда в первом обследовании половине испытуемых предъявляем одну форму, а второй половине — вторую форму. Во втором обследовании варианты поменяем и посред­ством подходящей математической процедуры контролируем эффект порядка подачи метода.

Согласованность является существенным свойством каждого мето­да, предназначенного для выявления одной характеристики личности. Высокий индекс согласованности является показателем гомогенности метода. Он показывает, в какой степени каждое задание вносит вклад в изучение соответствующей характеристики. С помощью процедуры оценки согласованности мы исключаем те задания, которые для данного метода как единого целого не подходят и которые по статистическим по­казателям выявляют что-то другое. Естественно, что методы, задания которых являются по содержанию гомогенными (корректурные пробы, тесты чтения, тесты типа кодирования и т. п.), оказываются высоко­согласованными и без статистических подсчетов. Согласованность вы­является либо с помощью так называемого метода расщепления и ко­эффициента корреляции, т. е. коррелированием показателей четных и нечетных заданий и знаков, или с помощью отношения дисперсии деле­ний к дисперсии всего теста — так называемого коэффициента альфа.

Точность в отношении обследуемых касается надежности, с которой метод выявляет одно и то же в руках разных экспериментаторов, или когда он применяется на социодемографически равных выборках.

Различается надежность субъективных оценок и гетерогенность.

Надежность субъективных оценок — это степень согласия между разными экспериментаторами при оценке результатов одного метода или при оценивании тех же испытуемых. Если, например, проективный тест интерпретируют разные психологи, имеет смысл знать индекс на­дежности субъективных оценок, чтобы определить, насколько интер­претация является объективной. Условием для этого является, чтобы психологи были обучены одному подходу к теории личности, как основе метода, и далее, чтобы они пользовались одинаковой системой коди­рования первичной информации. Надежность субъективных оценок важна в шкалах оценок, где низкие индексы указывают на недостаточ­ную очерченность или большую субъективность предмета оценки.

Гетерогенность определяет, насколько метод применим дня разных групп испытуемых, которые различаются по возрасту, образованию, профессии, национальности и т. п. Неучет низкой гетерогенности неко­торых интеллектуальных тестов является одним из источников идео-

Раздел 3- Теоретические проблемы диагностических методов

логически реакционных заключений, например, об интеллектуальной неполноценности негров или превосходстве представителей интелли­генции.

Серьезной проблемой практической психодиагностики являются условия точности, или же источники ошибок. Ряд авторов пытались создать таксономию всех факторов, влияющих на результаты психо­диагностических методов. Источником ошибки психодиагностическо­го метода является не только сам метод. Неточность может возникнуть в любом звене гносеологической цепи, идущей от метода к испытуемому и от него обратно к психологу, интерпретирующему результаты тести­рования. Поэтому источники вариативности результатов тестирования можно рассматривать как минимум на пяти уровнях.

1. Несовершенство психодиагностического метода приводит к двум типам ошибок: постоянным и случайным. К постоянным ошибкам от­носится неадекватная формулировка инструкции, нечеткие инструк­ции о способе подачи метода испытуемому, далее плохо сформули­рованные, непонятные или неоднозначные задания, вопросы и т. п. К непостоянным источникам ошибок метода относится, например, изменение электрического напряжения во время работы с тестовыми приборами, неодинаковая удобочитаемость бланков для ответов и т. д.

2. Ситуация обследования. На результаты может влиять время дня, когда проводится обследование, неодинаковое освещение помещения во время обследования равных групп испытуемых, неодинаково выгод­ное размещение испытуемых в условиях группового тестирования и т. п.

3. Личность экзаменатора. Этот фактор до сих пор мало учитывает­ся в качестве возможного источника ошибок или завышения резуль­татов. Речь идет не только о том, что экзаменатор может разных испы­туемых по-разному стимулировать или тревожить в зависимости от собственного настроения, установок и т. п., но он им также может с раз­ной степенью адекватности подавать инструкцию в зависимости от того, в какой мере они ему симпатичны. Возраст, пол, эстетический внешний вид также необходимо, вероятно, считать внеплановыми ис­точниками вариативности результатов обследования. В немалой сте­пени важно и то, в какой роли для испытуемых выступает экспери­ментатор, как он им был представлен; это их знакомый, это учитель, врач, руководитель; был он представлен как хороший специалист или как человек, влияющий на их дальнейшую судьбу в зависимости от результатов обследования и т. д.

4. Психическое функциональное состояние обследуемых. Здесь имеет­ся в виду психическое состояние, настроение, мотивация, утомление,

86__________ Часть I. Психодиагностика — теоретико-методологические аспекты

отношение к обследованию, любопытство, интерес к решению, чувство опасения и т. д., а также тенденция рисковать и «угадывать» правиль­ные решения в тестах достижений, отвечать на вопросы опросника как угодно, тенденция списывать или словчить иным способом, тенден­ция симулировать или диссимулировать, усугублять свое положение или обманывать иначе.

Авторы многих преимущественно субъективных методов учитыва­ют эти источники искажения результатов и пытаются избежать их вве­дением разнообразных контрольных шкал (например, в методике мно­гофакторного изучения личности Березина, Мирошникова, Рожанца). На результат тестирования может повлиять и предыдущая деятель­ность испытуемых. Например, групповые обследования в школах мо­гут дать разные результаты в зависимости от характера предыдущего урока (ребята по-разному реагируют после урока математики, физ­культуры, истории).

5. Способ оценивания результатов и их интерпретация. Этот фак­тор играет роль главным образом при методах, результаты которых требуют как кодирования — перевод первичной информации в опре­деленные категории (например, в тесте Роршаха оценка ответов), так и оценки соответствия ответа определенному эталону или определен­ным требованиям (оценка ответов относительно полноты ответа, аб­стракции, оригинальности и т. п.). Здесь есть возможность корригиро­вать индивидуальную ошибку путем оценки результатов несколькими экспериментаторами (мысль К. К. Платонова относительно «обобще­ния независимых характеристик» может быть использована и для осу­ществления этой процедуры).

Интерпретация результатов является объективной и однозначной только при условии, что она касается однозначного сравнения диагно­стической информации с эталоном или количественной нормой. Но когда мы пытаемся объяснить, какой смысл имеет определенная диагно­стическая информация, какое место она занимает в структуре деятельно­сти субъекта, мы попадаем на «ненадежную почву», и интерпретация ста­новится более похожей на деятельность художника, чем ученого.

Дата добавления: 2015-06-04