Критерии оценки качества тестовых процедур

Она характеризуется с помощью двух величин (средней арифметической и стандартного отклонения) и предполагает распределение изучаемых случаев по нормальному закону. Результаты в пределах ±, составляющие наиболее представительную часть распределения (68 % величины), задают границы нормы, а симметрично расположенные вправо и влево от них остальные части распределения (по 16 % с каждой стороны) — отклонение от нее.

Основой для сравнения, интерпретации результатов диагностических испытаний могут стать и такие показатели, как процентили.

Процентиль — это процентная доля индивидов из выборки стандартизации, первичный результат которых ниже данного первичного показателя. Процентили не следует смешивать с обычными процентными показателями. Последние являются первичными показателями и представляют собой процент правильно выполненных заданий, тогда как процентиль это производный показатель, указывающий на долю от общего числа членов группы Первичный результат, который ниже любого показателя, полученного в выборке стандартизации, имеет нулевой процентильный ранг (Р₀). Результат, превышающий любой показатель в выборке стандартизации, получает процентильный ранг 100 (Р₁₀₀). Эти процентили, однако, не означают нулевого или абсолютного результата выполнения теста.

Процентильные показатели обладают рядом достоинств, в частности:

1) их легко рассчитать и понять даже сравнительно неподготовленному человеку;

2) их применение достаточно универсально и подходит к любому типу тестов.

Однако недостаток процентилей это существенное неравенство единиц отсчета в том случае, когда анализируются крайние точки распределения. При использовании процентилей (как уже отмечалось выше) определяется только относительное положение индивидуальной оценки, но не величина различий между отдельными показателями.

В диагностических методиках применяются и такие статистические норму, которые являются стандартизованными оценками (стандартизованными баллами), основанными на расчете статистических параметров: среднее арифметическое и стандартное отклонение. Это — так называемые Z-показатели, единицы IQ, стены, Т-баллы, стэнайны. Подробнее о них см. Приложение 3. Стандартизованные шкалы в психологии.

Статистическая норма строится на сопоставлении индивидуальных данных, полученных в процессе обследования, с групповым распределением показателей, зафиксированных в выборке стандартизации. Она определяет относительное положение (порядковое место) индивида в некоторой группе, позволяет определить, как он выглядит на фоне других.

При анализе недостатков статистической нормы целесообразно отметить следующее.

1) Сопоставление данных обследования со статистической нормой, позволяя определить место индивида среди других людей, входящих в выборку стандартизации, ничего не говорит о его действительных возможностях в выполнении того или иного вида деятельности.

2) Необычные психические проявления положительного характера, например большой объем эйдетической памяти, статистический подход рассматривает как отклонения, включая в норму лишь типичное, среднее для популяции.

3) Попытка определения на основе статистического подхода границ нормы человека в целом, предполагающая многопараметрическое его описание, приводит, с одной стороны, к утрате практической значимости нормы, отрицанию возможности существования соответствующих ей реальных диагностических объектов.

Это связано с тем, что практически каждый человек, обладая индивидуальной изменчивостью, в том или ином отношении представляет собой отклонение от канонизированной нормы «стандартного человека», построенной на основе объединения средних значений по ряду признаков. С другой стороны, при определении такой нормы исследователь сталкивается с парадоксом, заключающимся в том, что широко распространенное, присущее большинству выборки стандартизации явление, соответствующее статистическому пониманию нормы, оказывается крайне редким.

Закономерности нормального распределения, справедливые для случайных явлений, не всегда применимы по отношению к психическим явлениям. На это, обсуждая проблему построения возрастных нормативов, справедливо указывает Н.Ф. Талызина, которая пишет о том, что возможности управления процессом учения, а тем самым и процессом развития человека, дают основание считать, что достижения в интеллектуальном развитии людей не должны распределяться в соответствии с кривой Гаусса. Эта кривая отражает распределение достижений при стихийном ходе становления способностей.

2Б. Другой подход для оценки данных психодиагностического обследования предполагает в качестве «точки отсчета» использовать содержательные характеристики объекта психодиагностики, связанные с пониманием нормы как желательного, заданного, необходимого, требуемого его состояния. Эти характеристики по объему охватываемых ими жизненных процессов подразделяются на общие и конкретные. По представленности практическому психологу в процессе осуществления психодиагностической деятельности они подразделяются на логические и интуитивные критерии.

2Б-1. Последние получили отражение в понятия социально-психологического норматива. Оценка результатов исследования в этом случае строится на сравнении успешности деятельности каждого обследуемого с содержанием норматива и выяснении степени его близости к нему. Такой подход применительно к разработке средств психических измерений приводит к иной постановке проблемы валидности и надежности диагностических методик, снятию вопросов, связанных с их обеспечением, и позволяет осуществить переход от групповых статистических норм к индивидуальным нормам.

Задаваясь в форме данных, должных, а также отсутствующих в действительности (или существующих в ней лишь в качестве отдельных образцовых) идеальных параметров, содержательные характеристики нормального состояния объекта психодиагностики выступают в роли исходного начала для сравнения получаемых в диагностическом обследовании данных.

2Б-2. Норма как отсутствие отклонений (отрицательный логический критерий). Определение нормы через отсутствие отклонений существует в двух вариантах.

Первый вариант предполагает установление нормы через исключение отклонений без раскрытия ее положительных содержательных характеристик. Так определяется норма, например, с помощью десяти базисных шкал ММРI.

Второй вариант строится на предположении, что психически здоровый человек имеет в зачаточном виде скрытые признаки патологии и соответствует норме до тех пор, пока эти признаки в своем выражении не превосходят положенных границ. Такой подход позволяет оценить психику здорового человека в профилактических целях с точки зрения потенциальной угрозы дезадаптации (например, Я-структурный тест Амона).

2Б-3. Описательная характеристика нормы (положительный логический критерий) предполагает установление набора признаков психического здоровья, основанием для выделения которых служат как общечеловеческие ценности, так и признаки продуктивной деятельности здоровой самоактуализирующейся личности.

Некоторые авторы, опираясь на данные Всемирной организации здравоохранения, в качестве критерия нормы называют достаточно обширный перечень признаков психически здорового человека, который включает в себя:

1. причинную обусловленность психических явлений;

2. максимальную приближенность субъективных образов к отражаемым объектам действительности, гармонию между отражением обстоятельств действительности и отношением человека к ней;

3. соответствие реакций (как физических, так и психических) силе и частоте внешних раздражений;

4. критический подход к обстоятельствам жизни;

5. способность самоуправления поведением в соответствии с нормами, установившимися в разных коллективах;

6. адекватность реакций на общественные обстоятельства (социальную среду);

7. чувство ответственности за потомство и близких членов семьи;

8. чувство постоянства и идентичности переживаний в однотипных обстоятельствах;

9. способность изменять поведение в зависимости от смены жизненных ситуаций;

10. остальных его членов;

11. способность планировать и осуществлять свой жизненный путь и др.

Отечественными психодиагностами сформулированы наи­более общие требования, реализация которых должна, по мысли авто­ров, обеспечить оптимизацию тестовых методик по критериям их на­учной достоверности и практической эффективности.

Кри­териями качества психологических тестов явля­ются: надежность, валидность, объективность, прогностическая цен­ность, а также доступность и удобство практического использования. О надежности и валидности мы уже говорили, поэтому кратко рассмотрим три последних критерия.

Критерий объективности применительно к психологическим тестам имеет три значения. Два из них являются общими для всех психологи­ческих тестов. Это, во-первых, стандартность условий тестирования по отношении ко всем испытуемым и, во-вторых, строгая регламен­тация процедуры оценивания, обусловливающая выставление одной и той же оценки за данный результат любым количеством оценщиков. Третье значение — специфическое для личностных тестов — заклю­чается в обеспечении независимости результатов теста от возможных попыток их сознательного искажения испытуемым.

Под доступностью и удобством практического использования по­нимаются, прежде всего, относительная простота и кратковременность процедуры тестирования и оценивания, отсутствие высоких требова­ний к квалификации персонала, осуществляющего тестирование, а так­же дешевизна стимульной части теста (аппаратов, оборудования, бук­летов и т. д.).

Что касается прогностической ценности, то это — одно из основ­ных требований к тестам — исходит от заинтересованных практиков, и в течение уже многих лет представляет собой основную «область уязвимости» для критиков-теоретиков. Вместе с тем в отечественной литературе имеется особое мнение о специфике прогностической цен­ности тестовых измерений. Выделяются два типа прогноза: эмпирический, основанный на прин­ципе простого «переноса» данных в области «малых изменений», и тео­ретический, основанный на применении теоретических моделей явле­ний. Если эмпирический прогноз теснейшим образом связан с идеей «подобия» ситуаций, субъектов, движений во времени и в простран­стве задач, то теоретический прогноз оказывается связанным с про­блемой интерпретации и «силой и мощностью» теоретической моде­ли. Эта проблема затрагивает проблемы «перекрестной валидизации» и непосредственное отношение к связке: «Данные тестового измере­ния — математическая модель обработки данных — психологическая модель явления (субъекта) — психическая регуляция поведения — про­гноз поведения».

Дата добавления: 2015-06-04