Эффективности, действенности, практической значимости, обычно используется

независимый внешний критерий – показатель проявления изучаемого свойства в

повседневной жизни. Таким критерием может быть успеваемость (для тестов

способностей к обучению, тестов достижений, тестов интеллекта), производственные

достижения (для методик профессиональной направленности), эффективность реальной

деятельности – рисования, моделирования и т.д. (для тестов специальных способностей),

субъективные оценки (для тестов личности).

Американские исследователи Тиффин и Маккормик (1968), проведя анализ

используемых для доказательства валидности внешних критериев, выделяют четыре их

типа:

1) критерии исполнения (в их число могут входить такие, как количество

выполненной работы, успеваемость, время, затраченное на обучение, темп роста

квалификации и т.п.);

2) субъективные критерии (они включают различные виды ответов, которые

отражают отношение человека к чему-либо или к кому-либо. его мнение, взгляды,

предпочтения; обычно субъективные критерии получают с помощью интервью,

опросников, анкет);

3) физиологические критерии (они используются при изучении влияния

окружающей среды и других ситуационных переменных на организм и психику человека;

замеряется частота пульса, давление крови, электросопротивление кожи, симптомы

утомления и т.д.);

4) критерии случайностей (применяются, когда цель исследования касается,

например, проблемы отбора для работы таких лиц, которые менее подвержены

несчастным случаям).

Внешний критерий должен отвечать трем основным требованиям; он должен быть

релевантным, свободным от помех (контаминации) и надежным.

Под релевантностью имеется в виду смысловое соответствие

диагностического инструмента независимому жизненно важному критерию Другими

словами, должна быть уверенность в том, что в критерии задействованы именно те

особенности индивидуальной психики, которые измеряются и диагностической

методикой. Внешний критерий и диагностическая методика должны находиться между

собой во внутреннем смысловом соответствии, быть качественно однородными по

психологической сущности (К.М. Гуревич, 1985). Если, например, тест измеряет

индивидуальные особенности мышления, умение выполнять логические действия с

определенными объектами, понятиями, то и в критерии нужно искать проявление именно

этих умений. Это в равной степени относится и к профессиональной деятельности. Она

имеет не одну, а несколько целей, задач, каждая из которых специфична и предъявляет

свои условия к выполнению. Из этого вытекает существование нескольких критериев

выполнения профессиональной деятельности. Поэтому не следует u1087 проводить

сопоставление успешности по диагностическим методикам с производственной

эффективностью в целом. Необходимо найти такой критерий, который по характеру

выполняемых операций соотносим с методикой.

Если относительно внешнего критерия неизвестно, релевантен он измеряемому

свойству или нет, то сопоставление с ним результатов психодиагностической методики

становится практически бесполезным. Оно не позволяет прийти к каким-либо выводам,

которые могли бы дать оценку валидности методики.

Требования свободы от контаминации вызываются тем, что, например, учебная

или производственная успешность зависит от двух переменных: от самого человека, его

индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы,

труда, которые могут привнести помехи, “загрязнить” применяемый критерий. Чтобы в

какой-то мере избежать этого, следует отбирать для исследования такие группы людей,

которые находятся в более или менее одинаковых условиях. Можно использовать и

другой метод. Он состоит в корректировке влияния помех. Эта корректировка носит

обычно статистический характер. Так, например, производительность следует брать не по

абсолютным значениям, а в отношении к средней производительности рабочих,

работающих в аналогичных условиях.

Когда говорят, что критерий должен иметь статистически достоверную

надежность, это означает, что он должен отражать постоянство и устойчивость

исследуемой функции.

Поиски адекватного и легко выявляемого критерия относятся к очень важным и

сложным задачам валидизации. В западной тестологии много методик

дисквалифицировано только потому, что не удалось найти подходящего критерия для их

проверки. Например, у большей части анкет данные по их валидности сомнительны, так

как трудно найти адекватный внешний критерий, отвечающий тому, что они измеряют.

Оценка валидности методики может носить количественный и качественный

характер.

Для вычисления количественного показателя – коэффициента валидности –

сопоставляются результаты, полученные при применении диагностической методики, с

данными, полученными по внешнему критерию, тех же лиц. Используются разные виды

линейной корреляции (по Спирмену, по Пирсону).

Сколько испытуемых необходимо для расчета валидности? Практика показала, что

их не должно быть меньше 50, однако лучше всего более 200. Часто возникает вопрос,

какой должна быть величина коэффициента валидности, чтобы она считалась

приемлемой? В общем отмечается, что достаточно того, чтобы коэффициент валидности

был статистически значим. Низким признается коэффициент валидности порядка 0,20–

0,30, средним – 0,30–0,50 и высоким – свыше 0,60.

Но, как подчеркивают А. Анастази (1982), К.М. Гуревич (1970) и др., не всегда для

вычисления коэффициента валидности правомерно использовать линейную корреляцию.

Этот прием оправдан лишь тогда, когда доказано, что успех в какой-то деятельности

прямо пропорционален успеху в выполнении диагностической пробы. Позиция

зарубежных тестологов, особенно тех, кто занимается профпригодностью и профотбором,

чаще всего сводится к безоговорочному признанию того, что для профессии больше

подойдет тот, кто больше выполнил заданий в тесте. Но может быть и так, что для успеха

в деятельности нужно обладать свойством на уровне 40% решения теста. Дальнейший

успех в тесте уже не имеет никакого значения для профессии. Наглядный пример из

монографии К.М. Гуревича: почтальон должен уметь читать, но читает ли он с обычной

скоростью или с очень большой скоростью – это уже не имеет профессионального

значения. При таком соотношении показателей методики и внешнего критерия наиболее

адекватным способом установления валидности u1084 может быть критерий различий.

Возможен и другой случай: более высокий уровень свойства, чем это требует

профессия, служит помехой профессиональному успеху. Так Ф. Тейлор нашел, что

наиболее развитые работницы производства имеют невысокую производительность труда.

То есть высокий уровень их умственного развития мешает им высокопроизводительно

трудиться. В этом случае для вычисления коэффициента валидности более подошел бы

дисперсионный анализ или вычисление корреляционных отношений.

Как показал опыт работы зарубежных тестологов, ни одна статистическая

процедура не в состоянии полностью отразить многообразие индивидуальных

оценок. Поэтому часто для доказательства валидности методик используют другую

модель – клинические оценки. Это не что иное, как качественное описание сущности

изучаемого свойства. В этом случае речь идет об использовании приемов, не

опирающихся на статистическую обработку.

Существует несколько видов валидности, обусловленных особенностями

диагностических методик, а также временным статусом внешнего критерия. Во многих

работах (А. Анастази, 1982; Л.Ф. Бурлачук, С.М. Морозов, 1989; К.М. Гуревич, 1970; Б.В.

Кулагин, 1984; В. Черны, 1983; “Общая психодиагностика”, 1987 и др.) называются чаще

всего следующие:

1. Валидность “по содержанию”. Этот прием используется в основном в тестах

достижений. Обычно в тесты достижений включается не весь материал, который прошли

учащиеся, а какая-то его небольшая часть (3–4 вопроса). Можно ли быть уверенным в том,

что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего

материала? На это и должна ответить проверка валидности по содержанию. Для этого

проводится сопоставление успешности по тесту с экспертными оценками учителей (по

данному материалу). Валидность “по содержанию” также подходит к критериально-

ориентированным тестам. Иногда этот прием называют логической валидностью.

2. Валидность “по одновременности”, или текущая валидность, определяется с

помощью внешнего критерия, по которому информация собирается одновременно с

экспериментами по проверяемой методике. Другими словами, собираются данные,

относящиеся к настоящему времени: успеваемость в период испытания,

производительность в этот же период и т.д. С ним коррелируют результаты успешности

по тесту.

3. “Предсказывающая” валидность (другое название – “прогностическая”

валидность). Определяется также по достаточно надежному внешнему критерию, но

информация по нему собирается некоторое время спустя после испытания. Внешним

критерием обычно бывает выраженная в каких-нибудь оценках способность человека к

тому виду деятельности, для которой он отбирался по результатам диагностических

испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик –

предсказанию будущей успешности, применять его очень трудно. Точность прогноза

находится в обратной зависимости от времени, заданного для такого прогнозирования.

Чем больше проходит времени после измерения, тем большее количество факторов

требуется учитывать при оценке прогностической значимости методики. Однако учесть

все факторы, влияющие на предсказание, практически невозможно.

4. “Ретроспективная” валидность. Она определяется на основе критерия,

отражающего события или состояние качества в прошлом. Может быть использована для

быстрого получения сведений о предсказательных возможностях методики. Так, для

проверки того, в какой мере хорошие результаты теста способностей соответствуют

быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые

экспертные заключения и т.д. у лиц с высокими и низкими на данный момент

диагностическими показателями.

При приведении данных о валидности разработанной методики важно точно

указать, какой вид валидности имеется в виду (по содержанию, по одновременности и

т.д.). Желательно также сообщать сведения о численности u1080 и особенностях индивидов, на

которых проводилась валидизация. Такая информация позволяет пользующемуся

методикой исследователю решить, насколько валиден этот прием для той группы, к

которой он собирается его применять. Как и в случае с надежностью, необходимо

помнить, что в одной выборке методика может обладать высокой валидностью, а в другой

– низкой. Поэтому если исследователь планирует использовать методику на выборке

испытуемых, существенно отличающейся от той, на которой проводилась проверка

валидности, ему необходимо заново провести такую проверку. Приводимый в

руководстве коэффициент валидности применим только к группам испытуемых,

подобным тем, на которых он определялся.

Раздел 3. ТИПЫ ДИАГНОСТИЧЕСКИХ МЕТОДИК

Средства, которыми располагает современная психодиагностика, по своему

качеству подлежат разделению на две группы: методики высокого уровня формализации,

или строго формализированные, и методики малоформализованные.

К строго формализованным методикам относятся тесты, опросники, методики

проективной техники и психофизиологические методики. Для них характерны

определенная регламентация, объективизация процедуры обследования или испытания

(точное соблюдение инструкций, строго определенные способы предъявления

стимульного материала, невмешательство исследователя в деятельность испытуемого и

др.), стандартизация (установление единообразия проведения обработки и представления

результатов диагностических экспериментов), надежность и валидность. Эти методики

позволяют собрать диагностическую информацию в относительно короткие сроки и в

таком виде, который дает возможность количественно и качественно сравнивать

индивидов между собой.

К малоформализованным методикам следует отнести наблюдения, беседы и

интервью, анализ продуктов деятельности. Эти методики дают очень ценные сведения

об испытуемом, особенно когда предметом изучения выступают такие психические

процессы и явления, которые мало поддаются объективизации (например, плохо

осознаваемые субъективные переживания, личностные смыслы) или являются

чрезвычайно изменчивыми по содержанию (динамика целей, состояний, настроений и т.

д.). Следует иметь в виду, что малоформализованные методики очень трудоемки

(например, наблюдения за обследуемым осуществляются иногда в течение нескольких

месяцев) и в большей степени основаны на профессиональном опыте, психологической

подготовленности самого психодиагноста. Только высокий уровень культуры проведения

психологических наблюдений, бесед помогает избежать влияния случайных и побочных

факторов на результаты обследования или испытания.

Малоформализованные диагностические методики не следует противопоставлять

строго формализованным методикам. Как правило, они взаимно дополняют друг друга. В

полноценном диагностическом обследовании необходимо гармоничное сочетание тех и

других методик. Так, сбору данных с помощью тестов должен предшествовать период

ознакомления с обследуемыми (например, с их биографическими данными, склонностями,

мотивацией деятельности и т. д.). С этой целью могут быть использованы интервью,

беседы, наблюдения.

3.1. Строго формализованные методики

В эту группу входят четыре главных класса методик: тесты (которые, в свою

очередь, делятся на несколько подклассов), опросники, методики проективной техники и

психофизиологические методики.

Нередко все методики определения индивидуально-психологических различий

именуются тестами, а пособия по диагностике называются пособиями по тестологии.

Однако по своей психологической сущности u1090 тесты и, например, опросники очень

несходны между собой. Методики проективного характера также представляют собой

особый инструмент, не похожий ни на один из перечисленных. Поэтому для лучшего

понимания того, что дает диагностирование, их следует отделить друг от друга по

названиям. Особое место должны занять в этой классификации психофизиологические

методики. Это оригинальные средства диагностики, возникшие в нашей стране.

Дата добавления: 2015-06-04