Валидность теста и ее виды

Психометрика – область ПД, связанная с теорией, практикой и измерениями ПД.

Методологическая дисциплина (по отношению к ПД):

Обосновывает требования к…

- измерительным психодиагностическим методам;

- процедурам разработки теста;

- применению процедуры статистического анализа;

- адаптации методик к новым условиям их применения;

- интерпретации тестовых данных (пр: проблема критерия и т.п.).
Знание психометрики необходимо для критичности…:

- в понимании ограниченности методик;

- в понимании допущений, которые были сделаны при разработке;

- в понимании валидности и надежности

и т.д.
Основные психометрические характеристики:

- надежность;

- валидность.
ВАЛИДНОСТЬ – это характеристика, которая включает в себя сведения об области измеряемых свойств и репрезентативности диагностической процедуры по отношению к ним.
Валидность – это такая характеристика, которая показывает то, что измеряет данная методика и насколько хорошо она это делает.
Виды валидности:

^ СОДЕРЖАТЕЛЬНАЯ ВАЛИДНОСТЬ – характеризует степень соответствия заданий теста измеряемой области психических свойств.

Закладывается уже на стадии разработки теста.

Устанавливается экспертами.
Этапы валидизации теста:

1. Определяется круг измеряемых свойств и (или) видов деятельности. Происходит расчленение свойства/ деятельности на элементы.

2. Разрабатывается модель тестовой деятельности или модель свойства, содержание которой подбирается путем выделения наиболее важных элементов реальной деятельности.

3. Проводится анализ степени соответствия разработанной модели реальной деятельности/ свойству (степень соответствия результатов 1 и 2 этапов).
^ КРИТЕРИАЛЬНАЯ/ эмпирическая ВАЛИДНОСТЬ – включает в себя текущую и прогностическую валидность.

- отражает степень соответствия прогноза и диагноза определенному кругу критериев измеряемого свойства.

^ Текущая валидность – степень соответствия диагноза.

Прогностическая валидность – степень соответствия прогноза.
В качестве критерия может выступать уровень достижений в какой-либо другой деятельности (производственная, научная, учебные успехи; степень развития какой-либо способности; степень выраженности какого-либо свойства личности; социально-демографические и географические данные и т.п.).

Подсчитывается корреляция двух рядов значений: баллов по тесту и показателей по внешнему параметру, избранному в качестве критерия валидности.
^ Пр: Разработка методики Экстра-Интраверсии.

Экстраверсия (1)/Интраверсия (2) → определение, свойства (1 и 2) → экспертная оценка участником эксперимента этих параметров + оценка экстра-интраверсии с помощью разрабатываемой методики → корреляция (чем выше, тем валидность больше).
^ КОНСТРУКТНАЯ ВАЛИДНОСТЬ – отражает степень представленности измеряемого психологического конструкта в результатах теста.
Для того, чтобы доказать валидность представленности измеряемого свойства, необходимо найти уже проверенную конструкцию, направленную на измерение того же самого.

Если такой конструкции нет, то привлекаются эксперты. При этом они работают не с тестом (как это было в случае с содержательной валидностью), а с испытуемыми из выборки стандартизации (наблюдают).

Если и это не удается, тогда прибегают к оценкам особого типа – субъективным, которые выносят испытуемому люди из его круга, имеющие опыт реального общения с ним.
Виды конструктной валидности:

- конвергентная валидность (схождение) – для доказательства надо выбрать какое-то психологическое свойство, которое связано (прямо или обратно) с измеряемым свойством.
- дискриминативная валидность – доказывается отсутствием связи между измеряемым свойством и каким-либо другим свойством.
Различия:

Содержательная – соответствие заданий теста измеряемому свойству.

Критериальная – соответствие диагноза и/или прогноза какому-либо критерию.

Конструктная – соответствие результата теста психологическому конструкту.

^ КОНКУРЕНТНАЯ ВАЛИДНОСТЬ – оценивается по корреляции разработанного теста с другими, валдность которых относительно данного параметра установлена.
ОЧЕВИДНАЯ ВАЛИДНОСТЬ – описывает представление о тесте, сложившееся у испытуемого. Тест должен восприниматься испытуемым как серьезный инструмент познания его личности.
Билет 19.

Технологический алгоритм разработки теста.
1. Определяемся с феноменом (с темой).
2. Изучение литературы по этому вопросу и знакомство с методиками, которые уже есть.
3. Формулируем операциональное определение феномена (операционализируемое – в котором содержаться поведенческие индикаторы).
4. Составление группы вопросов на каждый поведенческий индикатор (≈10-15 вопросов).
5. Экспертиза для установления содержательной валидности (экспертов д.б. не менее 3-х).

а) эксперт должен оценить каждый вопрос по степени соответствия изучаемому конструкту.

б) эксперт должен оценить степень корректности формулировок (понятность, недвусмысленность, предполагает ответы как ДА, так и НЕТ, не социально желательны, и т.д.).
6. Компоновать методику (для профилактики установки на согласие):

- по предполагаемым ответам;

- по группам;

- по формулировке и т.д.
7. Составить инструкцию и шкалу ответов.
8. Проведение на выборке испытуемых (не менее 100–150 человек).
9. Обработка данных и психометрическая проверка опросника.

а) определение шкал опросника (определение его психометрического конструкта).

→ факторный анализ:

(1)- по каменистой осыпи определяем количество факторов;

(2)- факторизуем по выделенному количеству факторов;

(3)- убираем вопросы с минимальной нагрузкой → (2) → (3)

(4)- создаем ключ.

б) проверка надежности:

- делим на 2 половины;

- сравниваем методом альфа-Кронбака.
10. Проверка валидности.

а) конструктная валидность (конвергентная – сравнить наш опросник с аналогичным (суммарный балл по нашему + суммарный балл по другому)). Оптимально: р = 0,7 или 0,8.

б) критериальная валидность – оценить каждого человека и т.д.
Билет 20.

^ Требования к психометрической подготовке психолога.
Для эффективного развития практической диагностики сегодня требуется резкое повышение психометрической культуры всех психологов, использующих измерительные психодиагностические методики-тесты.

Методами рестандартизации теста, простейшими приемами проверки надежности и валидности должны владеть все психологи.
Всеобщая психометрическая грамотность психологов не исключает выделение из их среды специалистов особого рода – психологов-психометристов, профессионально занимающихся психометрическим обеспечением ПД. ð целесообразно привести 2 списка нормативных требований – к психологу вообще и к психологу-психометристу.
^ Требования к психологу.

Психолог должен…

1. …уметь квалифицированно разбираться с психометрической документацией в методической литературе по ПД. Должен знать:

- какие психометрические характеристики теста должны указать его разработчики;

- в какой степени эти психометрические характеристики соответствуют типу теста, с одной стороны, и актуальной задаче, для которой требуется его использование – с другой
2. …правильно определить:

- в какой мере известные тестовые нормы по требующейся методике применимы в его ситуации с учетом контингента испытуемых и типа диагностической ситуации;

- в какой мере имеет место ситуация «внутрикультурного переноса» и требуется произвести рестандартизацию тестовых норм.
3. …уметь самостоятельно собрать данные, провести корреляционную обработку и измерить эмпирическую валидность – эффективность методики по отношению к заданному критерию. При необходимости должен уметь самостоятельно конкретизировать операциональные индикаторы критериальной информации.
4. …уметь самостоятельно определять появление слишком высокой погрешности в результатах, утрату методикой необходимого уровня надежности (при этом проверять свою гипотезу статистически).
5. …вести двойную документацию: все копии протоколов он должен быть готов передать в головную методическую организацию (научно-академическую или отраслевую) для пополнения общего банка данных и совершенствования психометрических характеристик методики.
6. …уметь самостоятельно выявлять и измерять уровень мотивационных искажений, обуславливающих фальсификацию испытуемыми тестовых данных, должен уметь корректно отсеивать недостоверные протоколы, статистически фиксировать достижение приемлемого уровня достоверности для массовых результатов в групповой диагностике.
7. …овладевать приемами сложного качественного подсчета косвенных тестовых показателей, а также интегральных показателей, требующих агрегирования многообразной числовой информации. Он должен уметь поставить задачу программисту (или психологу-психометристу) для автоматизации подсчетов на ЭВМ.
Требования к психологу-психометристу.

Психолог-психометрист должен…

1. …уметь самостоятельно планировать и осуществлять все этапы по психометрическому конструированию или адаптации психодиагностических методик:

- проверка надежности и валидности на уровне отдельных пунктов теста;

- отсев ненадежных и невалидных пунктов;

- построение и анализ распределения тестовых баллов;

- построение математического уравнения для прогнозирования или «решающего правила» для распознавания.
2. …уметь организовывать хранение и обработку психодиагностических данных на ЭВМ, владеть навыками работы с ЭВМ в режиме диалога в рамках стандартных операциональных систем, интерпретаторов или компиляторов для языков высокого уровня, знать структуру используемых в ПД баз данных и уметь управлять базами данных.
3. …уметь организовывать работу психологов-психодиагностов:

- по ведению документации и используемым методикам;

- по соблюдению методических стандартов;

- по сведению и интеграции результатов в общие банки психодиагностической информации.
4. … уметь вести картотеку методик в рамках заданной области (отраслевой психологической службы), тщательно иерархизируя методики по уровню психометрической обеспеченности, вести библиотеку методических материалов и методических рекомендаций к использованию стандартизированных методик.
Билет 21.

Классификация психодиагностических процедур.
^ Психодиагностическое обследование характеризуется измерительно-испытательной и оценочной направленностью. За счет этой направленности достигается количественная и качественная оценка изучаемого явления.
Требования:

- стандартизация инструмента измерения + нормы.

- каждая диагностическая методика должна соответствовать требованиям надежности и валидности.

- жесткие требования к процедуре исследования.
Психодиагностический метод позволяет выявить специфические мотивы, которые определяют активность субъекта, они задают определенную стратегию поведения субъекта, и кроме того, они определяют особенности ситуации (как социальной, так и стимульной).
Характеризуя диагностический метод, мы также должны подчеркивать, что любое диагностическое обследование должно включать в себя элементы объяснения, раскрытие причин и выработку соответствующих рекомендаций.
Бурлачук.

3 подхода к классификации методов:

1. Объективный – диагностика осуществляется на основе успешности/ результативности и/или способа действий. Предполагает 2 большие группы методик:

- для диагностики собственно личностных особенностей (неинтеллектуальные);

- тесты интеллекта.
2. Субъективный – диагностика осуществляется на основе сведений, которые сообщает о себе обследуемый (пр: самоописание, самооценивание и т.д.).
3. Проективный – диагностика осуществляется на основе анализа особенностей взаимодействия с внешне нейтральным, как бы безличным, материалом, который в силу его известной неопределенности или слабоструктурированности становится объектом проекций.
Объективный подход.

Личностные опросники – представлены двумя группами.

1. 
   Тесты действий / целевые личностные тесты – это относительно простые, четко структурированные процедуры, ориентирующие обследуемого на выполнение какого-либо задания.

Качество выполнения этих заданий зависит от развития перцептивных процессов.

Иначе их называют непрямыми, т.к. цель в них замаскирована. Обследуемый не знает какая его индивидуальная особенность изучается.

(пр: тест замаскированных фигур – направлен на изучение полезависимости и поленезависимости.

Суть ее заключается в том: смотрят – насколько легко человек выделяет фигуру из фона, а судят о личностных особенностях человека).

1. 
   ^ Ситуационные тесты – обследуемый помещается в ситуацию, подобную той, которая может возникнуть в реальной действительности.

(пр: Хартшорн, Меем – тест исследования воспитательного характера.

Пр. тестов: дилемма выбора, с конкретной работой, с кружками - подглядывание).
^ Кроме личностных методик и тестов интеллекта в объективных методах:

1. 
   Тесты специальных способностей – они предназначены для измерения уровня развития отдельных сторон интеллекта и психомоторных функций, которые обеспечивают успешность деятельности в относительно узких областях деятельности.

(пр: тест музыкальных способностей; счетных, конторских и т.д.… способностей).

1. 
   Тесты достижений – выявляют овладение определенными ЗУНами.

Субъективный подход.

1. Личностные опросники.

2. Опросники состояния и настроения.

3. Опросники мнений.

4. Опросники–анкеты.

… для получения информации в большей степени не имеющей отношения к личности человека.
Проективный подход.

Классификация Розенцвейга:

1. Моторно-экспрессивные методики (все рисуночные тесты).

2. Перцептивно-структурные (методики на структурирование материала (пр: тест чернильных пятен Роршарха)).

3. Апперцептивно-динамические (интерпретационные методики).

Классификация Шванцара:

I. по используемому материалу:

1. Вербальные (задания формулируются словами).

2. Невербальные (пр: прогрессивные матрицы Ровена).

3. Манипуляционные (пр: Векслер, кубики Коса).

4. Тесты бумаги и карандаша (пр: тест шифровки фигур).
II. по количеству получаемых показателей:

1. Простые показатели (пр: Айзенк).

2. Комплексные показатели (пр: ОФДСИ Русалова).
III. по качеству ответа:

1. Тесты с правильным решением (пр: тесты интеллекта).

2. Тесты с возможностью различных ответов (пр: опросники).
IV. по психической активности обследуемых:

1. Интраспективные методики – предполагают ответы испытуемых, в которых сообщается о личном опыте субъекта, о его отношении к чему-либо (анкеты и беседы).

2. Экстраспективные – те методики, которые представлены различного рода наблюдениями.

3. Проективные – методики, в которых исследуемый проецирует неосознаваемые свойства личности на малоструктурированный, многозначный материал.

4. Исполнительные – те, в которых обследуемый осуществляет какое-либо действие, и уровень выполнения этого действия является показателем свойств личности.
Классификация Бодалева, Столина:

Дата добавления: 2015-06-04