Проверка или рестандартизация тестовых норм

Проверка устойчивости к перетестированию

ТЕХНОЛОГИЯ СОЗДАНИЯ И АДАПТАЦИИ МЕТОДИК

Создание оригинальной методики или адаптация зарубежной ме­тодики не могут сводиться только к проверке (или перепроверке) от­дельных психометрических свойств - репрезентативности, надежно­сти, валидности, достоверности - в произвольной последовательнос­ти. В одних случаях целесообразно начинать с одного этапа работы, в других - с другого.

Все многообразие ситуаций, пытаются свести к 2-3 типовым ситуациям.

1. Ситуация применения. Тест кем-то разработан (возможно, в других социокультурных условиях), известны тестовые нормы, полу­ченные на представителях данной языковой культуры.

2. Ситуация адаптации. Тест кем-то разработан – проверены на­дежность и валидность, но отсутствуют тестовые нормы. Задача адаптации сводится, таким образом, к построению тестовых норм.

3. Ситуация конструирования. Надо придумать измерительную процедуру, проверить ее надежности валидность, построить тестовые нормы.

Необходимые этапы эмпирико-статистической рабо­ты при адаптации многомерного переводного тест-опросника.

1. Анализ внутренней валидности, внутренней согласованности пунктов, из которых состоит тест-опросник..

3. Анализ корреляций с релевантным внешним критерием. Этот этап адаптации необходим, если тест разрабатывался из­начально как критериально-ориентированный, т. е. отбор пунктов производился на основании их корреляций с каким-то критерием валидности.

5. Специфичный этап для многомерных тестов - проверка вос­производимости структуры отношений между шкалами.

Особые задачи ставит перед психологом ситуация «внутрикультурного переноса» теста на новую популяцию, отличающуюся от вы­борки стандартизации половозрастными или профессионально-куль­турными особенностями. В этом случае необходимо:

1. Проверить валидность методики в том случае, если методи­ка чувствительна по своему содержанию к профессиональной или региональной специфике

2. Проверить соответствия тестовых норм

20. Валидность как критерий оценки качества теста: виды непосредственной валидности

Валидность – комплексная характеристика методики (теста), включающая сведения об обл. исследуемых явлений и репрезентативности диагностич процедуры по отношению к ним.

Валидность (Анастази) — (пригодность) критерий оценки качества теста, который указывает, что тест измеряет и на сколько хорошо он это делает.

Важнейшая составляющая валидности – определение области изучаемых свойств – имеет принципиальное теоретическое и практическое значение при выборе методики исследования и интерпретации ее данных.

Непосредственная валидность: внешняя и внутренняя.

внеш валид-ть означает, что впечатление, кот создается у неспециалиста, при знакомстве со стимульным материалом и процедурой исследования (внеш стороной тестирования) соответствует объявленному содержанию.

Внешняя валидность находится в разных отношениях к подлинному психологическому содержанию теста. В одних случаях, при тестировании умственных способностей (интеллект), внеш валид-ть соответствует этому содержанию. При тестировании в личностных тестах внеш валид-ть помогает замаскировать подлинное содержание теста, испытуемый должен поверить в другое, мнимое, содержание теста, которое указано в инструкции. Тем самым предупреждается возникновение установки на выдачу фальсифицир ответов, в том числе соц нормативных ответов.

Внутр валидность (содержательная валидность (имманентной)). Валидизация производится на основе применения внутр критериев, в кач-ве таковых выступают пр-ки указывающие в определении психич св-ва, кот не изменить с помощью теста. Наличие этих и только этих пр-ков устанавливается путем анализа всех осн компонентов теста (инструментария испытуемому, стимульный материал и др.), при этом не используются какие-либо сложные математико-статистические процедуры, а разработчики ограничены наблюдением за поведением испытуемого из выборки стандартизации, их интервью, а так же оценками экспертов, выполняющих данный тест, хорошо знающих теорию.

21. Валидность как критерий оценки качества теста: виды опосредованной валидности

Валидность – комплексная характеристика методики (теста), включающая сведения об обл. исследуемых явлений и репрезентативности диагностич процедуры по отношению к ним.

Валидность (Анастази) — (пригодность) критерий оценки качества теста, который указывает, что тест измеряет и на сколько хорошо он это делает.

Производная В (вторичная) – хар-ся, сопоставлением тестов (рез. тестирования) с каким-либо релевантными источниками (уместными). Это сопоставление выражается через корреляционный метод математической статистики. Виды: 1) Оценочная – вычисление коэф. корр. между оценками по тесту и показателями, оценочными суждениями экспертов. Э - лица, им. дост. длительное и тесное знакомство с испыт. из выборки стандартизации. Э дает заключение на основе предлагаемой ему оценочной шкалы (индивид. оценка). Распростр. способ оценочной валидности - средневзвешенная оценка: кажд. испыт. из выборки станд. оценивается несколькими Э так, что оценки данные испыт. одним Э неизвестны другому, затем получ.оценки усредняются, в результате чего получается 2 ряда измерений. 2) Конструктная – теорет. Конструкция (конструкте), посредством кот. рез. тестов могут быть проверены на валидность. К примеру, тест для измерения страх перед экзаменом: 1) падает ли под влиянием врем. фактора успев. уч-ся, испыт. страх перед экзаменом особо сильно; 2) отличается ли в подобной ситуации реакция лиц с сильно развитым интеллектом от реакции лиц менее развитых; 3) можно ли подтвердить возникновение сопутствующих явлений. Конструктная валидность близка к внутреннему виду первичной валидности. 3) Конвергентная (сходящая) и дискриминантная (расходящая). Наиб оптим сит созд нового теста - когда для измерения зад св-ва в пс уже существует тест с известной валидностью. В этом случае разработчик через выб станд своего и чужого теста, ищет корр между результатами 2-х тестирований. Если корр ок высокой - новый тест обладает конвергентной валидностью по отношению к старой. Если созданный пс конструкт адекватно отражает пс реальность - корр между корвенгентными тестами должна быть выше, чем корреляция между каждым из этих тестов и измерителями любых других свойств. 4) Практическая – рассматривается в 2ух видах: диагностическая (текущая) и прогностическая. Они характеризуют тест с точки зрения его ценности относительно достижения определенной практической цели. Количественно эти виды валидности определяются путем вычисления коэффициента корреляции между оценками представителей выборки стандартизации по тесту с 1 стороны и релевантным внешним критерием с другой стороны.

22. ПОРЯДОК ДЕЙСТВИЙ ПСИХОЛОГА ПРИ ПРОВЕРКЕ ВАЛИДНОСТИ.

1. Теоретический анализ диагностического конструкта, разработка теоретической концепции тестируемого психического свойства. Вы­явление системы взаимосвязанных ди­агностических конструктов, внутри которой новый диагностический конструкт характеризуется определенными структурно-функциональ­ными связями и отношениями. Прогнозирование результатов корре­ляционных экспериментов по проверке конструктной валидности.

2. Выделение составных частей теоретического конструкта, фор­мулирование системы «эмпирических индикаторов» - операциональ­но однозначных показателей, фиксирующих проявление конструкта в различных поведенческих ситуациях. Конструирование пунктов теста.

3. Формулирование релевантного социально-прагматического критерия для проверки валидности.

4. Планирование и проведение корреляционного исследования (или квазиэксперимента) на специально подобранной выборке испы­туемых, для которых известно значение критериального показателя, а также результаты по родственным психологическим тестам.Оцен­ка валидности эмпирических индикаторов.

5. Исследование достоверности результатов (если используется самоотчет и диагностическая ситуация может быть воспринята ис­пытуемыми с настороженностью). Оценка достоверности эмпиричес­ких индикаторов.

6. Отсев пунктов, не удовлетворяющих критериям валидности и достоверности. Измерение надежности для сокращенной шкалы, со­стоящей только из валидных пунктов. Если надежность оказывает­ся невысокой, то психолог снова возвращается к этапу 1 - уточняет теоретические представления.

23. Последовательность действия психолога при проверке надежности теста:

Надежность – критерий качества теста, отраж.точность психологических измерений и устойчивость результатов к действию посторонних и случайных факторов. Точность измерения определяется с помощью корреляционных методов статистики, при этом обязательно используются методы корреляции Спирмена, Кэнделла и др.

1. Узнать, существуют ли данные о надежности теста, предполагаемого к использованию, на какой популяции и в какой диагностической ситуации проводилась проверка. Если проверки не было или признаки новых популяции и ситуации явно специфичны, провести заново проверку надежности с учетом указанных ниже возможностей.

2. Произвести повторное тестирование на всей выборке стандартизации и подсчитать все коэффициенты, как для целого теста, так и для его отдельных пунктов. Анализ полученных коэффициентов позволит понять, насколько пренебрежима ошибка измерения, дает ли данный тест интервальную шкалу или только диагностичен для крайних групп, насколько устойчиво измеряемое свойство во времени (возможен ли статистический прогноз - проекция тестового балла на будущее), в каких своих пунктах тест менее надежен (анализ этих пунктов позволяет психологи-чески осмыслить содержательный механизм взаимодействия пунктов с испытуемыми).

3. Если возможности обследования испытуемых ограниченны, произвести повторное тестирование только на части выборки (не менее 30 испытуемых), подсчитать (вручную) ранговую или четырех-клеточную корреляцию для оценки внутренней согласованности и стабильности теста в целом.

24Ретестовая надёжность как критерий оценки качества тестов:

Надежность ретестовая — характеристика надежности психодиагностической методики, получаемая путем повторного обследования испытуемых с помощью одного и того же теста. Надежность вычисляется по соответствию результатов первого и второго обследований или по сохранению ранговых мест испытуемых в выборке при ретесте. Коэффициент надежности (rt) соответствует коэффициенту корреляции между результатами таких обследований. При использовании интервальных шкал применяется коэффициент корреляции произведения моментов Пирсона. Для шкал порядка в качестве меры устойчивости к перетестированию может быть использован коэффициент ранговой корреляции Спирмена или Кэндалла.

При характеристике Н. р. особое значение имеет временной интервал между первым и вторым обследованиями. С его увеличением показатели корреляции имеют тенденцию к снижению.

Недостатки. Так, при повторном применении одних и тех же заданий, у испытуемых может сформироваться навык работы с данной психодиагностической методикой, что приводит к улучшению индивидуальных результатов, хотя и не одинаково выраженному у разных лиц. Это неизбежно ведет к ухудшению коэффициента надежности.

Для большинства тестов общих способностей характерно улучшение показателей Н. р. с возрастом испытуемых за счет лучшего контроля условий их выполнения. Другим фактором увеличения расчетных показателей Н. р. является относительное замедление с возрастом темпа психического развития в области тех характеристик, которые могут стать объектом измерения или влиять на результат теста. Эти особенности делают ретест пригодным лишь для ограниченного числа методик, допускающих многократное повторное обследование. К их числу относятся сенсомоторные пробы, тесты скорости и ряд других методик, отличающихся большим количеством пунктов.

25 Надёжность параллельных форм как критерий оценки качества тестов:

Надежность параллельных форм – характеристика надежности психодиагностической методики с помощью взаимозаменяемых форм теста. При этом одни и те же испытуемые в выборке определения надежности обследуются вначале с использованием основного набора заданий, а затем – с применением аналогичных дополнительных наборов. Коэффициент надежности по типу Н. п. ф. может быть определен и другим способом, а именно: испытуемые делятся примерно на равные группы, затем одной из них предлагается форма А теста, а другой – форма Б. Через определенное время (обычно не более недели) проводится повторное тестирование, но в обратном порядке.

Такая процедура обследования лишена значительной части недостатков способа определения надежности ретестовой. Так как в параллельной форме используется другой по содержанию материал, возможность тренировки и запоминания отдельных решений уменьшается. Важнейшим преимуществом данного метода является сокращение временного интервала перед повторным обследованием. Основным показателем Н. п. ф. является коэффициент корреляции между результатами первичного и повторного обследований, который позволяет оценить как временную стабильность теста (собственно надежность), так и степень соответствия результатов обеих форм теста. Если формы применяются непосредственно одна за другой, то корреляция отражает их взаимозаменяемость.

Отношение между параллельными формами теста имеет сложный характер. Оба набора заданий должны не только отвечать одним и тем же требованиям, измеряя идентичные показатели и давая сходные результаты, но вместе с тем быть относительно независимыми друг от друга. На практике эта задача осуществима далеко не для всех тестовых заданий (в особенности это касается личностных методик, опросников), что существенно ограничивает сферу применения Н. п. ф. Другим недостатком характеристики надежности по типу Н. п. ф. является возможность усвоения испытуемым принципа решения, общего для основной и параллельной форм. Таким образом, в случае оценки Н. п. ф. влияние тренировки и навыка, приобретаемого при повторном обследовании, если и снижается по сравнению с характеристикой надежности ретестовой, однако не устраняется полностью.

Дата добавления: 2015-06-04