Источники неточности тестовых оценок

Понятие надежности теста, виды надежности(тоже не знаю на счет правельности)2 варианта

Относительность тестовых норм, типы норм(тут 2 варианта)

норма тестовая— усредненная оценка по данному тесту группы большой нормальных и здоровых людей определенного возраста и культуры —

показатели, с коими можно сравнивать показатели испытуемого, оценивая его уровень и делая выводы о том, находятся ли они выше либо ниже нормы.

Эти нормы со временем изменяются — вместе с изменением психологического развития людей. Поэтому есть эмпирически установленное правило,

согласно коему как минимум раз в пять лет нормы тестовые — особенно для тестов интеллекта — подлежат пересмотру. Процедура пересмотра норм

тестовых типична:1) определяется группа людей, для коих предполагается применять данный тест;2) эта группа разделяется на подгруппы, различные

по социально-демографическим характеристикам.3) для каждой подгруппы подбирается и с помощью этого теста изучается достаточно

представительная выборка людей;4) путем усреднения полученных показателей определяется норма тестовая для данной совокупности людей.Чтобы

определить более точно положение результатов обследуемого относительно выборки стандартизации, полученный результат переводится в некуюотносительную меру. Таким образом преобразованные результаты (производные показатели) служат двум целям. Цели нормирования: 1. тесты,

изучающие одно кач-во психики различны по объему заданий и способу их оценивания, поэтому их невозможно сравнить 2. для сравнения разных

испытуемых м/у собой к-е относятся к разным возрастным группам, разл-ся по полу или др хар-кам.

Производные же величины могут быть выражены в одних и тех же единицах и относиться к одним и тем же или

весьма сходным нормативным выборкам для различных тестов. Производные показатели, можно получить разными путями, которые в целом следуют

одному из двух направлений: (1) определение достигнутого уровня развития и (2) установление относительного положения индивида в некоторой

группе. Соответствующие типы показателей, а также некоторые из их распространенных вариантов будут рассмотрены в специальных разделах этой

главы.

Виды норм: Статистические нормы: нормы, полученные при стандартизации методики, проведенной на определенной сборке. В качестве эталона

выступает сам тест.

Абсолютные нормы: в роли шкалы для вынесения диагноза выступает сама шкала сырых баллов (например, количество {ученных иностранных слов).

Критериальные нормы: показатель сравнивается с внешним критерием (например, с экспертной оценкой, школьными отметками) => построение

шкалы.

Специфические нормы. Стандартизация тестов для более узкой популяции, выбираемой сообразно специфическим целям каждого теста. В таких

случаях границы нормативной популяции должны быть четко определены и приведены вместе с нормами. Так, можно указать, что данные нормы

относятся к управленческому персоналу крупных фирм или к первокурсникам технических колледжей. Для многих целей тестирования желательно

иметь достаточно специализированные нормы.

Локальные нормы, которые нередко разрабатываются пользователями тестов для конкретных социальных единиц. Группы, к которым относятся такие

нормы, еще более специфичны, чем даже обсуждавшиеся выше подгруппы (организация, школа, ВУЗ)

Соответствие нормам тестирования - это свойство выборочной совокупности людей, т.е. группы или ряда групп, на основе анализе качеств которых разработан тест. Репрезентативность позволяет классифицировать результаты тестирования (например, выделять высокий, средний и низкий уровень тревожности).

Относительность норм становится очевидна при попытках осуществить сравнения между тестами. Хорошо известно, что независимо от вида показателей тестов, их всегда следует приводить вместе с названием теста, в котором они получены, поскольку тестовые показатели нельзя интерпретировать в отрыве от конкретного теста.

Одним из основных понятий в психометрике является понятие нормативного оценивания, под которым понимается подход к оценке и интерпретации измеря­емых тестом показателей, отражающих какие-либо особенности личности, пу­тем сравнения индивидуальных результа­тов со статистическими значениями нор­мативной выборки.

Нормы - количественные или качественные критерии оценки результатов теста, позволяющие определить уровень достижений или выраженность диагностируемых качеств. Нормы устанавливаются эмпирически, сообразно тому, как выполняет задания теста репрезентативная группа испытуемых. О нормах можно говорить только относительно конкретного «измерительного инструмента», т.е. теста, с помощью которого они были получены. Все тесты построены таким образом, чтобы ни один испытуемый не набрал максимального количества баллов => обеспечение дифференциации.

Чтобы определить более точно положение результатов обследуемого относительно выборки стандартизации, полученный результат переводится в некую относительную меру. Таким образом преобразованные результаты (производные показатели) служат двум целям. Во - первых, они указывают положение обследуемого относительно нормативной выборки, что позволяет оценить его выполнение теста на фоне выполнения других. Во - вторых, они позволяют непосредственно сравнивать данные, полученные по разным тестам.

Виды норм: Статистические нормы: нормы, полученные при стандартизации методики, проведенной на определенной сборке. В качестве эталона выступает сам тест.

Абсолютные нормы: в роли шкалы для вынесения диагноза выступает сама шкала сырых баллов (например, количество {ученных иностранных слов).

Критериальные нормы: показатель сравнивается с внешним критерием (например, с экспертной оценкой, школьными отметками) => построение шкалы.

Стандартные показатели. Все большее использование в современных тестах стандартных показателей объясняется их пригодностью во многих отношениях. Такие показатели выражают отклонение индивидуального результата от средней нормы в птицах, пропорциональных стандартному отклонению распределения.

Любая норма, в чем бы она ни выражалась, ограничивается конкретной совокупностью людей, для которой она вырабатывалась. Пользующийся тестом всегда должен знать способ, которым устанавливались нормы теста. Применительно к психологическим тестам они никоим образом не абсолютны, не универсальны и не постоянны. Они просто отражают выполнение ста испытуемыми из выборки стандартизации. При формировании такой выборки обычно стремятся получить репрезентативный образ популяции, на которую ориентирован тест В статистике принято различать выборку и популяцию. Первый из этих двух терминов обозначает группу, которая реально подвергается тестированию. Второй относится к более широкой, но имеющей тот же став группе людей, из которой формируется выборка

Согласование норм. Один из подходов к решению проблемы сопоставимости тестов заключается в составлении таблиц эквивалентности показателей разных тестов Такие таблицы могут быть составлены эквипроцентильным методом, и тогда показатели считаются эквивалентными, если они имеют равные процентили в данной группе. Например, если 80%-ный процентиль в одной и той же группе соответствует IQ 115 по тесту А и IQ 120 по тесту В, то IQ = 115 для теста А считается эквивалентным IQ 120 для теста В.

Специфические нормы. Стандартизация тестов для более узкой популяции, выбираемой сообразно специфическим целям каждого теста. В таких случаях границы нормативной популяции должны быть четко определены и приведены вместе с нормами. Так, можно указать, что данные нормы относятся к управленческому персоналу крупных фирм или к первокурсникам технических колледжей. Для многих целей тестирования желательно иметь достаточно специализированные нормы.

Локальные нормы, которые нередко разрабатываются пользователями тестов для конкретных социальных единиц. Группы, к которым относятся такие нормы, еще более специфичны, чем даже обсуждавшиеся выше подгруппы (организация, школа, ВУЗ).

Надежность хар-ка методики, кот отражает точность психодиагностического измерения, а также устойчивость рез-тов теста к дествию случайных факторов.

Реальн оценка=тест оценка+ошибка измерения (если ошибка стремится к 0,то реал оценка идеальна) 0,6-0,7-хорошая надежность.

Факторы, снижающие точность.

1.фактор ситуации обследования (освещенность,постаронние люди).

2.особен-ти эксперементатора (пол возраст, личностные кач, профессионализм)

3.особенности испытуемого(мотивация, самочувствие, отношение к экспериментатору) 4.процедура тестирования(удобный ли бланк, адаптированность методики)

Устойчивость рез-та(3 вида надежности):

1.ретестовая надежность(повтор-е тестир.перерыв от 2нед-6мес)2 нед чтобы испытуемый забыл

рез-ты.6 мес- относительная идентичность(для детей)за пол года чел изменяется. 2.Корреляц.анализ –не для всех методик подходит(тесты

требующие научения на скорость в которых измер временные сос-я испыт-го.) ретест-я над-ть- измеряет стабильные хар-ки не сильно

меняющ-я во времени 3.использов-е параллель-й формы теста:1-тесты кеттела по содерж-ю одинаковые по форме разные.времени можно не

ждать.во избежан-е временных факторов делают 1 группа первый день одна половина 2й день вторая. далее считают корреляцию исслед-ю

не надо ждать чтобы испыт-й все забыл 4.метод расщепления теста на 2 половины. должны быть равнозначим-и одинаковыми по сложности

степени изучаемого конструкта Х-1я половина У-2я половина теста.корреляц 2х половинок измер. Согласованность теста(тревожность). 2.

Расщепление теста по кол-ву заданий № х1х2х3х4х5х/У- идет корреляция всех х с у суммарным баллом.(связаны ли задания с суммарным

баллом)самая точная.

Если тест проводить много раз, то среднее значение будет характеристикой «истинной» величины параметра. Под надежностью теста принято понимать устойчивость результатов к воздействию случайных факторов, внешних и внутренних. Наиболее часто проводится оценка ретестовой надежности. Чем теснее коррелируют результаты начального и повторного (обычно отсроченного на несколько месяцев) проведения теста, тем он надежнее.

Предполагается, что существует неограниченное количество заданий, которые могут «работать» на измеряемое свойство. Тест есть лишь выборка заданий из их генеральной совокупности. В идеале можно создать сколько угодно эквивалентных форм теста, поэтому определение надежности теста можно провести путем корреляции параллельных форм или эквивалентных равных частей, полученных путем расщепления тестового задания на две части. Поскольку в реальном тесте число заданий ограничено (не более 100), то оценка надежности теста всегда приблизительна. Тест считается надежным, если коэффициент корреляции результатов составляет не менее 0,75.

Надежность – такая характеристика, которая отражать точность психодиагностических измерений, а также устойчивость результатов теста к действию случайных факторов.

Реальная оценка = тестовая оценка + ошибка измерения.

Если ошибка измерения стремится к 0, то тестовая оценка равна оценке, которую мы хотим получить.

Надежность теста=1/ошибка измерения.

0,6-0,7 – хорошая надежность.

Факторы, снижающие точность методики и вызывающие ошибку измерения:

1. факторы ситуативного обследования (шум, освещение, посторонние..)

2. связаны с экспериментатором.(пол, возраст, личные качества.)

3. сам испытуемый (мотивация, самочувствие, отношение к экспериментатору)

4. сама процедура тестирования и методика.

Виды надежности:

1) ретестовая (повторная, с интервалом от 2х недель до 6 месяцев). Далее корреляционный анализ первого и второго тестирования. Не для всех методик этом метод подходит. Повторно нельзя проводить тестовые задания, требующие научения, на скорость, методики, изучающие временные состояния. Нужно изучать стойкие состояния личности.

2) Исследование параллельной формы теста

(Кеттел). Считается корреляция между испытуемыми по 2 формам теста.

3) Метод расщепления теста

Расщепление теста на 2 половины, абсолютно равнозначными, т.е.одинаковыми по сложности и степени измерения.

Подсчет внутренней согласованности теста – степень его однородности.

ОЦЕНКИ (тестовые) оценки, полученные испытуемым в результате тестирования. Непосредственно полученные оценки называются первичными (сырыми) баллами. Обычно ими являются сведения о количестве правильно решенных задач, числе попыток при их решении, времени выполнения задания. В некоторых методах (функциональные пробы, методики с качественным анализом и интерпретацией Ш результата) первичные оценки являются окончательными, на основании их осуществляется интерпретация результата и делается заключение. Получение первичных О. представляет обычно формализованную процедуру с четкой регламентацией правил О. результатов выполнения задания (исключение составляют, как правило, лишь проективные методики, где эти правила почти не формализованы). В большинстве психологических тестов первичные О. не являются окончательными: на основании определенных норм и данных стандартизации теста они переводятся в шкальные О., отражающие в той или иной форме отношение полученного результата к показателям выборки стандартизации. При этом О конкретного испытуемого устанавливается путем установления его места на специальной шкале, которая содержит данные о внутригрупповых нормах выполнения данного задания в выборке стандартизации. В этом смысле шкальные О. имеют четко определенное количественное содержание и могут быть использованы при статистическом анализе. Наиболее широко используются такие виды О., как процент-или Z-оценки, стэны, стандартный IQ-показатель. При пользовании шкальными О. следует всегда помнить, что они являются статистическими характеристиками, позволяющими лишь указать на место данного результата в выборке из множества аналогичных по характеру измерений. Поэтому количественная интерпретация тестового результата должна сопровождаться качественным анализом причин его получения с учетом данных о личности испытуемого, данных о текущих условиях обследования надежности и валидности теста. Игнорирование качественных аспектов полученных результатов может привести к существенным ошибкам в интерпретации результатов тестирования.

Дата добавления: 2017-01-14