Надёжность как устойчивость

Надёжность психологического теста

Специфика.

Категория.

Характеристика экспериментального исследования.

Воспроизводимость результатов измерения в аналогичных условиях, количественно выражаемая с помощью корреляции результатов начальных и повторных измерений. Зависит от объективности экспериментатора,надежности измерительной аппаратуры и отсутствием неконтролируемой вариабельности исследуемогосвойства.

измерения в психологии

(измерения в психологии) — процедуры определения количественной выраженности психологическихфеноменов. В них применяются разнообразные шкалы, содержащие некое множество позиций, поставленныхв некое соответствие с психологическими элементами. Согласно классификации шкал, предложенной в 1946г. американским психологом и психофизиком С. С. Стивенсом, выделяются следующие шкалы: шкалаотношений, шкала интервальная, шкала порядковая и шкала номинальная.

Надёжностью называется один из критериев качества теста, его устойчивость по отношению к погрешностям измерения. Различают два вида надёжности — надёжность как устойчивость и надёжность как внутреннюю согласованность.

Устойчивость результатов теста – возможность получения одинаковых результатов у испытуемых в различных случаях.

Устойчивость определяется с помощью повторного тестирования:

В данном методе предлагается провести несколько замеров с некоторым промежутком времени (от недели до года) одним и тем же тестом. Если корреляция между результатами различных замеров будет высокой, следовательно, тест достаточно надежный. Наименьшим удовлетворительным значением для ретестовой надежности является 0,5. Однако надежность не всех тестов можно проверять этим методом, так как оцениваемое качество, явление или эффект могут быть сами по себе нестабильны (например, наше настроение, которое может меняться от одного замера к следующему). Еще один недостаток повторного тестирования – это эффект привыкания. Испытуемые уже знакомы с этим тестом, а может быть, даже помнят большую часть своих ответов после предыдущего заполнения.

В связи с выше сказанным применяется исследование надежности психодиагностических методик с использованием параллельных форм, при которых конструируются эквивалентные или параллельные наборы заданий. При этом испытуемые выполняют совершенно другой тест при аналогичных условиях. Однако имеются трудности в доказательстве того, что обе формы являются действительно эквивалентными. Несмотря на это, на практике параллельные формы тестов оказываются полезными в установлении надежности тестов.

1. прогностичность психологических измерений

ПРОГНОСТИЧНОСТЬ

одно из основных требований к системе образования взрослых; обозначает принципиальнуюориентированность данной системы на динамичные изменения социально-экономической и производственнойсферы и вариативные образовательные потребности населения. См. Система образования взрослых.

Прогностическая валидность является элементом содержания достоверности тестов и определяется как степень точности и обоснованности суждения о диагностируемом психическом свойстве по его результату спустя определенное время после измерения. Показателем прогностичности теста является степень регрессии тестовых данных к объективным критериям. Регрессия представляет собой функцию f (х1, х2, х3,... хn), описывающую зависимость среднего показателя теста, измеряющего данное свойство от заданных фиксированных значений реального проявления этого свойства (внешнего критерия – у). Эта функция может носить линейный и нелинейный характер. В психодиагностическом моделировании наиболее часто используют модели линейной регрессии у =b + ах, параболической зависимости у = b + ax + сх 2, гиперболической зависимости у = b + а/х и показательная функция у = b + ax.

На практике для прогноза развития или проявления измеренного свойства чаще применяют модель линейной или множественной линейной регрессии (у = b+ а1 х1 + a2x2... + anxn). Физический смысл ее заключается в приравнивании зависимой и независимой переменных. Изменение зависимой переменной прямо определяет изменение независимой переменной. Свободный член “b” сигнализирует о величине влияния случайных неконтролируемых переменных на изменение исследуемого свойства или его признака. Он вводится в уравнение в виде постоянной величины. Коэффициент “а” отражает степень объясняемой дисперсии внешнего критерия показателем методики, примененным для его оценки. Он соответствует квадрату коэффициента корреляции между реальным проявлением качества и показателем теста. Коэффициент корреляции показывает уровень прогностичности функции, a R2 – уровень объясняемой дисперсии “у” за счет изменения “х”. При использовании тестовой батареи прогноз измеряемого свойства осуществляется посредством связанных между собой нескольких зависимых переменных (х1, х2, х3,... хn), которые и формируют множественную линейную регрессию.

При использовании множественной линейной функции при прогнозе развития измеряемого свойства повышается уровень прогностичности тестирования и его достоверность за счет “перекрытия” разными методиками различных сторон измеряемого свойства.

16. адаптация, разработка методик и тестовых батарей

что при разработке теста весомое место занимает концептуальная валидизация методики, которая практически отсутствует в процессе формирования тестовой батареи, потому что для измерения какого-либо свойства подбираются теоретически валидные тесты.

Алгоритм разработки психологических методик относительно прост. Он состоит из теоретического обсуждения проблематики предмета психодиагностического измерения, определения назначения методики, собственно конструирования методики (теста), практической апробации, расчета валидности, надежности и прогностичности методики, стандартизации эмпирических результатов (психологических данных) и оформления методики, для того чтобы ее моги применять и другие пользователи.

1) Предназначение технологии "Семантического анализа деятельности".

Методика САД предназначена для измерения характеристик психической деятельности индивида в процессе интериоризации, то есть ориентировочной психической деятельности человека, которая состоит из операциональной (ОЧ) и мотивационной (МЧ) частей*.

Измерение ОЧ происходит в процессе формирования у человека нового умения или навыка. Темп усвоения этого знания посредством регистрации количества единиц отработанного стимульного материала по схеме ориентировочной основы действий (схема оод) определяет уровень развития ОЧ.

Параллельно с измерением ОЧ через определение специфики усвоенных (то есть правильно отработанных в тесте) стимульных единиц оценивается и МЧ.

Таким образом, методика САД измеряет как форму (специфику) усвоения новой информации (мотивацию), так и темп (скорость) этого усвоения (то есть когнитивные характеристики), которые характеризуют индивидуализацию интериоризационных процессов человека.

Каким образом фиксируется эта индивидуализация? Во-первых, испытуемым предлагается специфический или профессионализированный стимульный материал, отражающий определенный вид реальной деятельности посредством семантических стимульных единиц — "слов-тем" (О. Маурер, 1954), то есть ключевых понятий. Понятия подобраны в соответствии со специальной процедурой: соблюдением принципов наибольшей частоты употребления в речи, дифференцированности и наименьшей привычности (Л. Постмен). Во-вторых, испытуемые должны произвести логический анализ (дать логическое определение) стимулам-понятиям при помощи имеющейся логической схемы, которая выступает в роли схемы оод или "подсказки".

Как правило, испытуемый (ребенок-подросток)* дает наиболее адекватное определение стимулам-понятиям, взятым из значимой для него сферы деятельности, так как индивидуальное семантическое поле отпрофилировано в соответствии со спецификой предметной деятельности социума, представителем которого является испытуемый субъект.

Фиксация (на регистрационном бланке) количества и качества (профиль) правильно отработанных стимулов-слов показывает темп и направленность психической познавательной деятельности испытуемого(обучаемость).

2). Конструкция технологии САД.

Методика САД состоит из двух субтестов (заданий). Первое задание — Стартовый тест (СТ) является тренировочно-подготовительным и знакомит испытуемых с логической схемой и порядком отработки регистрационных бланков. Результаты СТ могут учитываться и в процессе диагностики. Второе задание — Семантический анализ мотивации (САМ) — зачетное, в ходе его отработки фиксируется темп и направленность процесса усвоения стимульных единиц (слов-понятий), взятых из различных областей реальной предметной деятельности.

Субтесты (задания 1 и 2) имеют одинаковую композиционную структуру и состоят из стимульной, обучающей (ориентировочной) и регистрационной частей.

Стимульная часть Стартового теста (задание 1) представляет собой набор слов из ограниченного числа букв. Принято во внимание то обстоятельство, что испытуемый должен иметь начальные ориентировки: знание русского языка и понимание смысла элементарных геометрических фигур-образов. Слова-стимулы составлены из букв русского алфавита (к, о, п, р, т) в соответствии с начальными буквами названий геометрических фигур (квадрат, окружность, прямоугольник, ромб, треугольник). Испытуемым предлагается мысленно по букве "собрать" слово-стимул, причем порядок букв определяется очередностью вписывания одной фигуры в другую. С учетом этого условия составлены несколько слов-стимулов (задач): ТОПОР, КОТ, РОТ, ТОК, КРОТ, РОКОТ, ОКОП, ТОРТ, КРОТ и т. д., которые помещены в регистрационный бланк в графу "Содержание" и предъявляются испытуемым.

Ориентировочная (обучающая) часть теста представляет собой схему ООД, которая указывает оптимальный и альтернативный пути решения задачи. В схеме представлены вопросы и варианты ответов (да-нет). Вопросы определяют последовательность вписывания фигур и соответственно порядок букв в формируемом слове. Процедура формирования каждого последующего слова начинается с первого вопроса.

Отработка задания заканчивается с завершением формирования последнего слова-стимула. В результате в регистрационном бланке напротив каждого стимула в графе "№ ответов" записывается цифра, которой обозначена последняя буква.

Правильность выполнения задания оценивается по "ключу". За каждый правильный ответ испытуемым присваивается один "сырой" балл. Минимальное количество ответов — ноль, максимальное соответствует количеству слов-стимулов.

Стимульным материалом для второго задания являются понятия из различных сфер человеческой деятельности. Работа со стимульным материалом — довольно сложный многоступенчатый процесс, который должен учитывать основные особенности "чувственной ткани" испытуемого: процессов восприятия, узнавания и усвоения стимула.

Экспериментально доказано, что существует положительная связь между предпочтением известных значений слов-стимулов и порогом их различения, то есть сенсибилизирующее (опережающее) влияние мотивации на перцепцию (Д. Кэттелл, В. Брайан, Н. Хартер, Л. Постмен, Дж. Брунер и др.), между частотой, с которой слова встречаются в языке и быстротой их "узнавания" субъектом (Р. Соломон, М. Хауес). Сделан методологический вывод (Л. Постмен) о том, что при исследовании мотивации необходимо, во-первых, сделать фактор "привычности" слова-стимула постоянным или учитывать коэффициент его изменения и, во-вторых, учитывать характер знакомости слов.

Таким образом, при отборе слов-стимулов для измерения мотивации учитывается их низкая привычность для данной популяции, константность по частоте употребления в речи и максимальная дифференцированность по объекту, который они обозначают.

Первым этапом отработки стимульного материала является отбор при помощи частотного словаря русского языка 100 — 150 слов с относительной равночастотностью употребления в речи и относительной дифференцированностью по исследуемым признакам (близость к ключевым понятиям, например: "человек" и "техника"). Второй этап представляет собой оценку экспертами-профессионалами слов по их смысловой близости к ключевым понятиям.

17. стандартизация психологических данных. Принципы центрирования мирования.

Дата добавления: 2015-06-04