Диагностический обучающий эксперимент

Экспериментальный прием оценки интеллектуального развития или отдельных компонентов умственной активности с помощью выявления потенциальных способностей испытуемого к усвоению новых знаний, выработке способов решения. В ДОЭ принцип обучающего эксперимента приспособлен для решения задач качественной и количественной диагностики основных компонентов обучаемости: активности в решении интеллектуальных задач, восприимчивости к помощи, способности к логическому переносу.

В качестве основных критериев умственного развития в ДОЭ выступают не столько показатели достигнутого уровня сформированности тех или иных свойств, способностей, умений (как это чаще всего бывает при традиционной тестовой процедуре), сколько результаты оценки возможностей развития субъекта в ходе овладения новым материалом в условиях специально организованного экспериментального обучения. Одной из теоретических основ применения ОЭ для диагностики умственного развития в отечественной психодиагностике является концепция «зоны ближайшего развития» Л.С. Выготского. В умственном развитии ребенка Л.С. Выготский выделяет два уровня: «актуальный» (или достигнутый к настоящему моменту) и «потенциальный», связанный с «зоной ближайшего развития». Последний определяется способностью ребенка в сотрудничестве со взрослым усваивать новые способы действий, поднимаясь тем самым на более высокую степень умственного развития.

При этом наличие более широкой зоны ближайшего развития у конкретного ребенка является более надежным (по сравнению с актуальным запасом знаний и умений) признаком успешности дальнейшего обучения, чем и определяется диагностическая значимость этого критерия при оценке умственных возможностей с точки зрения перспективы развития.

Зона ближайшего развития является важным показателем не только перспектив развития ребенка под воздействием обучения, но и имеет дифференциально-диагностическое значение с точки зрения различения здорового и умственно отсталого ребенка.

Основными регистрируемыми показателями являются способность к логическому переносу (понимание и способность объяснить принцип действия), время выполнения заданий. Наиболее ценными являются сведения, характеризующие процесс умственной деятельности ребенка, его работоспособность, интерес, характер ошибок, эмоциональные реакции, высказывания в ходе решения задач. Эти показатели анализируются качественно. Наряду с этим методика дает возможность получить определенные количественные характеристики обучаемости по числу «уроков», необходимых для усвоения принципа решения и его переноса на аналогичные задания.

Тема 2. Психометрические основы психодиагностики

Дифференциальная психометрика.

Термин «дифференциальная психометрика» обозначает науку о дифференциально-психологических измерениях. Дифференциальная психометрика отличается от общей психометрики.

Общая психометрика имеет дело с задачами измерения психологических характеристик стимула, в частности, моделирует общепсихологические функциональные зависимости между свойствами стимулов и свойствами субъективных реакций. В психофизике речь идет об установлении соответствий между физическими характеристиками стимулов и субъективными характеристиками ощущений (сенсорная психофизика), в социально-психологических измерениях устанавливается соответствие между рядами социальных объектов» (например, разные виды рекламируемых товаров) и определенными психическими реакциями (например, на континууме от «очень нравится» до «очень не нравится» и т.п.).

В дифференциальной психометрике числовые значения (ранги, категориальные шкальные значения) приписываются не стимулам, а индивидам. Дифференциальная психометрика имеет дело с индивидуальными различиями между людьми в качественном и количественном составе психических свойств, какими являются способности, мотивы, поведенческие черты, установки, оценки и самооценки, некоторые когнитивные функции (память, внимание и т.п.) и т.п.

По отношению к психодиагностике и дифференциальной психологии психометрика выступает в качестве технолого-методической дисциплины: она обосновывает требования, которым должны удовлетворять измерительные психодиагностические методы, обосновывает процедуры их разработки и применения. Психометрика разрабатывает математические модели для методов психологического измерения. Она определяет формальные требования для экспериментальной проверки психометрических свойств (валидности, надежности и др.) разнообразных методов психологических, в том числе психодиагностических, измерений.

Современные методы психодиагностики условно можно разделить на две категории:

1) стандартизированные, измерительные методы. Это объективные тесты и стандартизированные самоотчеты – опросники. 2) Экспертные, или методы понимания (так называемые «клинические» методы). Это проективные и диалоговые методы.

В основе первой категории методов лежит соблюдение достаточно строгих и сформулированных в явной форме правил. Эти методы обеспечивают диагноз (и на его основе прогноз) лишь с вероятной точностью, этот диагноз оказывается более надежным по отношению к группе испытуемых, чем по отношению к отдельным испытуемым.

Экспертные методы в большей степени основаны на профессиональном опыте, психологической интуиции самого психодиагноста. Эти методы оказываются незаменимыми везде, где не разработаны (или неизвестны) стандартизированные процедуры. Они часто оказываются более эффективными по отношению к психическим явлениям, плохо поддающимся объективации (субъективные переживания, личностные смыслы, глубинные слои опыта), по отношению к чрезвычайно изменчивым явлениям, для которых трудно создать фиксированную операциональную модель (динамика идей, состояний, настроений, многоплановых отношений в группе). Если их применяет эксперт высокой квалификации, они оказываются более надежным средством в случае индивидуальной диагностики.

Достоинства измерительных методов – объективный характер процедур, возможность перепроверки – обеспечивается не автоматически, а благодаря выполнению психометрических требований – требований репрезентативности, надежности, валидности (включая достоверность). Если эти требования не выполнены, то использование тестов ничуть не менее произвольная процедура, чем стихийное «вчувствование» эксперта в испытуемого.

Знание психометрики дает психологу необходимую критичность в понимании ограниченности методик, в понимании тех допущений, которые сделаны при разработке той или иной оценочной шкалы, теста, опросника, системы заданий и т.п.

Специфика психодиагностической процедуры заключается в том, что человек активен в процессе заполнения теста и может применять такую тактику, которую психодиагност при разработке методики вовсе не предусматривал.

Диапазон «срабатывания» теста довольно узок и фактически сводится к той популяции, на которой происходила эмпирика-статистическая разработка теста, обеспечивающего его надежность, валидность, репрезентативность тестовых норм.

Для корректного применения теста на новой популяции или в новых целях (от целей зависит установка испытуемых в ситуации тестирования) психолог должен провести серию предварительных психометрических экспериментов, направленных на перепроверку надежности, валидности и репрезентативности теста в новых условиях.

Перенесение теста с одной популяции на другую без проверки как минимум однородности распределения тестовых баллов (устойчивости тестовых норм) может приводить к серьезным диагностическим ошибкам или к непроизводительным затратам на бесполезную психодиагностику. К немалым ошибкам может приводить попытка прогноза по результатам теста, не проверенного на прогностическую валидность, – в этом случае психолог должен ограничиться лишь текущим диагнозом.

Строгое следование требованиям психометрики особенно необходимо при переносе тестов, разработанных за рубежом. В условиях недостаточной разработанности отечественных методик многие психологи склонны рассматривать в качестве готовых зарубежные методики, тогда как реальные языковые и социокультурные различия бывают столь сильны, что полная эмпирическая адаптация зарубежной методики по своему объему не уступает разработке оригинальной методики. Для того чтобы убедиться, в пригодности того или иного зарубежного теста, психолог должен уметь повторить процедуру, с помощью которой конструировался и обосновывался этот тест его авторами.

Прежде чем психодиагностические методики могут быть использованы для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффективность. Эти требования в психодиагностике складывались годами в процессе работы над тестами и над их совершенствованием. В результате появилась возможность оградить психологию от всевозможных безграмотных подделок, претендующих на то, чтобы называться диагностическими методиками.

К числу основных критериев оценки психодиагностических методик относят надежность, валидность и репрезентативность.

Надежность.

Характеристика методики, отражающая точность психодиагностических измерений и устойчивость результатов теста к действию посторонних случайных факторов. Надежность говорит о воспроизводимости результатов теста при повторных исследованиях на одних и тех же испытуемых. Таким образом, можно сказать, что надежность методики позволяет судить о том, насколько внушают доверие полученные результаты.

Результаты психологического исследования обычно подвержены влиянию большого количества неучитываемых факторов (эмоциональное состояние и утомление, если они не входят в круг исследуемых характеристик; физические факторы: освещенность, температура и другие особенности помещения, где проводится исследование; уровень мотивированности испытуемых на обследование; влияние личности экспериментатора). Любое изменение ситуации исследования усиливает влияние одних и ослабляет воздействие других факторов на результат теста.

Общий разброс (дисперсия) результатов тестового обследования можно, таким образом, представить как результат влияния двух групп причин: изменчивости, присущей самому измеряемому свойству, и факторов нестабильности измерительной процедуры.

В самом широком смысле надежность теста – это характеристика того, в какой степени, выявленные у испытуемых различия по тестовым результатам являются отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным ошибкам.

В более узком смысле, связанном с непосредственными методами определения характеристик надежности, под этой группой показателей понимают степень согласованности результатов теста, получаемых при первичном и повторном его применении, по отношению к тем же испытуемым в различные моменты времени, с использованием разных (но сопоставимых по характеру) наборов тестовых заданий или при других измерениях условий обследования.

Распределение оценок испытуемых при выполнении теста, измеряющего одно качество, в идеальном случае совпадает с нормальным распределением, и дисперсия при этом будет «истинной» (т.е. отражающей вариативность только измеряемого признака). Каждый испытуемый занимает определенное место по оценкам теста, и теоретически это место для каждого члена выборки постоянно. В рассматриваемом случае повторное выполнение теста теми же лицами должно давать распределение мест на шкале оценок, идентичное первому. Тогда методика как измерительный инструмент точна и максимально надежна.

(Нормальное распределение – вид теоретического распределения переменных. Наблюдается при измерении признака (переменной) под влиянием множества относительно независимых факторов. Крайние значения в нем встречаются достаточно редко; значения, близкие к средней величине – достаточно часто).

Если отойти от идеального случая, то реальные оценки и ранговые места испытуемых при повторном обследовании изменяются, и их распределение в той или иной степени отличается от исходного. При этом дисперсия нового распределения выше исходного на величину дисперсии ошибки измерения. (Ошибка измерения – это статистический показатель, характеризующий степень точности отдельных измерений). Надежность теста тесно связана с ошибкой измерения, которая указывает на вероятные пределы колебаний измеряемой величины под воздействием случайных постоянных факторов.

На практике в большинстве применяемых методик редко удается получить значение коэффициентов надежности превышающие 0,7-0,8. Методика признается надежной, когда полученный коэффициент не ниже +0,75 – +0,85. Лучшие по надежности тесты дают коэффициенты порядка +0,90 и более. (Коэффициент корреляции – нормированный количественный показатель, изменяющийся в пределах от -1,00 до +1,00 и оценивающий силу и направление связи между двумя переменными. Отсутствие связи выражается величинами, близкими к нулю.)

На практике используют три основных метода оценки надежности тестов: повторное тестирование, параллельное тестирование и расщепление.

1. Повторное тестирование или Ретестовая надежность – характеристика надежности психодиагностической методики путем повторного обследования испытуемых с помощью одного и того же теста, через временной интервал. Надежность в этом случае вычисляется по соответствию результатов первого и второго обследований или по сохранению ранговых мест испытуемых в выборке при ретесте. Коэффициент надежности соответствует коэффициенту корреляции между результатами таких обследований.

2. Параллельное тестирование или Надежность параллельных форм – характеристика надежности с помощью взаимозаменяемых форм теста.

При этом одни и те же испытуемые в выборке определения надежности обследуются вначале с использованием основного набора заданий, а затем с применением аналогичных дополнительных. Коэффициент надежности может быть определен и другим способом, а именно: испытуемые делятся на примерно равные группы, затем одной из них предлагается форма А теста, другой форма Б. Через определенное время (обычно не более недели) проводится повторное тестирование, но в обратном порядке.

Такая процедура обследования лишена значительной части недостатков способа по типу надежности ретестовой. Недостатки ретестовой надежности: формирование навыка работы у испытуемого, запоминание отдельных решений. Надежность параллельных форм: этих недостатков нет; возможно только усвоение принципа решения, – сокращение временного интервала, но – подходит не для всех тестовых заданий.

Основным показателем здесь является коэффициент корреляции между результатами первичного и повторного обследований, который оценивает как временную стабильность теста (собственно надежность) так и степень соответствия результатов обеих форм теста.

3. Расщепление или Надежность частей теста – характеристики надежности путем анализа устойчивости результатов отдельных совокупностей тестовых задач или единичных пунктов (заданий) теста.

Выполнение испытуемым заданий двух равноценных частей теста. Например: четные и нечетные (если задания в тесте ранжированы по степени субъективной трудности).

Внутренняя согласованность (консистентность) – вид надежности теста – гомогенность набора пунктов теста, т.е. степень, в которой конкретные пункты оценивают один и тот же конструкт, насколько они измеряют одну и ту же переменную. Одни из видов оценки внутренней согласованности является надежность, определяемая расщеплением.

Валидность.

Главная проблема теории тестов заключается в том, как по измеренным результатам определить истинные результаты.

Для характеристики способности теста измерять действительный уровень психического свойства или качества используют понятие валидности (англ. valid – действительный, пригодный, имеющий силу).

Валидность теста показывает в какой мере он измеряет то качество, для оценки которого он предназначен. Соответствие теста измеряемому психическому свойству. Если высокая надежность теста говорит о том, что тест действительно «что-то» измеряет, то высокая валидность указывает на то, что тест измеряет именно то, что мы хотим. Инвалидные, т.е. не обладающие валидностью, тесты не пригодны для практического использования.

Валидность меньше или равна Надежности. Валидность не может превышать надежность теста.

Валидность является комплексной характеристикой, включающая, с одной стороны, сведения о том, пригодная ли методика для измерения того, для чего она была создана, а, с другой стороны, какова ее действенность, эффективность. В современной психометрии разработаны десятки разнообразных теоретических и экспериментальных методов проверки валидности тестов.

Проверка валидности методики называется валидизацией - психометрическое исследование, направленное на определение валидности теста или другого измерительного инструмента. Кроссвалидизация – процедура дополнительной проверки валидности теста или результатов исследования посредством применения теста на новой выборке или проведения исследования с другими группами испытуемых, а также с применением других методов регистрации зависимых переменных.

Основным элементом практически всех этих методов является так называемый «критерий». Критерий валидности – это независимый от теста, внешний по отношению к тесту источник информации об измеряемом психическом свойстве. Мы не можем судить о валидности теста до тех пор, пока несравним его результаты с источником истинной (или хотя бы заведомо валидной) информации об измеряемом свойстве – с критерием.

В качестве критерия валидности, используемых при валидизации теста, на практике обычно используют: объективные социально- демографические и биографические данные (стаж, образование, профессия, прием и увольнение с работы); показатели успеваемости, чаще всего являющиеся критериальной мерой тестов способностей к обучению, достижений в отдельных дисциплинах, тестов интеллекта; производственные показатели эффективности выполнения отдельных видов профессиональной деятельности, имеющие наибольшее значение при валидизации методик, используемых в профотборе и профориентации; результаты реальной деятельности (рисование, моделирование, музыка, составление рассказа и т.д.) при испытании тестов общих и специальных способностей, личностных тестов; врачебный диагноз или другие заключения специалистов; контрольные испытания знаний и умений; данные других методик и тестов, валидность которых считается установленной.

Дата добавления: 2015-06-04