Надежность

Вопрос № 3 Надежность

Прежде чем психодиагностические методики могут быть использо­ваны для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффек­тивность. Эти требования в психодиагностике складывались годами в процессе работы над тестами и над их совершенствованием. В ре­зультате появилась возможность оградить психологию от всевозмож­ных безграмотных подделок, претендующих на то, чтобы называться диагностическими методиками.

К числу основных критериев оценки психодиагностических мето­дик относятся надежность и валидность.

Большой вклад в разработку этих понятий внесли зарубежные психологи (А. Анастази, Е. Гизелли, Дж. Гилфорд, Л. Кронбах, Р. Торндайк и Е. Хаген и др.). Ими были раз­работаны как формально-логический, так и математико-статистический аппарат (прежде всего корреляционный метод и факторный анализ) обоснования степени соответствия методик отмеченным критериям.

В психодиагностике проблемы надежности и валидности методик тесно взаимосвязаны, тем не менее существует традиция раздельного изложения этих важнейших характеристик. Следуя ей, начнем с рас­смотрения надежности методик.

В традиционной тестологии термин «надежность» означает отно­сительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых.

Как пишет А. Анастази, вряд ли можно с доверием относиться к тесту интеллекта, если по нему в начале недели ребенок имел показатель, равный 110, а к концу — 80. Повторное применение надежных методик дает сходные оценки. При этом в определенной мере могут совпадать как сами результаты, так и порядковое место (ранг), занимаемое испытуемым в группе. И в том и в другом случае при повторении опыта возможны некоторые расхождения, но важно, чтобы они были незначительными, в пределах одной группы.

Таким образом, можно сказать, что надежность методики — это такой кри­терий, который говорит о точности психологических измерений, т. е. позволяет судить о том, насколько внушают доверие полученные ре­зультаты.

Степень надежности методик зависит от многих причин. Поэтому важной проблемой практической диагностики является выяснение факторов, снижающих точность измерений и их классификация.

Ана­лиз показывает, что среди них наиболее часто называют следующие:» нестабильность диагностируемого свойства;

♦ несовершенство диагностических методик (небрежно составле­на инструкция, задания по своему характеру разнородны, нечет­ко сформулированы указания, как методику предъявлять испы­туемым, и т. д.);

♦ меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещенность помещения, на­личие или отсутствие посторонних шумов и т. д.);

♦ различия в манере поведения экспериментатора (от опыта к опы­ту по-разному предъявляет инструкции, по-разному стимулиру­ет выполнение заданий и т. д.);

♦ колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее самочувствие, в другом — утом­ление и т. д.);

♦ элементы субъективности в способах оценки и интерпретации ре­зультатов (когда ведется протоколирование ответов испытуемых, оцениваются ответы по степени полноты, оригинальности и т. п.).

Если все эти факторы иметь в виду и постараться в каждом из них устранить условия, снижающие точность измерений, то можно до­биться приемлемого уровня надежности теста. Одним из важнейших средств повышения надежности психодиагностической м етодики яв­ляется единообразие процедуры обследования, его строгая регламента­ция:

- одинаковые для обследуемой выборки испытуемых обстановка и условия работы,

- однотипный характер инструкций,

- одинаковые для всех временные ограничения, способы и особенности контакта с ис­пытуемыми,

- порядок предъявления заданий и т. д.

При такой стандар­тизации процедуры исследования можно существенно уменьшить влияние посторонних случайных факторов на результаты теста и та­ким образом повысить их надежность.

На характеристику надежности методик большое влияние оказы­вает исследуемая выборка. Она может как снижать, так и завышать этот показатель.

Например, надежность может быть искусственно завышена, если в выбор­ке небольшой разброс результатов, т. е. если результаты по своим значе­ниям близки друг к другу. В этом случае при повторном обследовании новые результаты также расположатся тесной группой. Возможные изме­нения ранговых мест испытуемых будут незначительными, и, следователь­но, надежность методики будет высокой. Такое же неоправданное завышение надежности может возникнуть при анализе результатов выборки, состоящей из группы, имеющей очень высокие результаты, и из группы с очень низкими оценками по тесту. Тогда эти далеко отстоящие друг от дру­га результаты не будут перекрываться, даже если и вмешаются в условия эксперимента случайные факторы. Поэтому в руководстве обычно делает­ся описание выборки, на которой определялась надежность методики.

В настоящее время надежность все чаще определяется на наиболее однородных выборках, т. е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т. п. Для каж­дой такой выборки приводятся свои коэффициенты этой характерис­тики. Приводимый показатель надежности применим только к группам, подобным тем, на которых он определялся. Если методика применяет­ся к выборке, отличающейся от той, на которой проверялась ее надеж­ность, то эта процедура должна быть проведена заново.

Как подчеркивают многие авторы, разновидностей надежности ме­тодик так же много, как и условий, влияющих на результаты диагнос­тических испытаний. Однако практическое применение находят лишь несколько ее видов.

Так как все виды надежности отражают степень согласованности двух независимо полученных рядов показателей, то основной математико-статистический прием, с помощью которого устанавливается на­дежность методики, — это корреляции (по Пирсону или Спирмену). Подробное описание вычислительной процедуры приводится в при­ложении 2. Надежность тем выше, чем ближе полученный коэффици­ент корреляции подходит к единице, и наоборот.

В данной лекции при описании видов надежности основной упор де­лается на работы К. М. Гуревича, который, проведя тщатель­ный анализ зарубежной литературы по этой проблеме, предложил тол­ковать надежность как:

♦ надежность самого измерительного инструмента;

♦ стабильность изучаемого признака;

♦ константность, т. е. относительную независимость результатов от личности экспериментатора.

Основные показатели он предложил обозначать следующим образом:

♦ показатель, характеризующий измерительный инструмент, пред­лагается называть коэффициентом надежности;

♦ показатель, характеризующий стабильность измеряемого свой­ства, — коэффициентом стабильности;

♦ показатель оценки влияния личности экспериментатора — коэф­фициентом константности.

Именно в таком порядке рекомендуется осуществлять проверку ме­тодики: целесообразно сначала проверить инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности измеряемого свойства, а уже пос­ле этого при необходимости заняться критерием константности.

Остановимся на более подробном рассмотрении этих показателей, характеризующих с разных сторон надежность психодиагностической методики.

Дата добавления: 2014-01-06