Последовательность действий при проверке надежности

Тест 2

	Да	Нет
Да	А	В
Нет	С	Д

Здесь в клетке А суммируются частота ответов "Да", данных испытуемым при первом и втором тестировании; в клетке В суммируются частота ответов "Да", данных испытуемым при первом и "Нет" при втором тестировании; клетке С суммируются частота ответов "Нет", данных испытуемым при первом и "Да" при втором тестировании; клетке Д суммируются частота ответов "Нет", данных испытуемым при первом и втором тестировании [1, 11, 15].

В качестве меры корреляции вычисляется известный [11] фи -коэффициент:

φ = ,

При этом, значимость фи -коэффициента определяется с помощью критерия хи -квадрат по формуле: . (а)

Если вычисленное значение хи -квадрат выше табличного с одной степенью свободы, то нулевая гипотеза (о нулевой устойчивости) отвергается (см. приложение 2).

Удобство в использовании фи -коэффициента состоит в том, что он одновременно оценивает степень оптимальности данного пункта по силе (трудности): фи -коэффициент оказывается тем меньше, чем сильнее частота ответов "Да" отличается от частоты ответов "Нет".

В некоторых случаях подобный анализ позволяет уточнить ключ для пункта: если пункт получает значимый положительный фи -коэффициент, то ключ определяется величиной "+1", если пункт получает значимый отрицательный фи-коэффициент, то величиной "-1". Если пункт получает незначимый фи-коэффициент, то его целесообразно исключить из батареи.

При «ручных» вычислениях фи-коэффициента удобно вначале с помощью формулы (а) определить граничное значение значимого (по модулю) фи -коэффициента.

При постоянном (многократном) подсчете суммарных баллов - ключ для каждого пункта теста можно определять в виде более чувствительного, тетрахорического коэффициента корреляции (который также применяется для дихотомических пунктов) [4]:

, где A, B, C, D - клетки четырехпольной таблицы.

В этом случае в первом столбце таблички суммируются ответы испытуемых, из "высокой" группы (по величине суммарного бала), во втором столбце - из "низкой".

При нормальном распределении частот суммарных баллов "высокая" и "низкая" группы отсекаются справа и слева 27% -ними средними квантилями (рис. 8)

	Высокая	Низкая
Да	А	В
Нет	С	D

Для того, чтобы повысить одномоментную (синхронную) надежность теста, следует из исходной пилотажной батареи пунктов отбросить те, которые плохо согласованы с остальными.

Как отмечалось выше, согласованность всех пунктов можно вычислить, используя формулу Кронбаха (для расчета α), или же, в случае наличия дихотомических групп, определить с помощью точечного бисериального коэффициента корреляции, который учитывает амплитуду отклонения индивидуальных суммарных баллов от среднего балла [4]:

, где

- средний балл по «высокой» группе;

- средний балл по «низкой» группе;

σ- стандартное отклонение для суммарных баллов всех индивидов из выборки;

- количество испытуемых в «высокой» группе;

- количество испытуемых в «низкой» группе;

N - общее количество испытуемых в выборке.

А. Анастази относит критерий внутренней согласованности теста к валидности, однако, по мнению Столина, если и можно в данном случае говорить о валидности, то только в смысле особой внутренней валидности теста. Однако следует учесть, что слишком высокая согласованность снижает внешнюю валидность теста по критерию, (мы рассмотрим эту зависимость более подробно при анализе различных видов "валидности" теста).

Теория генерализованности - другой подход к теории надежности. Эта теория, разработанная Кронбахом, требу­ет от исследователей соблюдать высокую точность по отношению к тем заключениям, которые могут быть сделаны на основе набора тестовых оценок. Она пытается идентифицировать все возможные источники ошибок, которые могут возникнуть при оценивании, в значительной степени так же, как это было показано выше для отдель­ных заданий теста. Она стремится оценить каждый из возможных источников ошибок независимо и внести поправку в оценку каждого индивидуума с учетом влияний этих посторонних факторов [10].

Пред­ставим себе, что дети выполнили тест на правописание в двух си­туациях; данные, полученные в двух тестированиях, могут быть проанализированы многими способами. Например, можно оценить временную стабильность теста на правописание, определить, на­сколько стабильно дети выполняют буквенный анализ слова, или составить диаграмму, оценивающую рост успехов класса в право­писании. Проблема заключается в том, что определение (и изме­рение) всех этих переменных - очень запутанная и громоздкая процедура. Поскольку важность переменных будет, вероятно, меняться при переходе от одной выборки к другой (пенсионеры могут прилагать меньше усилий для выполнения тестов способно­стей, чем студенты, например), это до сих пор не имеет большого практического применения.

В.В. Столин [15], предлагает следующий алгоритм действий для проверки надежности теста:

1.Узнать, существуют ли данные о надежности теста, предполагаемого к использованию, на какой популяции и в какой диагностической ситуации проводилась проверка.

Если проверки не было или признаки новой популяции и ситуации явно специфичны, провести заново проверку надежности с учетом указанных ниже возможностей.

2. Если возможности обследования испытуемых, смысл теста и возможности обработки (наличие ЭВМ) позволяют, то произвести второе тестирование на всей выборке стандартизации и подсчитать все коэффициенты, приведенные в настоящем параграфе, как для целого теста, так и для отдельных пунктов. Анализ полученных коэффициентов позволит понять:

- насколько пренебрежима ошибка измерения;

- дает ли данный тест интервальную шкалу или только диагностичен для крайних групп, насколько устойчиво измеряемое свойство во времени (возможен ли статистический прогноз);

- в каких своих частях (пунктах) тест менее надежен (анализ этих пунктов позволяет психологически осмыслить содержательный механизм взаимодействия пунктов с испытуемыми).

3. Если возможности ограничены, произвести повторное тестирование только на части выборки (не менее 30 испытуемых), подсчитать (вручную) ранговую или четырехклеточную корреляцию для оценки внутренней согласованности (методом расщепления) и стабильности целого теста.

Контрольные вопросы для самопроверки: §6. Надежность теста. Теория надежности.

1. Что понимается под надежностью теста?

2. Какие виды надежности существуют в психометрике? Дайте им краткую содержательную характеристику.

3. Как проверяется надежность отдельных пунктов теста?

4. На чем основана теория надежности?

5. Что понимается под согласованностью пунктов теста? Относится ли это понятие в равной степени и к надежности, и к валидности?

6. Какие действия последовательно должен произвести психолог при проверке надежности?

Литература к теме.

1. Анастази А. Психологическое тестирование. В 2-х кн. М., 1982.

2. Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психодиагностике. - СПб.: Изд-во "Питер", 1999. - 528 с.

3. Корниенко А.Ф. Теория и практика психологического исследования. Учебное пособие. Казанский пед. университет, Казань, 2000. -258 с.

4. Общая психодиагностика / Под ред. А. А. Бодалева, В. В. Столина.- М., 1987.

5. Основы психодиагностики / Под ред. А. Г. Шмелева. Ростов-на-Дону., 1996.

Дата добавления: 2015-06-04