Общие принципы проверки статистических гипотез

Как уже отмечалось, основным занятием статистика–прикладника является чаще всего решение вопроса о том, что и как можно извлечь из наблюдений над случайной величиной (выборочных её значений) для последующего использования в практике.

Скажем, для некоторой экономической задачи требуется знание длины очереди автомашин, ожидающих технического обслуживания, а эта величина хоть и выражается целым числом, но является случайной. Очень редко задачи такого рода имеют “теоретическую платформу” – хотя бы в части закона распределения случайной величины, не говоря уже о внутренних параметрах этого распределения или его моментах. Чаще всего в нашем распоряжении нет практически ничего, кроме некоторого количества наблюдений за значениями случайной величины и необходимости решать задачу.

Выражаясь чисто научным языком, современный подход к статистическим задачам в последние два десятилетия заключается в использовании непараметрической статистики, а не традиционных, классических методов, которые применимы только при заранее известных законах распределений. Но и в первом, и во втором случаях одной из важнейших задач профессионального статистика является проверка выдвинутых им же предположений или гипотез.

Чем же отличаются статистические гипотезы от обычных, житейских предположений? Прежде всего, тем, что статистических гипотез всегда две и они взаимоисключающие. Одна из них (обычно та, которую предполагают отклонить) носит название нулевой гипотезы Н₀, вторая – альтернативная гипотеза Н₁ всегда отрицает нулевую, противостоит ей.

Вся “хитрость” заключается именно в нулевой гипотезе – её надо построить, сформулировать так, чтобы иметь возможность найти интересующие нас вероятности в условиях истинности этой гипотезы.

Пусть мы исследуем игральную кость – “проверяем” ее симметричность. Ясно, что в качестве нулевой гипотезой надо считать предположение о полной симметрии кости.

Ведь если Н₀ верна, то вероятности выпадения всех шести цифр на гранях будут одинаковы – по 1/6. А вот выдвижение в качестве нулевой гипотезы предположения об асимметрии кости ничего бы не дало – в этом случае мы ничего не можем сказать о значениях вероятностях выпадения цифр.

С процедурами проверки статистических гипотез неразрывно связано еще одно, непривычное для обычных расчетных работ, понятие уровня значимости результатов наблюдений. Теория вероятностей позволяет обосновать деление случайных событий на три класса – обычные, редкие и исключительные. При этом наблюдение события исключительного дает основания считать, что причины его наступления являются уже неслучайными – имеет место влияние некоторого фактора.

Будем далее использовать 5 % уровень значимости, как это принято почти во всех прикладных направлениях статистики, в том числе и в экономике.

Итак, если наблюдения относятся к событиям редким (с вероятностью до 5 %), то такие наблюдения и результаты их обработки будем называть статистически значимыми. Если мы вычислили вероятность некоторого результата наблюдения в условиях основной гипотезы и она (априорная вероятность) оказалась очень малой, то чем она меньше, тем больше у нас оснований отвергнуть Н₀. С другой стороны, если мы увидели очень редкое событие – выпадение 10 гербов при 15 подбрасываниях монетки, то значимость такого наблюдения чрезвычайно высока – гипотезу о симметрии вполне можно отбросить.

Если мы пытаемся решить некоторую статистическую задачу, то в большинстве случаев нам придется заниматься не столько математическими выкладками и числовыми расчетами, сколько принимать решение – какую из выдвинутых нами же статистических гипотез принять (или – какую из них отвергнуть).

Так вот, решающее правило, согласно которому мы будем действовать, принято называть статистическим критерием. К сожалению, не существует единого, универсального критерия значимости – их приходится разрабатывать в теории и использовать на практике применительно к особенностям конкретных задач. Вместе с тем, любому критерию значимости присуще одно и то же свойство – во всех случаях мы не получим категоричного указания на “истинную” гипотезу, прямого ответа на вопрос ­– какую из гипотез нам принять.

Еще более непривычным для человека с навыками искать и находить ответы в расчетных задачах, будет сама форма ответа на вопрос о сравнении гипотез Н₀ и Н₁ – например, в таком виде "если отбросить нулевую гипотезу, то вероятность ошибки такого действия не превосходит 3 % ". Дальше уже наше дело, принять или отвергнуть ту или иную гипотезу – теория большего дать не в состоянии. Надо понять различие между выделенным утверждением и вроде бы аналогичным – "вероятность верности гипотезы Н₁ составляет 97%". Все между тем очень просто – вычислить возможно только вероятность ошибочности Н₀ и не более того!

Пусть мы интересуемся симметрией обычной монетки и собираемся проводить эксперименты – подбрасывать её и фиксировать результаты. Выдвинем гипотезу – монета симметрична. Если мы собираемся произвести N подбрасываний и по их итогам проверить гипотезу, должны просчитать вероятности выпадения 0, 1, 2 и т.д. до N “гербов”. Конечно, можно выполнить расчеты и после окончания опыта ­– всё равно это будут априорные вероятности по своей сути.

Проиллюстрируем это на рассмотренной ранее ситуации 8 экспериментов с монеткой. Предположим, что частости появления возможных исходов уже вычислены – в таких случаях говорят о наличии выборочного распределения вероятностей. Для нашего эксперимента такое распределение имеет вид:

Таблица 2.1. – Результаты наблюдений

Число наблюдений гербов k
Вероятность P(X =k) в 1 / 256
Вероятность P(X £k) в 1 / 256

Если мы в результате эксперимента получили сумму гербов S = 1, то вероятность наблюдать такую сумму (и менее вероятное значение S=0) составляет для симметричной монетки P(S <2) = (1+8) / 256 @ 0.036. Можно, однако, рассуждать и иначе. Ведь мы наблюдали в том же опыте 7 появлений “решки”. Вероятность наблюдать такое и менее вероятное число 8 составляет точно столько же – P(S>6) = (1+8) / 256 @ 0.036. Осталось построить решающее правило ­– критерий для принятия окончательного решения в отношении выдвинутых гипотез (основной Н₀ и альтернативной Н₁).

Заметим, что при выдвинутой нами основной гипотезе Н₀:(p=q) альтернативную гипотезу можно выдвигать по разному:

Н₁: (p#q)– монета несимметрична, ненаправленная гипотеза, требующая использования двухсторонних вероятностей;

Н₁: (p<q)– монета несимметрична и при этом “герб” легче, направленная гипотеза, достаточно односторонних вероятностей.

Применим оба приема построения критерия в условиях нашего примера.

· Нулевая гипотеза Н₀: (p=q). Альтернативная гипотеза Њ₁: (p#q).

Уровень значимости a=0.05. Итог наблюдений при N=8: S= 1.

Вероятность такого итога при условии, что нулевая гипотеза верна составляет P(S<2)+ P(S>6) @ 0.072, т.е. больше порогового значения.

Решение: нулевую гипотезу не отвергаем, монетку считаем симметричной.

· Нулевая гипотеза Н₀: (p=q). Альтернативная гипотеза Н₁: (p<q).

Уровень значимости a=0.05. Итог наблюдений при N=8: S= 1.

Вероятность такого итога при условии, что нулевая гипотеза верна составляет P(S<2) @ 0.036, т.е. меньше уровня значимости.

Решение: нулевую гипотезу отвергаем, монетку считаем направленно несимметричной.

Возможно, у вас возникло сомнение в части первого способа оценки статистических гипотез – ведь герб наблюдался всего один раз из восьми и, тем не менее, гипотеза о симметрии монетки не отбрасывается.

На самом деле всё правильно и обосновано – смысл нулевых гипотез Н₀ в первом и втором случае, несмотря на формальную тождественность, не одинакова. Суть дела заключена в формулировке альтернативных гипотез Н₁.

В первом случае Њ₁ охватывает два события (p>q) или (p<q), а значит это более жесткое предположение. Во втором случае Њ₁ связана только с одним событием (p<q), а значит она мягче, требует меньшего количества информации для признания ее истинной.

Ошибки при проверке статистических гипотез

Выбирая окончательно в качестве рабочей одну из гипотез ­– нулевую или альтернативную, мы используем следующую логическую схему (алгоритм) (рис 2.1.). Не забудем, что отвергая Н₀, мы принимаем альтернативную Н₁ и наоборот. Пусть у нас уже есть правило, в соответствии с которым мы либо принимаем основную гипотезу Н_0, либо отвергаем её.

Как уже говорилось, контрольной цифрой является уровень значимости – вероятность a наблюдать то, что мы имеем после эксперимента, в случае если гипотеза Њ₀ верна.

Пусть, к примеру, мы знаем вероятность данного наблюдения при истинности основной гипотезы и она равна 0.04. Мы вправе принять эту гипотезу – вероятность ошибиться меньше, чем a=0.05.

Рисунок 2.2. – Алгоритм проверки статистической гипотезы

Конечно, приняв нулевую гипотезу, мы рискуем ошибиться. Степень риска можно найти очень просто – вероятность отбросить верную нулевую гипотезу (совершить ошибку первого рода или a –ошибку) составляет 5 %.

Но ведь можно совершить и другую ошибку – принять нулевую гипотезу, когда она на самом деле неверна (ошибка второго рода или b –ошибка). Величина эта зависит, прежде всего, от решающего правила ­– критерия принятия гипотез. Поэтому величину (1 – b) принято называть мощностью критерия.

С определением вероятности ошибки второго рода дело обстоит не так просто – ее приходится вычислять. В первом приближении можно считать, что нам одинаково “вредны” ошибки как первого, так и второго рода. Более актуальным является вопрос ­ – а как их избежать или хотя бы снизить вероятность их появления? К сожалению, в задачи курса не входит рассмотрение таких вопросов.

Достаточно знать, что в прикладной статистике существуют методы повышения эффективности критериев проверки статистических гипотез.

Кроме того, нельзя упускать из виду и "простой рецепт" снижения вероятностей ошибок как первого, так и второго рода – надо иметь побольше наблюдений.

Так, например, имеются достаточно надежные методы определения так называемых “критических” значений СВ. Эти значения для задач рассмотренных выше типов (с биномиальным распределением вероятностей) позволяют сразу же оценить возможность отбрасывания нулевой гипотезы ­– по данным о числе испытаний и числе наблюдений данного события.

Если число испытаний монетки на симметрию составляет N=12 и выдвинуты гипотезы Њ₀: (p=q); Њ₁: (p#q), то критическими значениями наблюдений при граничной вероятности a=0.05 являются S=2 и S=10. Это означает, что при наблюдаемом числе гербов £ 2 или ³ 10 нулевая гипотеза может быть отвергнута.

Обратим также внимание на явную зависимость наших решений от числа наблюдений – нам не удалось отвергнуть гипотезу о симметрии монетки при всего одном гербе (из восьми бросаний), но вполне обосновано удается сделать это при 0, 1 и даже 2 – при увеличении числа наблюдении или, на языке статистики, увеличении объема выборки.

Вопросы для самоконтроля:

1. Дайте определение эконометрики. Чем отличаются широкое и узкое определение термина «эконометрика»?

2. С какими науками связана эконометрика?

3. Назовите основные этапы выделения эконометрики в особую науку.

4. В чем состоит особая роль статистики в формировании эконометрического метода?

5. В чем принципиальное отличие между экономической теорией и эконометрикой?

6. Перечислите и раскройте основные задачи эконометрики.

7. Что означает вероятностный характер экономических процессов и закономерностей?

8. Каковы этапы эконометрического исследования? Какие вопросы приходится решать аналитику при проведении исследования?

9. Перечислите основные свойства, которыми в идеале должны обладать результаты эконометрического исследования.

10. Дайте определение эконометрической модели.

11. Что такое «спецификация модели»?

12. Перечислите основные типы моделей, применяемых для анализа и/или прогноза.

13. Какие типы данных используются в эконометрическом исследовании?

14. По каким типам шкал производятся измерения в эконометрике?

15. Что является основной базой данных для эконометрических исследований?

16. Назовите особенности проведения эконометрического исследования в сельскохозяйственном производстве.

17Охарактеризуйте общие принципы проверки статистических гипотез.

[1] Предшествующий опыту (теоретический)

Дата добавления: 2014-01-03