Точечные оценки. Методы нахождения точечных оценок

Оценивание неизвестных параметров распределений

Пусть имеется выборка , представляющая собой результат независимых наблюдений над некоторой случайной величиной , и предположим, что тип распределения генеральной совокупности известен, но зависит от неизвестного параметра: . В общем случае задача оценивания формулируется так: используя информацию, доставляемую выборкой, сделать статистические выводы об истинном значении неизвестного параметра , т.е. оценить параметр .

Различают точечные и интервальные оценки неизвестных параметров.

При точечном оценивании ищут статистику , (т.е. функцию, зависящую только от выборки ), значение которой при заданной выборке принимают за приближенное значение параметра . В этом случае статистику называют оценкой параметра .

Обосновать качество оценки можно лишь исходя из ее свойств, не зависящих от конкретной выборки. Для изучения таких свойств (естественно, вероятностного характера) в соответствии с замечанием из п. 1.1. под оценкой следует понимать случайную величину . Выбор из множества оценок одного и того же параметра наилучшей основан на критерии сравнения качества оценок, предложенном Р.А.Фишером. Согласно этому критерию оценка должна быть:

1) состоятельной, т. е. с возрастанием объема выборки должна сходиться по вероятности к истинному неизвестному значению параметра : ;

2) несмещенной, т. е. математическое ожидание должно быть равно оцениваемому параметру : ;

3) эффективной, т. е. должна обладать минимальной дисперсией в рассматриваемом классе оценок.

Величина называется смещением оценки . Таким образом, оценка является несмещенной тогда и только тогда, когда ее смещение . Оценка , у которой при , называется асимптотически несмещенной.

Достаточным условием состоятельности несмещенной оценки в силу неравенства Чебышева является стремление к нулю ее дисперсии:

при .

Эффективность оценки позволяет исследовать следующее неравенство Рао-Крамера: для широкого класса непрерывных распределений и для любой несмещенной оценки , имеющей конечную дисперсию, справедливо неравенство:

,

где - плотность вероятностей наблюдаемой случайной величины , - информация Фишера о параметре , содержащаяся в одном наблюдении над случайной величиной .

Таким образом, оценка является эффективной, если она обращает неравенство Рао-Крамера в равенство, т.е. .

Наиболее распространенными методами получения точечных оценок неизвестных параметров распределений, удовлетворяющих требованиям 1 - 3 (хотя бы частично), являются метод моментов и метод максимального правдоподобия.

Метод моментов. Пусть - выборка из генеральной совокупности, имеющей функцию распределения , зависящую от векторного параметра . Предположим, что у наблюдаемой случайной величины существуют первые моментов которые являются функциями от : . Метод моментов состоит в нахождении решения системы уравнений, получаемой приравниванием теоретических моментов соответствующим выборочным моментам:

.

Для нахождения оценки может быть использована также система уравнений, основанных на приравнивании центральных теоретических и выборочных моментов:

.

Использование именно первых r моментов является необязательным.

В случае двумерного неизвестного параметра его оценка по методу моментов обычно определяется как решение системы уравнений:

Оценки, получаемые по методу моментов являются:

- состоятельными (при весьма общих предположениях);

- несмещенными не всегда;

- вообще говоря, неэффективными.

На практике оценки, получаемые по методу моментов, часто используются как первое приближение, на основе которого находятся более «хорошие» оценки.

Достоинство метода моментов заключается в том, что системы уравнений для нахождения оценок решаются довольно просто. Однако имеет место произвол в выборе уравнений для нахождения оценок и метод вообще неприменим, когда моментов необходимого порядка не существует (пример, - закон распределения Коши).

Метод максимального правдоподобия. Пусть - выборка из генеральной совокупности, имеющей функцию распределения , зависящую от неизвестного скалярного параметра .

Если закон распределения наблюдаемой случайной величины является непрерывным, т.е. существует плотность вероятностей , то функция

,

рассматриваемая при фиксированной выборке как функция параметра , называется функцией правдоподобия.

Если наблюдаемая случайная величина имеет дискретный закон распределения, задаваемый вероятностями , то функция правдоподобия определяется равенством:

.

Оценкой максимального правдоподобия параметра называется такое значение параметра, при котором функция правдоподобия при заданной выборке достигает максимума:

Если функция правдоподобия дифференцируема по , то оценку максимального правдоподобия можно найти, решив относительно уравнение правдоподобия

или равносильное уравнение

.

Если - векторный параметр, то для отыскания оценки максимального правдоподобия следует решить систему уравнений правдоподобия

Все изложенные результаты остаются в силе и при оценивании не самого параметра , а некоторой параметрической функции .

Оценки максимального правдоподобия являются:

- состоятельными;

- асимптотически эффективными;

- несмещенными не всегда;

- асимптотически нормальными, т.е. при соответствующей нормировке закон распределения оценки максимального правдоподобия является нормальным (что очень важно для нахождения вероятностей отклонения их от истинных значений параметров).

Однако уравнения (системы уравнений) для нахождения оценок максимального правдоподобия могут решаться довольно сложно.

Дата добавления: 2014-12-27