Метод максимального правдоподобия

Правдоподобия и метод моментов.

Неравенство информации, метод максимального

Рассмотрим метод максимального правдоподобия для точечной оценки параметров распределения (предложен Рональдом Фишером).

Пусть Χ – дискретная случайная величина, которая при выборке объемом n получила значения x , x₂, …, .

Допустим, что известен вид закона распределения вероятностей, но неизвестен параметр ⍬. Обозначим через P (, ⍬) вероятность того, что величина Χ принимает значения ().

Определение: Функцией правдоподобия дискретной случайной величины Χ называют функцию аргумента ⍬:

L(x , x₂, …, , ⍬) = P(x P(x₂ … P(

где x , x₂, …, – фиксированные числа.

Определение: Точечной оценкой параметра считается такое значение *, при котором функция L принимает наибольшее значение. Эту оценку называют оценкой максимального правдоподобия.

Т.к. функция L и lnL обычно принимают наибольшие значения при одном и том же аргументе , то оценку * определяют на основе максимизации функции lnL. Для этого функцию исследуют на максимум с помощью необходимого (а иногда и достаточного) условия экстремума. Этот метод особенно полезен в случае малых выборок (т.к. этот метод наиболее полно использует данные выборки), но часто требует довольно сложных вычислений.

Пример: Найти методом наибольшего правдоподобия оценку параметра λ в распределении Пуассона на основе проведённых опытов.

Решение: Будем называть опытом группу из n испытаний. При этом в каждом опыте фиксируется число появлений рассматриваемого события. Пусть таких опытов будет m. Тогда число появлений события в i -ом опыте будет . Подставляя полученное значение в формулу Пуассона, получаем:

Эти вероятности для всех подставим в функцию правдоподобия .

Находим логарифм этой функции:

Возьмем первую производную по λ и прировняем её к нулю:

.

Итак, .

Если взять вторую производную , то оказывается, что она отрицательна. Это значит, что полученное значение максимально.

Если плотность распределения непрерывной случайной величины Χ определяется двумя неизвестными параметрам и , то функция максимального правдоподобия имеет вид:

где ,…, – наблюдаемые значения Χ.

Далее находят логарифмическую функцию правдоподобия и для отыскания её максимума составляют и решают систему:

.

Дата добавления: 2014-12-27