Способы построения оценок

Основные свойства статистических характеристик параметров распределения: несме-щенность, состоятельность, эффективность. Несмещенность и состоятельность выборочного среднего как оценки математического ожидания. Смещенность выборочной дисперсии. Пример несмещенной оценки дисперсии. Асимптотически несмещенные оценки. Способы построения оценок: метод наибольшего правдоподобия, метод момен-тов, метод квантили, метод наименьших квадратов, байесовский подход к получению оценок.

Лекция 17.

Получив статистические оценки параметров распределения (выборочное среднее, выбороч-ную дисперсию и т.д.), нужно убедиться, что они в достаточной степени служат приближе-нием соответствующих характеристик генеральной совокупности. Определим требования, которые должны при этом выполняться.

Пусть Θ* - статистическая оценка неизвестного параметра Θ теоретического распределения. Извлечем из генеральной совокупности несколько выборок одного и того же объема п и вычислим для каждой из них оценку параметра Θ: Тогда оценку Θ* можно рассматривать как случайную величину, принимающую возможные значения Если математическое ожидание Θ* не равно оцениваемому параметру, мы будем получать при вычислении оценок систематические ошибки одного знака (с избытком, если М (Θ*) >Θ, и с недостатком, если М (Θ*) < Θ). Следовательно, необходимым условием отсутствия систе-матических ошибок является требование М (Θ*) = Θ.

Определение 17.2. Статистическая оценка Θ* называется несмещенной, если ее математичес-кое ожидание равно оцениваемому параметруΘ при любом объеме выборки:

М (Θ*) = Θ. (17.1)

Смещенной называют оценку, математическое ожидание которой не равно оцениваемому параметру.

Однако несмещенность не является достаточным условием хорошего приближения к истин-ному значению оцениваемого параметра. Если при этом возможные значения Θ* могут значительно отклоняться от среднего значения, то есть дисперсия Θ* велика, то значение, найденное по данным одной выборки, может значительно отличаться от оцениваемого параметра. Следовательно, требуется наложить ограничения на дисперсию.

Определение 17.2. Статистическая оценка называется эффективной, если она при заданном объеме выборки п имеет наименьшую возможную дисперсию.

При рассмотрении выборок большого объема к статистическим оценкам предъявляется еще и требование состоятельности.

Определение 17.3. Состоятельной называется статистическая оценка, которая при п →∞ стре-мится по вероятности к оцениваемому параметру (если эта оценка несмещенная, то она будет состоятельной, если при п →∞ ее дисперсия стремится к 0).

Убедимся, что представляет собой несмещенную оценку математического ожидания М (Х).

Будем рассматривать как случайную величину, а х ₁, х ₂,…, х_п, то есть значения исследуемой случайной величины, составляющие выборку, – как независимые, одинаково распределенные случайные величины Х ₁, Х ₂,…, Х_п, имеющие математическое ожидание а. Из свойств математического ожидания следует, что

Но, поскольку каждая из величин Х ₁, Х ₂,…, Х_п имеет такое же распределение, что и генеральная совокупность, а = М (Х), то есть М () = М (Х), что и требовалось доказать. Выборочное среднее является не только несмещенной, но и состоятельной оценкой математического ожидания. Если предположить, что Х ₁, Х ₂,…, Х_п имеют ограниченные дисперсии, то из теоремы Чебышева следует, что их среднее арифметическое, то есть , при увеличении п стремится по вероятности к математическому ожиданию а каждой их величин, то есть к М (Х). Следовательно, выборочное среднее есть состоятельная оценка математического ожидания.

В отличие от выборочного среднего, выборочная дисперсия является смещенной оценкой дисперсии генеральной совокупности. Можно доказать, что

, (17.2)

где D_Г – истинное значение дисперсии генеральной совокупности. Можно предложить другую оценку дисперсии – исправленную дисперсию s ², вычисляемую по формуле

. (17.3)

Такая оценка будет являться несмещенной. Ей соответствует исправленное среднее квадратическое отклонение

. (17.4)

Определение 17.4. Оценка некоторого признака называется асимптотически несмещенной, если для выборки х ₁, х ₂, …, х_п

, (17.5)

где Х – истинное значение исследуемой величины.

1. Метод наибольшего правдоподобия.

Пусть Х – дискретная случайная величина, которая в результате п испытаний приняла значения х ₁, х ₂, …, х_п. Предположим, что нам известен закон распределения этой величины, определяемый параметром Θ, но неизвестно численное значение этого параметра. Найдем его точечную оценку.

Пусть р (х_i, Θ) – вероятность того, что в результате испытания величина Х примет значение х_i. Назовем функцией правдоподобия дискретной случайной величины Х функцию аргумента Θ, определяемую по формуле:

L (х ₁, х ₂, …, х_п; Θ) = p (x ₁,Θ) p (x ₂,Θ)… p (x_n,Θ).

Тогда в качестве точечной оценки параметра Θ принимают такое его значение Θ* = Θ(х ₁, х ₂, …, х_п), при котором функция правдоподобия достигает максимума. Оценку Θ* называют оценкой наибольшего правдоподобия.

Поскольку функции L и ln L достигают максимума при одном и том же значении Θ, удобнее искать максимум ln L – логарифмической функции правдоподобия. Для этого нужно:

1) найти производную ;

2) приравнять ее нулю (получим так называемое уравнение правдоподобия) и найти критическую точку;

3) найти вторую производную ; если она отрицательна в критической точке, то это – точка максимума.

Достоинства метода наибольшего правдоподобия: полученные оценки состоятельны (хотя могут быть смещенными), распределены асимптотически нормально при больших значениях п и имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками; если для оцениваемого параметра Θ существует эффективная оценка Θ*, то уравнение правдоподобия имеет единственное решение Θ*; метод наиболее полно использует данные выборки и поэтому особенно полезен в случае малых выборок.

Недостаток метода наибольшего правдоподобия: сложность вычислений.

Для непрерывной случайной величины с известным видом плотности распределения f (x) и неизвестным параметром Θ функция правдоподобия имеет вид:

L (х ₁, х ₂, …, х_п; Θ) = f (x ₁,Θ) f (x ₂,Θ)… f (x_n,Θ).

Оценка наибольшего правдоподобия неизвестного параметра проводится так же, как для дискретной случайной величины.

2. Метод моментов.

Метод моментов основан на том, что начальные и центральные эмпирические моменты являются состоятельными оценками соответственно начальных и центральных теоретических моментов, поэтому можно приравнять теоретические моменты соответствующим эмпирическим моментам того же порядка.

Если задан вид плотности распределения f (x, Θ), определяемой одним неизвестным параметром Θ, то для оценки этого параметра достаточно иметь одно уравнение. Например, можно приравнять начальные моменты первого порядка:

,

получив тем самым уравнение для определения Θ. Его решение Θ* будет точечной оценкой параметра, которая является функцией от выборочного среднего и, следовательно, и от вариант выборки:

Θ = ψ (х ₁, х ₂, …, х_п).

Если известный вид плотности распределения f (x, Θ₁, Θ₂) определяется двумя неизвестными параметрами Θ₁ и Θ₂, то требуется составить два уравнения, например

ν₁ = М ₁, μ₂ = т ₂.

Отсюда - система двух уравнений с двумя неизвестными Θ₁ и Θ₂. Ее решениями будут точечные оценки Θ₁* и Θ₂* - функции вариант выборки:

Θ₁ = ψ₁ (х ₁, х ₂, …, х_п),

Θ₂ = ψ₂(х ₁, х ₂, …, х_п).

3. Метод наименьших квадратов.

Если требуется оценить зависимость величин у и х, причем известен вид связывающей их функции, но неизвестны значения входящих в нее коэффициентов, их величины можно оценить по имеющейся выборке с помощью метода наименьших квадратов. Для этого функция у = φ (х) выбирается так, чтобы сумма квадратов отклонений наблюдаемых значений у ₁, у ₂,…, у_п от φ(х_i) была минимальной:

При этом требуется найти стационарную точку функции φ(x; a, b, c…), то есть решить систему:

(решение, конечно, возможно только в случае, когда известен конкретный вид функции φ).

Рассмотрим в качестве примера подбор параметров линейной функции методом наименьших квадратов.

Для того, чтобы оценить параметры а и b в функции y = ax + b, найдем Тогда . Отсюда . Разделив оба полученных уравнения на п и вспомнив определения эмпирических моментов, можно получить выражения для а и b в виде:

. Следовательно, связь между х и у можно задать в виде:

Дата добавления: 2014-01-04