Оценка параметров случайных величин

Лекция №8.

1. Оценка как функция случайных величин – результатов наблюдений.

Рассмотрим вопрос об определении числовых характеристик случайной величины Х по результатам n независимых опытов. Обозначим наблюденные значения случайной величины

Х₁, Х₂, …, Х_n.

Их можно рассматривать как n «экземпляров» случайных величин Х, то есть n независимых случайных величин. Каждая из которых распределена по тому же закону, что и случайная величина Х.

Обозначим ã оценку параметра а. Любая оценка, вычисленная на основе материала Х₁, Х₂, …, Х_n должна представлять собой функцию этих величин:

ã=φ(Х₁, Х₂, …, Х_n)

и, следовательно, сама является величиной случайной. Такая оценка называется «точечной». Закон распределения ã зависит, во-первых, от закона распределения величины Х (и, в частности, от самого неизвестного параметра а): во-вторых, от числа опытов n. В принципе этот закон распределения может быть найден известными методами теории вероятностей.

2. Критерии оценок.

Ø Состоятельность.

Если при увеличении числа опытов n оценка ã сходится по вероятности к параметру а, то такая оценка называется состоятельной.

Ø Несмещенность.

Если математическое ожидание оценки ã равно оцениваемому параметру а, т. е. выполняется

М[ã]=a,

то такая оценка называется несмещенной.

Ø Эффективность.

Если оценка ã обладает по сравнению с другими оценками наименьшей дисперсией, т. е.

D[ã]=min,

то она назывется эффективной.

На практике не всегда удается удовлетворять всем этим требованиям. Например, может оказаться, что, даже если эффективная оценка существует, формулы для ее вычисления оказываются слишком сложными, и приходится удовлетворяться другой оценкой, дисперсия которой несколько больше. Иногда применяются – незначительно смещенные оценки. Однако выбору оценки всегда должно предшествовать ее критическое рассмотрение со всех перечисленных выше точек зрения.

3. Оценки для математического ожидания и дисперсии.

Пусть имеется случайная величина Х с математическим ожиданием m и дисперсией D; оба параметра неизвестны. Над величиной Х произведено n независимых опытов, давших результаты X₁, X₂,..., X_n.

В качестве оценки для математического ожидания естественно взять статистическое среднее m*:

Можно доказать, что эта оценка является состоятельной и несмещенной. Если величина Х распределена по нормальному закону, дисперсия будет минимально возможной, т. е. оценка является эффективной. Для других законов распределения это может быть и не так.

Если в качестве оценки дисперсии взять статистическую дисперсию D*

,

то при проверки окажетя, что эта оценка состоятельная, но не является несмещенной. Ее математическое ожидание:

Пользуясь оценкой D* вместо дисперсии D, мы будем совершать некоторую систематическую ошибку в меньшую сторону. Чтобы ликвидировать это смещение, достаточно ввести поправку, умножив величину D* на n/(n-1).

Оценка

называется «исправленной» статистической дисперсией. Эта оценка состоятельная и несмещенная, но эффективной она не является. Однако в случае нормального распределения она является «асимптотически эффективной», то есть при увеличении n отношение ее дисперсии к минимально возможной неограниченно приближается к единице.

4. Метод моментов для точечной оценки параметров распределения.

Это метод основан на том, что начальные и центральные статистические моменты являются состоятельными оценками соответственно начальных и центральных теоретических моментов того же порядка. Метод предложен К. Пирсоном и состоит в приравнивании теоретических моментов рассматриваемого распределения соответствующим статистическим моментам того же порядка.

Пусть задан вид плотности распределения f(x,θ), определяемый одним неизвестным параметром θ. Требуется найти точечную оценку параметра θ.

Следуя методу моментов, приравняем начальный теоретический момент первого порядка начальному статистическому моменту первого порядка:

m=m*

Математическое ожидание, как видно из соотношения

есть функция от θ, поэтому выражение

можно рассматривать как уравнение с одним неизвестным θ. Решив это уравнение относительно параметра θ, тем самым найдем его точечную оценку.

Пусть задан вид плотности распределения f(x;θ₁,θ₂), определяемый неизвестными параметрами θ₁ и θ₂. Для отыскания двух параметров необходимы два уравнения относительно этих параметров. Следуя методу моментов приравняем начальный теоретический момент первого порядка начальному статистическому моменту первого порядка и центральный теоретический момент второго порядка центральному статистическому моменту второго порядка:

m=m* D=D*

Учитывая, что

и

можем составить систему двух уравнений с двумя неизвестными

Решив эту систему относительно неизвестных параметров θ₁ и θ₂,тем самым получим их точечные оценки.

5. Метод наибольшего правдоподобия.

Предложен Р. Фишером.

Дискретные случайные величины. Пусть Х – дискретная случайная величина, которая в результате n испытаний приняла значения x₁, x₂,..., x_n. Допустим, что вид закона распределения величины Х задан, но неизвестен параметр θ, которым определяется этот закон. Требуется найти его точечную оценку.

Обозначим вероятность того, что в результате испытания величина Х примет значение x_i (i=1, 2,..., n), через p(x_i; θ).

Функцией правдоподобия дискретной случайной величины Х называют функцию аргумента θ:

,

где x₁, x₂,..., x_n – фиксированные числа.

В качестве точечной оценки параметра θ принимают такое его значение θ*, при котором функция правдоподобия достигает максимума. Оценку θ* называют оценкой наибольшего правдоподобия.

Функции L и ln L достигают максимума при одном и том же значении, поэтому вместо отыскания максимума функции L ищут (что удобнее) максимум функции ln L. Функцию ln L назывют логарифмической функцией правдоподобия.

Непрерывные случайные величины. Пусть Х – непрерывная случайная величина, которая в результате n испытаний приняла значения x₁, x₂,..., x_n. Допустим, что вид плотности распределения f(x; θ) задан, но не известен параметр θ, которым определяется эта функция.

Функцией правдоподобия непрерывной случайной величины Х назывют функцию аргумента θ

где x₁, x₂,..., x_n – фиксированные числа.

Оценку наибольшего правдоподобия неизвестного параметра распределения непрерывной случайной величины ищут так же, как в случае дискретной величины.

6. Доверительный интервал. Доверительная вероятность.

Чтобы дать представление о точности и надежности оценки ã, в математической статистике пользуются так называемыми доверительными интервалами и доверительными вероятностями. Эти понятия особенно актуальны при малом числе наблюдений, когда точечная оценка ã в значительной мере случайна и приближенная замена а на ã может привести к серьезным ошибкам.

Пусть для параметра а получена несмещенная оценка ã. Мы хотим оценить возможную при этом ошибку. Назначим некоторую достаточно большую вероятность (например, β=0,9, 0,95 или 0,99) такую, что событие с вероятностью β можно считать практически достоверным, и найдем такое значение ε, для которого

Тогда диапазон практически возможных значений ошибки, возникающей при замене а на ã, будет ; большие по абсолютной величине ошибки будут появляться только с малой вероятностью.

Перепишем приведнное выше равенство в виде:

Это означает, что с вероятностью β неизвестное значение параметра а попадает в интервал

I_β=(ã-ε; ã+ε).

Доверительным называют интервал, который покрывает неизвестный параметр с заданной вероятность (надежностью).

Доверительной вероятностью (надежностью) называется вероятность, с которой осуществляется неравенство .

Величина а не случайна, зато случаен интервал. Случайно его положение на оси абсцисс, определяемое его центром ã; случайна вообще и длина интервала 2ε, так как величина ε вычисляется, как правило, по опытным данным. Поэтому лучше толковать величину β не как вероятность «попадания» точки а в интервал I_β, а как вероятность того, что случайный интервал I_β накроет точку а.

Мы рассматривали доверительный интервал симметричный относительно относительно ã, вообще говоря это не обязательно.

Чтобы оценить точность и надежность оценки, нужно знать ее закон распределения. Если бы нам был известен закон распределения величины ã, задача нахождения доверительного интервала была бы весьма проста: достаточно было бы найти такое значение ε, для которого

.

Затруднение состоит в том, что закон распределения оценки ã зависит от закона распределения величины Х и, следовательно, от его неизвестных параметров (в частности, и от самого параметра а).

7. Доверительный интервал для математического ожидания нормально распределенной случайной величины с известной дисперсией.

Примем без доказательства, что если случайная величина Х распределена нормально, то взятое в качестве оценки ее математического ожидания статистическое среднее

есть случайная величина, распределенная нормально, и параметры этого закона следующие:

,

где m, D и σ соответствующие параметры закона распределения случайной величины Х.

Рассмотрим случайную величину . Закон распределения Δ также будет нормальным, а его параметры:

M[Δ]=0, D[Δ]=0, σ_Δ=σ/√n

Определим вероятность попадания случайной величины Δ на отрезок [-α, α]

Обозначим

Задав доверительную вероятность β, по таблице значений интегральной функции Лапласа легко определить значение u, учитывая что . Затем определяем α

.

Теперь можем записать

,

или

.

Таким образом это доверительный интервал для математического ожидания случайной величины Х, с нормальным законом распределения, при заданной доверительной вероятности β.

Дата добавления: 2014-01-20