Зависимость зависимость

Детерминированная Стохастическая Стохастичность

Предположим, что между y и x имеется стохастическая зависимость вида

где e – нормально распределенная случайная величина, не зависящая от x. Эти предположения называются классической нормальной регрессионной моделью. Наша задача – по данным наблюдений дать наилучшую оценку параметров a ₁ и a ₀. Теорема Гаусса–Маркова утверждает, что статистическая оценка с наименьшей дисперсией (то есть эффективная оценка) может быть получена методом наименьших квадратов Гаусса.

Пусть – произвольная прямая на плоскости . Будем измерять совокупное расстояние от системы наблюдаемых точек выборки до прямой с помощью функции Гаусса

Принцип наименьших квадратов заключается в том, чтобы в качестве параметров b ₀ и b ₁ выбрать решение задачи

Поскольку функция квадратичная и выпуклая, у задачи имеется единственное решение. По теореме Ферма в точке минимума имеем

откуда следует, что

После приведения подобных слагаемых, получаем:

Коэффициенты этой системы можно интерпретировать в статистических терминах. Вспомним, что

, , .

Тогда систему последнюю систему уравнений можно записать в виде

Исключая переменную b, получим

Û .

В результате получаем формулу для оценки параметра a ₁:

Для параметра a ₀ получаем оценку:

Уравнение регрессии удобно записать в следующем виде. Обозначим ,

,

Коэффициент называется выборочным коэффициентом корреляции. Тогда функция регрессии задается уравнением

Формулы, полученные для оценки параметров a ₀ и a ₁ линейной части стохастической зависимости y от x в классической нормальной регрессионной модели, являются состоятельными и несмещенными.

Статистика является состоятельной оценкой некоторого параметра q генеральной совокупности, если выполнено соотношение .

Иными словами, является случайной величиной, вероятность уклонения которой от параметра q на произвольно малое расстояние e стремится к нулю с ростом объема выборки N. Реализацию случайной величины принимают за статистическую оценку параметра q по выборке . Оценка является несмещенной, если .

Докажем состоятельность оценки b ₁. Для этого вычислим математическое ожидание и дисперсию b ₁, а затем воспользуемся неравенством Чебышева.

Получаем:

Здесь использовано то обстоятельство, что величины являются неслучайными, и . Таким образом, оценка b ₁ для параметра a ₁ является несмещенной.

Прежде чем вычислять дисперсию случайной величины b ₁, преобразуем b ₁ к следующему виду

Вспоминая, что дисперсия суммы независимых случайных величин равна сумме их дисперсий, а постоянный множитель выносится из–под знака дисперсии с квадратом, получаем:

Поскольку выбор значений x_i в выборке (x_i, y_i) можно контролировать (переменные x_i можно считать детерминированными), при неограниченном увеличении объема выборки N дисперсия статистики b ₁ стремится к нулю как . В силу неравенства Чебышева

,

получаем, что оценка b ₁ является состоятельной, то есть

.

ЗАМЕЧАНИЕ. Сумма любого числа нормально распределенных независимых случайных величин распределена по нормальному закону. В силу соотношения

,

статистика b ₁ распределена нормально с математическим ожиданием a ₁ и средним квадратичным уклонением . Здесь параметр s есть среднее квадратичное уклонение нормально распределенных случайных величин e_i. Таким образом,

Теперь мы можем дать оценку параметра s случайных величин e_i. Если бы случайные величины e_i были наблюдаемы, и их реализации в статистическом эксперименте оказались бы равны , то самой простой состоятельной и несмещенной оценкой дисперсии и, соответственно, среднего квадратичного уклонения каждой из этих величин были бы статистики

и

соответственно. С учетом соотношения , статистическим наблюдением случайной величины e_i является величина . Однако эта величина не является наблюдаемой, и вместо нее мы можем наблюдать лишь величину . Вычислим, реализацией какой случайной величины является . Подставляя формулы

, ,

получаем

.

Подставляя, в свою очередь, соотношения

,

окончательно получаем

.

Легко вычислить математическое ожидание для статистик : . Сложнее вычислить дисперсию . При случайные величины , являются независимыми, поэтому . Поскольку , получаем . Следовательно, в выражении ненулевыми являются только математические ожидания “чистых” квадратов . С учетом соотношения

,

получаем

Подставляя , получим

При вычислении были использованы два тождества

, .

Составим так называемую остаточную сумму квадратов, то есть величину , и вычислим . Суммируя по i, получим

Следовательно, несмещенной оценкой параметра s случайной величины e является статистика .

Дата добавления: 2014-12-16