Эффективность МНКйоценок. Теорема Гаусса—Маркова

С помощью теоремы Гаусса — Маркова доказывается эффекn тивность оценок неизвестных параметров уравнения регрессии, полученных с помощью МНК.

Нормальная, или классическая, линейная модель парной реn грессии (регрессии с одной переменной) строится исходя из слеn дующих предположений:

i

1) факторный признак x является неслучайной или детермиn

;

нированной величиной, не зависящей от распределения слуn

i

чайной ошибки уравнения регрессии e

e

2) математическое ожидание случайной ошибки уравнения

i

регрессииравнонулювовсехнаблюдениях: E()=0, где i =1, n;

e

e

i

3) дисперсия случайной ошибки уравнения регрессии является постоянной для всех наблюдений: D (i)=E(2)= G 2=cons t;

b

ç

÷

,

b

ø

4) случайные ошибки уравнения регрессии не коррелированы

e

e

e

между собой, т. е. ковариация случайных ошибок любых двух разn

ныхнаблюденийравнанулю: Cov (i, j)=E(i e j)=0, где i ¹ j. Это верно тогда, когда изучаемые данные не являются временn ными рядами;

i

5) основываясь на 3 и 4nм предположениях, добавляется услоn вие о том, что ошибка уравнения регрессии является случайn ной величиной, подчиняющейся нормальному закону распреn деления с нулевым математическим ожиданием и дисперсией G 2/ e∼ N (0, G 2).

0 n

Тогда оценки неизвестных параметров уравнения регрессии, полученные методом наименьших квадратов, имеют наименьn шую дисперсию в классе всех линейных несмещенных оценок, т. е. оценки МНК являются эффективными оценками неизвестных параметров b, ј, b.

Для нормальной линейной модели множественной регрессии теорема Гаусса — Маркова звучит точно так же.

æ

Дисперсии МНКnоценок неизвестных параметров записыn ваются с помощью матрицы ковариаций. Матрица ковариаций МНКnоценок параметров линейной модели парной регрессии выглядит так:

b

ç

Cov ()= G 2(0)

è 0

0 ö G 2(1)÷

b

где G 2(0)— дисперсия МНКnоценки параметра уравнения регрессии;

b

b

e

−

G 2(1)—дисперсия МНКnоценки параметра уравнения регрессии. Общая формула для расчета матрицы ковариаций МНКnоцеn

ноккоэффициентоврегрессии: Cov ()= G 2()´(XTX) 1,

)

где G 2(e —дисперсияслучайнойошибкиуравнениярегрессии.Рассмотрим процесс определения дисперсий оценок коэффиn

циентов линейной модели парной регрессии, полученных с поn

мощью метода наименьших квадратов.

Дисперсия МНКnоценки коэффициента уравнения регрессии b:

e

(

)

G x

ç ÷

ç ÷

è ø

2 æ 2 ö G 2(b)= n 1+ G 2(x);

дисперсия МНКnоценки коэффициента уравнения регрессии b:

e

)

(

b

´

G 2(1)= nGG 2(x),

e

где G 2()— дисперn

сия случайной ошибки уравнения регрессии e;

G 2(x)— дисперсия независимого признака уравнения реn грессии;

n — объем выборочной совокупности.

На практике значение дисперсии случайной ошибки уравнеn

)

e

ния регрессии G 2(e зачастую неизвестно, поэтому для опредеn ления матрицы ковариаций МНКnоценок применяют оценку дисперсии случайной ошибки уравнения регрессии S 2().В слуn чае парной линейной регрессии оценка дисперсии случайной ошибки будет рассчитываться по формуле:

n

i

e

e

−

n

å e 2 G 2()= S 2()= i =1 2,

i i i

где e 2= y − y —остаткирегрессионноймодели.

Тогда общую формулу для расчета матрицы ковариаций МНКnоценок коэффициентов регрессии на основе оценки дисn персии случайной ошибки уравнения регрессии можно записать следующим образом:

b

e

−1

G ()= S 2()´(XTX).

В случае линейной модели парной регрессии оценка дисперсии МНКnоценки коэффициента уравнения регрессии b:

å å

n n

i

e 2´ xi

1 1

n

S 2(b)= i = i =; n ´(n −2)´å(xi − x)2

i =

оценка дисперсии МНКnоценки коэффициента уравнения реn грессии b:

n

i

n

å e 2 S 2(b)= i =1.

(n −2)´å(xi − x)2

=

i 1

ЛЕКЦИЯ № 5. Определение качества модели

Дата добавления: 2013-12-12