Состоятельность и несмещенность МНКйоценок

ДлятогочтобыоценкуJ i, полученнуюспомощьюметода наименьших квадратов, можно было бы принять за оценку параn метра J i, необходимо и достаточно, чтобы оценка J i удовлетвоn ряла трем статистическим свойствам: несмещенности, состояn

тельности и эффективности.

1.J i называется несмещенной оценкой для параметра J i,если ее выборочное математическое ожидание равно оцениваемому параметру генеральной совокупности, т. е.

E(J i)=J i, (3)

)

()

b

b

E

+ =

=E

ç ÷

å

b e

å

ç ÷

i

−

e

b

+E =

ç ÷

æ ö

å

å

ç ÷

i

1 1

−

f

J

−

E(i) J i = i,

i

b

где f — смещение оценки.

Докажем, что МНКnоценка 1 является несмещенной оценn кой параметра b для нормальной линейной регрессионной модеn

ли. Исходя из предпосылок данной модели, можно записать: 1) x — неслучайная детерминированная величина;

2) G 2(x) = const — дисперсия независимого признака является известной постоянной величиной;

3) E(Cov (x,e)) = 0 — случайная ошибка и независимый призn нак не коррелированы между собой;

i

4) E(e) = 0 — математическое ожидание случайной ошибки уравнения равно нулю во всех наблюдениях;

1 2 1 2

()

b

b

5) Cov (e, e) = E(e, e) = 0 — случайные ошибки уравнения реn грессии не коррелированы между собой, т. е. ковариация слуn чайных ошибок любых двух разных наблюдений равна нулю. Исходя из определения свойства несмещенности необходимо

доказать, что E 1 = 1.

Доказательство через ковариационную матрицу:

æ Cov (x,eö1 è 1 G 2(x) ø

æ Cov (x,)ö

1 è G 2(x) ø

b

1+ G 2(x)= 1b

или в развернутом виде

ç ÷

E(b)=E b+ (xi − x)´ e=

è (xi x) ø

æ ö

ç ÷

+E (xi − x)´ =

è (xi x) ø

æ ö

ç ÷

)

ç ÷

å

()

i

2

−

.

=b+Eå (xi − x) ´E(e=b

è xi x ø

b

Таким образом, МНКnоценка является несмещенной оценn

кой параметра b.

Несмещенность МНКnоценки b доказывается аналогично. Запишем доказательство несмещенности МНКnоценок параn

метров b в матричной форме:

é ù

b

b

− −

ë û

)

E()=E((XTX)1 XTY)=E(XTX)1 XT (X +e=

é ù

+

ë û

b

e

b

=E (XTX)−1 XTX b (XTX)−1 XT e= = +((XTX)−1 XT E()) =,

b

,

i

т.е.E()=bчтодоказывает несмещенность МНКnоценок параметров b.

2. J i является состоятельнойоценкой для параметра J i,еслиона удовлетворяет закону больших чисел (ЗБЧ). Закон больших

чисел гласит о том, что с увеличением выборки значение оценки J i стремитсякзначениюпараметраJ i генеральнойсовокупности:

q

P (J i −J i <)®1при n ®¥. (4)

Это же условие можно записать с помощью теоремы Бернулли:

P

J i ⎯⎯®J i при n ®¥,

т.е.значениеоценкиJ i сходится по вероятности к значению параметраJ i генеральнойсовокупностиприусловии,чтообъем

выборки стремится к бесконечности.

Для определения состоятельности оценки достаточно выполn нения двух условий:

i i

1) f = 0 или f ® 0 при n ® ¥ — смещение оценки равно нулю или стремится к нему при объеме выборки, стремящемся

к бесконечности;

2) G 2(J i)®0 при n ®¥ —дисперсия оценки параметра стреn мится к нулю при объеме выборки, стремящемся к бесконечn

b

ности.

b

f

b

b

b

Докажем первое условие состоятельности для МНКnоценки 1:1=E(1)−1=1−1=0.

Докажем второе условие состоятельности для МНКnоценки:

1 1

é ù

æ ö

ê ú

å

e

)

ê ú

å

ç ÷

i

−

2 G 2(b)=E(b− b2=E ç (xi − x)´ ÷=

è

ë (xi x) øû

é ù

ê ú

e

ê ú

å

i

é ù

−

ê ú

=Eå (xi − x) 2´2 =ë ë (xi x)û û

)

e

å

å

i

2 2

é ù

=å (xi − x)2 ´E(2 = G 2(x).

ë (xi − x)2û (xi − x)

i

Докажем состоятельность МНКnоценок параметров b в матn ричной форме:

é

b

b b

ê

ë

ù

)

T

b

ú

û

e

e

e

e

E

,

Cov ()=E(−)´(− b=E((XTX)−1 XT T X (XTX)−1)== (XTX)−1 (e T) X (XTX)−1= G ()(XTX)−1

Такимобразом,МНКnоценкаb подчиняетсянормальномузаnкону распределения с математическим ожиданием b и дисперсией

å

ç ÷

b

å

ç ÷

i

1 1

−

(G 2(x)/ (x − x)2) / b ~ N æ; G 2(x) öè (xi x)ø

b b e

−

или 1~ N (1; G 2()(XTX)22),

22 1

b

где индекс указывает на расположение дисперсии параметра b в матрице ковариаций.

Состоятельность МНКnоценки 0 доказывается аналогично.

()

()

()

Величины

b

e

= S

X X

S

2 T −11 22

называются оценками стандартных ошибок МНКГоценок b и b Эффективность МНК—оценок доказывается с помощью теоn

ремы Гаусса—Маркова.

Таким образом, оценки параметров уравнения регрессии и дисперсии случайной ошибки, полученные методом наименьn ших квадратов, являются оптимальными оценками, т. е. несмеn щенными, состоятельными и эффективными.

Дата добавления: 2013-12-12