Обобщенный метод наименьших квадратов

В общем случае ковариационная матрица может быть любой симметричной положительно определенной матрицей.

Для исследования модели в общем случае (в частности, при наличии гетероскедастичности либо автокорреляции) используется так называемый обобщенный метод наименьших квадратов (сокращенно ОМНК).

Изложим этот метод.

Основные гипотезы общей линейной регрессионной модели.

1) (1)

2) (2)

3) , где (3)

– симметричная положительно определенная матрица размера

4) (4)

Поскольку симметричная положительно определенная матрица, обратная матрица также симметрична и положительно определена. Следовательно, существует такая симметричная положительно определенная матрица , что

(5)

В частности, если диагональная (случай гетероскедастичности):

(6)

то

(7)

и матрица имеет вид:

(8)

Можно показать, что

(9)

Умножим (1) слева на :

(10)

Обозначим:

, , (11)

В силу (11) равенство (10) можно записать:

(12)

В силу (2) и (11):

.

Следовательно,

(13)

В силу (3), (9), (11)

Следовательно,

(14)

Если отклонения распределены нормально (при условии ), то и также распределены нормально (при условии ).

Следовательно, для модели (12) выполнены условия классической линейной регрессионной модели. Поэтому все результаты, полученные для классической регрессионной модели, справедливы и для модели (12).

В соответствии с формулой для МНК-оценок коэффициентов регрессии для модели (12) в силу (5):

. (15)

Итак, МНК-оценка для модели (5):

(16)

Эта оценка называется ОМНК-оценкой для исходной модели (1).

Как следует из результатов для классической модели, ОМНК-оценка является несмещенной и эффективной линейной оценкой вектора коэффициентов .

В силу (5) в соответствии с формулой для ковариационной матрицы оценок коэффициентов для классической модели:

Итак,

(17)

Обозначим:

(18)

(19)

прогнозные значения и соответствующие остатки для исходной модели с использованием .

Обозначим:

(20)

(21)

прогнозные значения и соответствующие остатки для новой модели.

В соответствии с формулой (3.32):

(21’)

В соответствии с результатами для классической модели случайные векторы и независимы.

В соответствии с формулой (3.34):

(21’’)

В соответствии с формулой (3.35) для классической модели необъясненная дисперсия для новой модели равна:

(22)

Величина является несмещенной оценкой параметра .

Как следует из результатов для классической модели:

(22’)

В силу (11), (18)-(22):

Итак, величина может быть найдена по формуле:

(23)

Обозначим:

, (39)

В силу несмещенности оценки из (24) следует, что матрица (39) является несмещенной оценкой ковариационной матрицы векторной МНК-оценки .

Заметим, что элементы главной диагонали матрицы – оценки дисперсий коэффициентов . Следовательно, величины:

(40)

можно считать оценками стандартных отклонений коэффициентов .

При выполнении гипотезы (4) величины:

(41)

являются t -статистиками для новой модели, и, следовательно, имеют распределение Стъюдента с степенями свободы.

Поэтому, в соответствии с результатами для классической модели доверительные интервалы для коэффициентов определяются из равенства:

, (42)

где – уровень значимости, а – соответствующая двусторонняя квантиль распределения Стъюдента с числом степеней свободы .

В силу (41), (42) интервальные оценки для коэффициентов имеют вид:

(43)

Проверка гипотезы:

– матрица размером , , ,

– вектор-столбец длиной .

В соответствии с результатами для классической модели, при выполнении гипотезы:

(44)

величина:

(45)

имеет распределение Фишера (F -распределение) с степенями свободы:

(46)

Поскольку в силу (5), (11)

(47)

статистика (45) может быть записана в виде:

(48)

Отметим, что в силу формулы (39) формулу (48) можно также записать в виде:

(48’)

Напомним, что при выполнении гипотезы (44) имеет место равенство:

, (49)

где – -квантиль распределения Фишера с степенями свободы.

В случае, если нулевая гипотеза отвергается; если , нет оснований отвергать нулевую гипотезу (и она принимается).

Доверительная область для коэффициентов регрессии

Рассмотрим случай, когда .

Тогда равенство (44) примет вид:

Заменив на и на в формуле (48), получим:

(50)

Отметим, что в силу формулы (39) формулу (50) можно также записать в виде:

(50’)

В силу (49), (50) -доверительная область для вектора задается условием:

(51)

и является эллипсоидом в m -мерном пространстве.

С учетом (50’) условие (51) можно записать виде:

(51’)

Дата добавления: 2014-12-17