Множественное линейное уравнение регрессии

Регрессии. Классический метод наименьших квадратов для модели множественной регрессии.

Пример проверки гипотезы о значимости коэффициентов парной регрессии и уравнения регрессии в целом

На основании исходных данных по двадцати банкам страны о размере прибыли в денежных единицах (результативная переn менная) и объемах выданных кредитов в денежных единицах (факторная переменная) было построено уравнение парной реn грессии вида:

)

y =25,65+0,1´(x −220.

При проверке значимости (предположения того, что параметn ры отличаются от нуля) коэффициента регрессии выдвигается осn

новная гипотеза ки: H 0/ 1=0.

H 0 о незначимости полученной оценn

b

Альтернативной (или обратной) выдвигается гипотеза о знаГ чимостикоэффициента регрессии: H 1/ 1¹0.

Для проверки выдвинутых гипотез используется tnкритерий (tnстатистика) Стьюдента.

å

å

=

å

å

.

Формула наблюдаемого значения tnкритерия Стьюдента для проверки гипотезы H 0/ b = 0 имеет вид:

b

w

tнабл =(b),

b

где 1— оценка параметра регрессии b;

(

1 1

w b) — величина стандартной ошибки параметра регрессии b.

b

В случае парной линейной модели регрессии показатель w(1) вычисляется таким образом:

(

w b)=

n

i

=

e 2 i 1

n

(n −2)´ (xi − x)2

i 1

=

Числитель стандартной ошибки может быть рассчитан через парный коэффициент детерминации как:

å å

()

n n

i

e 2= yi − yi 2= n ´ G 2(y)´(1− ryx),

i =1 i =1

где G 2(y) — общая дисперсия зависимого признака;

r

yx — парный коэффициент детерминации между зависимым и независимым признаками.

Рассчитаем общую дисперсию результативного признака по исходным данным:

G 2(y)= y 2− y 2=721,55−657,92=63,63.

Тогда стандартная ошибка будет равна:

w

(b)=

n

i

e 2 i =

n

(n −2)´ (xi − x)2

i 1

(

=

)

20´63,63´ 1−0,85) (20−2 ´170

=

= 190,89=0,053.

Рассчитаем наблюдаемое значение tnкритерия:

b

0,1

w

tнабл =(b)=0,053 =1,88.

крит

Критическое значение tnкритерия t (a; n − h), где a — уроn вень значимости, (n − h) — число степеней свободы, определяетn

ся по таблице распределений tnкритерия Стьюдента.

крит крит

В данном случае t (a; n − h) = t (0,05; 20 − 2) = 1,73.

набл крит

Наблюдаемое значение tnкритерия по модулю больше его криn тического значения, т. е. | t | > t. Таким образом, коэффиn циент парной регрессии оказался значимым.

Проверим значимость уравнения регрессии через проверку гипотезы о значимости парного коэффициента детерминации.

yx

Основная гипотеза формулируется как H / r 2 = 0 — парный коэффициент детерминации незначим, и, следовательно, уравнеn ние регрессии также является незначимым.

yx

Альтернативная ей гипотеза H / r 2 ¹ 0 — парный коэффиn циент детерминации значимо отличается от нуля, следовательно, построенное уравнение регрессии является значимым.

yx

Рассчитаем коэффициент детерминации как квадрат парного коэффициента корреляции: r 2= 0,852= 0,7225.

Для проверки гипотезы о значимости уравнения регрессии в целом используется Fnкритерий Фишера.

Критическое значение Fnкритерия находится по таблице расn

1 2

пределения Фишера — Снедекора в зависимости от уровня знаn чимости a и числа степеней свободы: k = h − 1 и k = n − h.

a

В случае проверки значимости уравнения парной регрессии криn тическое значение Fnстатистики вычисляется как (; 1; n − 2).

В нашем примере

(

a

F

к

крит (;1; n −2)= F рит 0,05;1;18)=4,41.

Формула наблюдаемого значения Fnкритерия для проверки гипотезы о незначимости парного уравнения регрессии имеет вид:

r

,7225

(

yx

−

н

y

F абл =1− rx ´ n −2)=100,7225´18=46,84.

Наблюдаемое значение Fnкритерия оказалось больше его криn тического значения, следовательно, линейное уравнение парной регрессии является значимым.

Построенное уравнение регрессии между получаемой приn былью и объемом выдаваемых кредитов на 72,25% объясняет ваn риацию зависимой переменной в общем объеме ее вариации. 27,75% дисперсии зависимой переменной остались необъясненn ными.

ЛЕКЦИЯ № 7. Линейная модель множественной

Модель множественной регрессии является методом выявлеn ния аналитической формы связи между зависимым (или резульn тативным) признаком и несколькими независимыми (или факn торными) переменными. Ее построение целесообразно в том случае, если коэффициент множественной корреляции показал наличие связи между переменными.

Общий вид линейного уравнения множественной регрессии:

b

b

b

yi = 0+ 1 x 1 k + ј + nxik +

i

1 k ik

где y — значение i nой зависимой переменной, i =1, n; x, ј, x — значения независимых переменных;

0 n

b, ј, b — параметры уравнения регрессии, подлежащие оценn ке;

i

e— случайные ошибки множественного уравнения регрессии. Модель нормальной линейной множественной регрессии

строится исходя из следующих предпосылок:

1) величины x 1 i, ј, xki являются неслучайными и независимыn

ми переменными;

i

i i

2) математическое ожидание случайной ошибки уравнения реn грессии равно нулю во всех наблюдениях: E (e) = 0, где i =1, n;3) дисперсия случайной ошибки уравнения регрессии являетn ся постоянной для всех наблюдений: D (e) = E (e) = const;

i j i j

4) случайные ошибки уравнения регрессии не коррелированы между собой, т. е. ковариация случайных ошибок любых двух разных наблюдений равна нулю: Cov (e,e) = E (ee) = 0. Это предположение верно в том случае, если изучаемые данные не являются временными рядами;

i

5) основываясь на 3 и 4nм предположениях, добавляется услоn вие о том, что случайная ошибка уравнения регрессии являетn ся случайной величиной, подчиняющейся нормальному закоn ну распределения с нулевым математическим ожиданием и дисперсией G 2/ e∼ N (0, G 2).

ç ÷

ç ÷

=

ç ÷

ç ÷

Уравнение множественной линейной регрессии в матричном виде:

+

,

Y = X b e

æ y ö где Y ç y 2÷

è yn ø

— вектор значений зависимой переменной размерности n ´ 1;

x x x

ç ÷

æ1 11 12 ј 1 k ö

=

ç ÷

ј ј ј ј

X ç1 x 21 x 22 ј x 2 k ÷ —векторзначенийнезависиn

ç ÷

ç ÷

мой переменной размерности

è1 xn 1 xn 2 ј xnk ø n ґ (k + 1).Первый столбец явn ляется единичным, так как в уравнении регрессии параметр b умноn жается на 1.

ç ÷

æb ö

=

ç ÷

b çb÷ —вектор неизвестных параметров модели мноn

ç ÷

b

ç ÷ жественнойрегрессии размерности (k + 1) ґ 1;

è k ø

ç ÷

æeö

=

ç ÷

e çe÷ —векторслучайныхошибокуравнениярегрессии

ç ÷

e

ç ÷ размерности n ґ 1.

è n ø

Добавление в модель такого компонента, как вектор случайn ных ошибок, необходимо в связи с практической невозможноn стью оценить связь между переменными со стопроцентной точn ностью.

Нормальная линейная модель множественной регрессии в матричной форме строится исходя из следующих предположений:

1 k ik

1) факторные признаки x,ј, x являются детерминированными неслучайными величинами.В терминах матричной записи X — это детерминированная матрица ранга (k + 1), т. е. столбцы матрицы X линейно независимы между собой;

e

2) математическое ожидание случайной ошибки уравнения регрессии равно нулю во всех наблюдениях: E() = 0;

3) предположения о том, что дисперсия случайной ошибки уравнения регрессии является постоянной для всех

G

ç

ç

ç

ç

ç

÷

ø

÷

=

÷

÷

÷

e

наблюдений и ковариация случайных ошибок любых двух разных наблюдений равна нулю, можно записать с помощью ковариационной матрицы случайных ошибок нормальной линейной модели множественной регрессии:

æ 2

ç

S = 0

ç

ç 0

G 2

0ö æ10÷ G 2ç0

G 2÷ è0

0ö

= I

0÷ G 2 n,

÷

è

ø

;

e

где G 2— дисперсия случайной ошибки уравнения регрессии e I n — единичная матрица размерности n ґ n;

e

4) — независимая и не зависящая от X случайная величина, подчиняющаяся многомерному нормальному закону распределения с нулевым математическим ожиданием идисперсией G 2: ® N (0; G 2I n).

Дата добавления: 2013-12-12