Альтернативный метод нахождения параметров

Классический метод наименьших квадратов для модели парной регрессии

Рассмотрим применение метода наименьших квадратов для нахождения неизвестных параметров уравнения регрессии на примере модели линейной парной регрессии.

Пусть подобрана эмпирическая линия, по виду которой можно судить о том, что связь между независимой переменной и зависиn мой переменной линейна и описывается равенством:

b

b

yi = 0+ 1 xi. (1)

Необходимо найти такие значения параметров b иb,котоnрые бы доставляли минимум функции (1), т. е. минимизировали бы сумму квадратов отклонений наблюдаемых значений резульn тативного признака y от теоретических значений y (значений, рассчитанных на основании уравнения регрессии):

å å

n n

b

b

1 1

F = (yi − yi)2= (yi − 0− 1 xi)®min. (2) i = i =

0 1

При минимизации функции (1) неизвестными являются значеn ния коэффициентов регрессии b и b. Значения зависимой и неn зависимой переменных известны из наблюдений.

Для того чтобы найти минимум функции двух переменных, нужно вычислить частные производные этой функции по каждоn му из оцениваемых параметров и приравнять их к нулю. В резульГ тате получаем стационарную систему уравнений для функции (2):

n

¶

b

ï

y

b

¶

ï

=

í

ì F =−2å(i −b−1)=0,0 i 1

ï

¶

F

å

n

b

ï

b

î¶1=−2 i =(yi − b − 1)´ xi =0.

Если разделить обе части каждого уравнения системы на (–2), раскрыть скобки и привести подобные члены, то получим систему:

å å å

b

b

ï

ì n n n

ï

1 1 1

í

1 xi + 0 xi = xi ´ yi, i = i = i =

n n

b

b

ï

î

ï1å xi +0´ n =å yi. i 1 i 1

b

b

0 1

Это система нормальных уравнений относительно коэффиn циентов b и b для зависимости yi = 0+ 1 xi.

0 1

Решением системы нормальных уравнений являются оценки неизвестных параметров уравнения регрессии b и b:

å å å

n n n

i

æ ö

2 2

G x

()

x − x

n n

b = ni =1 xi ´ yi − i =1 xi ´ i =1 y = xy − xy = Cov (x, y),

ç ÷

−

è ø

n å xi çå xi ÷ 2 2 i =1 i =1

b

b

0= y − 1´ x,

где y — среднее значение зависимого признака;

x — среднее значение независимого признака;

xy — cреднее арифметическое значение произведения заn

висимого и независимого признаков;

G 2(x)— дисперсия независимого признака;

Cov (x, y) — ковариация между зависимым и независимым признаками.

Рассмотрим применение МНК на конкретном примере. Имеются данные о цене на нефть x (долларов за баррель) и инn

b

b

дексе акций нефтяной компании y (в процентных пунктах). Треn буется найти эмпирическую формулу, отражающую связь между ценой на нефть и индексом акций нефтяной компании исходя из предположения, что связь между указанными переменными лиn нейнаиописываетсяфункциейвида yi = 0+ 1 xi. Зависимойпеременной (y) в данной регрессионной модели будет являться индекс акций нефтяной компании, а независимой (x) — цена на нефть.

0 1

Для нахождения коэффициентов b и b построим вспомогаn тельную таблицу 1.

00 11

Таблица 1 Таблица для нахождения коэффициентов bb и bb

№ Наблюдения	Цена на нефть — x, ден. Ед.	Индекс нефтяной компании — процентные пункты	xi ´ yi	xi 2
	17,28		9279,36	298,5984
	17,05		9104,70	290,7025
	18,30		10 065,00	334,8900
	18,80		10 434,00	353,4400
	19,20		10 752,00	368,6400
	18,50		10 212,00	342,2500
Cумма по столбцу	110,13		59 847,06	1988,52

ì

b

b

+

ï

í

b

b

ï

Запишем систему нормальных уравнений исходя из данных табn лицы: 1988,52 1 110,13 0=59 847,06,

î

110,13 1+6 0=3288.

Решением данной системы нормальных уравнений будут слеn дующие числа: b =15,317; b=266,86.

Таким образом, уравнение регрессии, описывающее зависиn мость между ценой на нефть и индексом акций нефтяной компаn нии, можно записать как: y =15,317 x +266,86.

На основании полученного уравнения регрессии можно сдеn лать вывод о том, что с изменением цены на нефть на 1 денежную единицу за баррель индекс акций нефтяной компании изменяетn ся примерно на 15,317 процентных пункта.

=

S S

r

.

Дата добавления: 2013-12-12