И нахождения параметров уравнения регрессии

Классический метод наименьших квадратов (МНК)

0 n

На первом этапе проведения регрессионного анализа была выбрана функция f (x), отражающая зависимость результативного признака y от факторного признака x. Необходимо оценить неизn вестные параметры модели. В качестве методов оценки неизвестn ных параметров уравнения регрессии b, ј, b могут выступат ь:

1) сумма квадратов отклонений наблюдаемых значений реn зультативного признака y от теоретических значений y, расn считанных на основании регрессионной функции, f (x):

n

b

F = (yi − f (xi,))2

i =

n

или F = (yi − yi)2.

i =

Этот метод оценивания неизвестных параметров уравнения регрессии называется методом наименьших квадратов (МНК). Термин МНК был впервые использован в работе А.М.Лежанйдра в 1805 г. Можно выделить следующие достоинства метода:

а) расчеты сводятся к механической процедуре нахождеn ния коэффициентов;

б) доступность полученных математических выводов. Основным недостатком МНК является чувствительность оцеn нок к резким выбросам, которые встречаются в исходных данn ных.

2) сумма модулей отклонений наблюдаемых значений резульn тативного признака y от теоретических значений y (рассчиn танных на основании регрессионной функции) f (x):

n

b

F = yi − f (xi,)

i =1

n

или F = yi − yi.

i =1

Основным достоинством метода является нечувствительность оценок к резким выбросам (в отличие от МНК). Среди недоГ статков можно выделить следующие:

а) сложности в ходе вычислительной процедуры;

б) зачастую большим отклонениям в исходных данных следует придавать больший вес для уравновешивания их в общей сумме наблюдений;

å

0 n

в) неодинаковым значениям оцениваемых параметров b, ј, b могут соответствовать одинаковые суммы модулей отклоn нений;

å å

n n

b

F = g (yi − f (xi,)) или F = g (yi − yi), i =1 i =1

где g — мера или вес, с которой отклонение (yi — f (xi, b)) входит в функционал F. Примером меры g является функn

ция Хубера, которая при малых значениях переменной x является квадратичной, а при больших значениях x — лиn

нейной:

ï

ì x 2, x < c

í

ï

î

g (x)= 2 cx − c 2, x ³ c −2 cx − c 2, x £− c,

где c — ограничения функции.

0 n

Третий метод оценки неизвестных параметров уравнения реn грессии b, ј, b — объединие достоинства предыдущих двух меn тодов. Оценки неизвестных параметров, найденные с его помоn щью, являются менее чувствительными к случайным выбросам в исходных данных, чем оценки, полученные МНК. Этот метод применяют, когда выборка сильно «засорена».

0 n

Для нахождения оптимальных значений неизвестных паn раметров b, ј, b необходимо минимизировать функционал F по данным параметрам:

å

n

b

1) F = (yi − f (xi,))2®min —процессминимизации

=

0 n

i 1 функционала F состоит в отыскании таких параметров b, ј, b, при которых сумма квадратов отклонений наблюдаемых значений результативноn го признака y от теоретических значений y была бы минимальной;

å

n

b

i i

2) F = y − f (x,) ®min —процессминимизации i =1 функционала F состоит

0 n

в отыскании таких параметров b, ј, b, при которых сумма

модулей отклонений наблюдаемых значений результативного признака y от теоретических значений y была бы минимальной;

n

b

3) F = g (yi − f (xi,))®min

i =1

— процесс минимизации функционала F состоит

0 n

в отыскании таких параметров b, ј, b, при которых сумма отклонений наблюдаемых значений результативного признаn ка y от теоретических значений y с учетом заданных весов g была бы минимальной.

Наиболее распространенным методом оценивания параметn ров уравнения регрессии является метод наименьших квадратов.

Дата добавления: 2013-12-12