Построение регрессивной модели. Метод наимельших квадратов (МНК)

Рассмотрим случай (рис. 4.1, ). Здесь через совокупность точек проведена прямая , которая показывает на существованиии зависимости между X и Y. Наша задача в том, чтобы вычислить коэффициенты и , определяющие положение прямой относительно всех экспериминтальных точек таким образом, чтобы сумма квадратов отклонений между значениями , полученными при эксперименте, и значениями при , подставленными в предлагаемое (гипотетическое) уравнение, было минимальным. Для этого используется метод наименьших квадратов (МНК). Пусть разность между экспериментальным и гипотетическим значением при равна , или При изменении величин и величина также изменится.Возьмем функцию , являющуюся функцией двух переменных и . Наилучшей прямой, описывающей зависимость Yи X для экспериментальных данных,будет такая, где значение . Для нахождения минимума возьмем частные произвольные от по и и приравниваем их к нулю: (4.1)

Решая эту систему,называемую системой нормальных уравнений МНК, получим (4.2)

(4.3)

Коэффициент b₀ есть постояннная уравнения, которая определятся при x=0, a b₁ определяет угол наклона прямой регрессии Y к оси OX. В качестве меры зависимости между случайными величинами используется коэффициент корреляции, определяемый по формуле:

(4.4)

Коэффициент корреляции всегда находится в пределах от -1 до 1: -1 . Если случайные величины X и Y независимы, то r=0, если связь между Y и X функциональна, то . В качестве меры адекватности регрессионной модели статистическим данным часто используют коэффициент детерминации. (4.5)

где – расчетное (теориетическое) значение величины для ,вычисленное по уравнению регрессии (знак «^» над обозначает, что уравнение получено МНК); -среднее значение ; ; -значение в -м опыте, Чем больше значение R², тем выше степень адекватности уравнения регрессии опытным данным. Для уравнения регрессии вида многих переменных результаты -го опыта записываются в виде где =1 при всех ; - общее число опытов в эксперименте. Для определения коэффициентов уравнения регрессии может быть использован МНК, который минимизирует сумму квадратов регрессионых остатков:

Если представить результаты эксперимента в матричной форме как Y=XB, где

; ; ,

то можно записать:

(4.6) (индекс Т означает транспонирование).

Исходя их условий минимизации , (4.7)

откуда . (4.8)

Следовательно, оценка МНК есть такая, при которой коэффициенты уравнения регрессии равны: . (4.9)

где индекс -1 означает обратную матрицу.

Коэффициент детерминации (скорректированный)

. (4.10)

Оценка меры автокорреляции случайной величины как правило, производится с помощью статистики Дарбина- Уотсона:

. (4.11) При значении , близком к 2,0, говорят, что автокорреляция отсутствует (что желательно).

Пример 4.1. В результате эксперимента зафиксированы пары значений привеленные в табл. 4.1. Построить уравнение регрессии вида Таблица 4.1.

Решение. Для вычисления коэффициентов уравнения регрессии составляем статистическую таблицу 4.2. По вычисленным суммам определяем: , тогда уравнение регрессии будет иметь вид Таблица 4.2.

Номер опыта
Сумма

Определим коэффициент корреляции отсюда следует, что Y и X тесно связаны друг с другом, так как коэффициент корреляции близок к единице.

При нелинейной форме связи могут быть оспользованы два подхода: 1) когда нелинейная форма связи представляется в виде линеаризованной функции; 2) когда используется итерационный нелинейный метод наименьших квадратов. В первом случае исследователь сначала выбирает форму нелинейной связи,затем ее линеаризует, преобразую члены уравнения регрессии,например, как показано в таблице 4.3.

Функции	Линеаризующие преобразования
Преобразования переменных	Преобразования коэффициентов

Затем используется метод МНК для линеаризованного уравнения, откуда определяются коэффициенты уравнения регрессии. Полученное уравнение затем вновь преобразуется в нелинейную форму.

Пример 4.2. В результате многолетних исследований величины прибыли на рубль затрат (Y) в зависимости от вложенного капитала (X) получены данные:

Величина вложенного капитала X, млн. руб.
Величина прибыли Y, руб. на 1 руб. затрат	0,5	1,0	1,4	1,7	1,8	1,9	2,0

Найти зависимость между величиной прибыли и величиной вложенного капитала. Решение: предполагаемая зависимость Y от X имеет вид

Линеаризуем уравнение при ; ; и , тогда . Составляем статистическую таблицу:

x
	0,5	-0,3010	-0,3010
	1,0	0,0000	0,0000
	1,4	0,1461	0,4383
		0,2304	0,9216
	1,8	0,2553	1,2765
	1,9	0,2788	1,6728
	2,0	0,3010	2,1070
	10,3	0,9106	6,1152

Составляем систему нормальных уравнений МНК: или Откуда после преобразований получим: a=0,6; b=1,226. Следовательно, уравнение регрессии для зависимости величины прибыли от вложенного капитала будет иметь вид .

В таблице 4.4 приведены нормальные уравнения МНК для некоторых функций. Таблица 4.4.

Функции	Нормальные уравнения

Рассмотрим второй случай- метод наименьших квадратов для нелинейных форм. Пусть Y-целевая функция, а набор ее наблюдений; переменные факторы. Наблюдение представляет из себя вектор Необходимо целевую функцию Y выразить через вектор X посредством функции , вид которой известен, однако неизвестны некоторые ее параметры Тогда для можно записать: где - отклонение(ошибка). Если исключить параметры , то функция запишется в виде (4.12) в которую входят только те параметры, которые необходимо найти МНК. Минимизируя (4.13) и используя метод Маркварда, введем векторы ; ; ; . Сформулируйте задачу в виде: найти такое, что при целевая функция (сумма квадратов остатков) минимизируется. Приближенное значение , получаемое на шаге итеративного процесса, и последующее приближенное значение связаны между собой вектором поправки т.е. . (4.14) Формула вектора поправки согласно условию минимизации выводится из решения системы линейных уравнений (4.15) откуда (4.16) где А- первая частная производная от F, определяемая как матрица Якоби: при (4.17) Это формулы итерации по методу Ньютона –Гаусса. Если степень нелинейности высока, а стартовое значение далеко отстоет от минимизирующего значения,то при их использовании велика вероятность «раскачки» и расходимисти процесса. Левенберг и Марквардт в процедуре Ньютона-Гаусса продложили искать корректирующий вектор из уравнения (4.18) где I-еденичная матрица; некоторая величина, называемая числом Марквардта. Тогда (4.19) При вычислениях рекомендуется за начальное значение принимать затем на каждом шаге увеличивать в десять раз, до тех пор,пока S не начнет уменьшаться.

Дата добавления: 2015-06-04