Выведение системы нормальных уравнений

Одношаговая оценка методом наименьших квадратов коэффициентов регрессии, регрессанда, вектора и дисперсии возмущений. (МНК-1)

Основные гипотезы

Гипотезы, лежащие в основе многомерной регрессионной модели является естественным обобщением двумерной модели

1. - спецификация модели (или ).

2. - детерминированные величины, линейно независимые.

3. не зависит от и.

4. (некоррелированность ошибок для разных наблюдений)

5. - нормальная линейная классическая модель регрессии.

Эти гипотезы, лежащие в основе множественной регрессии, удобно записать в матричной форме, которая и будет использоваться в дальнейшем.

1) - спецификация модели

2) - детерминированная матрица, имеет максимальный ранг k+1 – число параметров .

3-4) M(U)=0,

5) .

Важным является то, что линейная регрессия, представленная в форме так называемой системы нормальных уравнений, имеет аналитическое решение. Поэтому выведение системы нормальных уравнений не приводится при каждом ее приложении. Пользователь лишь должен уметь подставлять в систему нормальных уравнений числовые величины, взятые из рядов данных. Потом эта система решается в матричном (или другому) виде относительно вектора оценивания коэффициентов регрессии.

Для выведения системы нормальных уравнений необходимо прежде всего сформировать целевую функцию, а затем минимизировать ее. Как целевая функция как и в случае регрессионного уравнения с одной переменной, используем сумму квадратов остатков, которая должна минимизироваться для получения оценок параметров .

В матричном виде вектор ошибок (остатков, возмущений) запишет

, (1)

Тогда сумма квадратов остатков может быть записана в виде

поскольку

Следовательно целевая функция

(2)

Функция в выражении (2) дифференцируется по k+1=l элементам вектора, следовательно по .

При этом частную производную обозначим

.

Необходимым условием существования минимума является равенство нулю градиентного векторам

то есть

или Система нормальных уравнений

(3)

Или в развернутом виде

(4)

Умножив уравнение (3) слева на решим его относительно

(5)

Вектор в выражении (5) минимизирует сумму квадратов ошибок, где, это можно показать вычислением вторых частных производных функции по . Результатом будет матрица

будет иметь минимум, если позитивная определена, что имеет место в случае выполнения предпосылки о том, что регрессоры свободны от существенной колинеарности (Х имеет полный столбцевой ранг) и независимы.

Эта предпосылка является также необходимым условием той, которая вращается матрице .

Дата добавления: 2015-05-26