Рассмотрим матричный подход сначала на примере простой линейной регрессии

Матричный подход к линейной регрессии

Применение матриц дает много преимуществ. Одно из них – общность. Как только задание записывается и решается в матричной форме, ее решение прилагается к любому регрессионному заданию независимо от того, сколько членов содержится в уравнении регрессии.

С помощью матриц достаточно сложные выражения или уравнения могут быть часто представлены очень просто с помощью нескольких букв, должным образом определенных и сгруппированных.

, (1)

Введем следующие определения:

В – вектор наблюдений в

Х – матрица независимых переменных

- вектор параметров, которые подлежат оцениванию

u – вектор ошибок (возмущений).

(Любая матрица, которая содержит один столбец, называется вектор-столбцом; матрицу с одной строкой именуют вектор-строкой; матрица 1*1 просто обычное число или скаляр). В наших обозначениях

где ;

n*1 - вектор n*2 – матрица

(2)

2*1 - вектор n*1 – вектор

- фиктивная переменная.

В матричном виде n уравнений (1) можно записать в виде одного простого уравнения

, (3)

(Размеры перемножаемых матриц AB должны быть согласованными, то есть число столбцов матрицы А должно быть ровное числу строк матрицы В, то есть

если A- mnx, а B= pqx

то AB= mxnxpxq= mxnxnxq= mxq)

Из уравнения (3) нужно выразить вектор, но по выборочным данным мы можем найти только оценку из уравнения

(4)

где .

Умножим уравнение (4) слева на транспонированную матрицу Х

, (5)

где (6)

, (7)

Уравнение (5) является матричной записью системы нормальных уравнений.

Вектор можно выразить из уравнения (5), умножив его слева на

то есть (8)

Дата добавления: 2015-05-26