Определение параметров уравнения регрессии

Множественная линейная регрессия

На любой экономический показатель практически всегда оказывает влияние не один, а несколько факторов. Например, спрос на некоторое благо определяется не только ценой данного блага, но и ценами на заменяющие и дополняющие блага, доходом потребителей и многими другими факторами. В этом случае вместо парной регрессии рассматривается множественная регрессия

Задача оценки статистической взаимосвязи переменных Y и X₁, X₂, …, X_m формулируется аналогично случаю парной регрессии. Уравнение множественной регрессии может быть представлено в виде

,

где X = (X₁, X₂, …, X_m) ‒ вектор независимых (объясняющих) переменных; β ‒ вектор параметров (подлежащих определению); ɛ ‒ случайная ошибка (отклонение); Y ‒ зависимая (объясняемая) переменная.

Рассмотрим самую употребляемую и наиболее простую из моделей множественной регрессии ‒ модель множественной линейной регрессии. Теоретическое линейное уравнение регрессии имеет вид:

или для индивидуальных наблюдений i, i = 1,2,…, n:

.

Здесь ‒ вектор размерности (m +1) неизвестных параметров. Коэффициент β _j, j=1,2,…, m, называется j -м теоретическим коэффициентом регрессии. Он характеризует чувствительность величины Y к изменению X_j. Другими словами, он отражает влияние на условное математическое ожидание зависимой переменной Y объясняющей переменной X_j при условии, что все другие объясняющие переменные остаются постоянными. Коэффициент β ₀ определяет значение Y, в случае, когда все объясняющие переменные X_j равны нулю. Случайная ошибка ɛ удовлетворяет тем же предпосылкам, что и в модели с парной регрессией. Предполагается, что объясняющие переменные некоррелированы друг с другом (в модели отсутствует мультиколлинеарность).

На основе n наблюдений оценивается выборочное уравнение регрессии

,

где b ₀, b ₁, …, b _m ‒ оценки параметров β ₀, β ₁, …, β _m.

Для оценки параметров регрессии используется метод наименьших квадратов. В соответствии с МНК минимизируется сумма квадратов остатков: .

Необходимым условием ее минимума является равенство нулю всех ее частных производных. В результате приходим к системе из (m + 1) линейного уравнения с (m + 1) неизвестными, называемой системой нормальных уравнений. Ее решение в явном виде обычно записывается в матричной форме, иначе оно становится слишком громоздким. Оценки параметров модели и их теоретические дисперсии в матричной форме определяются выражениями

, ,

где b ‒ вектор с компонентами b ₀, b ₁, …, b _m; X ‒ матрица значений объясняющих переменных; Y ‒ вектор значений зависимой переменной; ϭ² ‒ дисперсия случайной ошибки. Несмещенной оценкой ϭ² является величина S ² (остаточная дисперсия):

.

Величина S называется стандартной ошибкой регрессии. Заменяя в теоретических дисперсиях неизвестную дисперсию ϭ² на ее оценку S ² и извлекая квадратный корень, получим стандартные ошибки оценок коэффициентов регрессии

.

Если предпосылки относительно случайной ошибки выполняются, оценки параметров множественной регрессии являются несмещенными, состоятельными и эффективными.

Дата добавления: 2014-11-20