Предпосылки регрессионного анализа

Линейная регрессионная модель с двумя переменными имеет вид

,

где Y ‒ объясняемая переменная, X ‒ объясняющая переменная, ‒ случайная ошибка. Для того чтобы регрессионный анализ, основанный на МНК, давал наилучшие из всех возможных результаты, должны выполняться определенные условия (условия Гаусса ‒ Маркова).

1. Математическое ожидание случайной ошибки в любом наблюдении должно быть равно нулю, т.е.

.

2. Дисперсия случайной ошибки должна быть постоянной для всех наблюдений, т. е.

3. Случайные ошибки должны быть статистически независимы (некоррелированы) между собой, т.е.

4. Объясняющая переменная есть величина неслучайная.

При выполнении условий Гаусса-Маркова модель называется классической нормальной линейной регрессионной моделью. Наряду с условиями Гаусса-Маркова обычно предполагается, что случайная ошибка распределена нормально, т. е. . Заметим, что в этом случае требование некоррелированности случайных ошибок эквивалентно их

независимости.

Рассмотрим подробнее условия и предположения, лежащие в основе регрессионного анализа.

Первое условие означает, что случайная ошибка не должна иметь систематического смещения. Если постоянный член включен в уравнение регрессии, то это условие выполняется автоматически.

Второе условие означает, что дисперсия случайной ошибки в каждом наблюдении имеет только одно значение. Под дисперсией имеется в виду возможное поведение случайной ошибки до того, как была сделана выборка. Величина неизвестна, и одна из задач регрессионного анализа состоит в ее оценке. Условие независимости дисперсии случайной ошибки от номера наблюдения называется гомоскедастичностью (что означает одинаковый разброс). Зависимость дисперсии случайной ошибки от номера наблюдения называется гетероскедастичностью. Таким образом,

‒ гомоскедастичность,

‒ гетероскедастичность.

Характерные диаграммы рассеяния гомоскедастичности и гетеро- скедастичности показана на рис. 3, а и б соответственно.

Рис. 3

Если условие гомоскедастичности не выполняется, то оценки коэффициентов регрессии будут неэффективными, хотя и несмещенными. Существуют специальные методы диагностирования и устранения гетеро- скедастичности.

Третье условие указывает на некоррелированность случайных отклонений для разных наблюдений. Это условие часто нарушается, когда данные являются временными рядами. В случае когда третье условие не выполняется, говорят об автокорреляции остатков. Типичный вид данных при наличии автокорреляции показан на рис. 4. Если условие независимости случайных ошибок не выполняется, то оценки коэффициентов регрессии, полученные по МНК, оказываются неэффективными, хотя и несмещенными. Существуют методы диагностирования и устранения автокорреляции.

Рис. 4

Четвертое условие является особенно важным. Если условие о неслучайности объясняющей переменной не выполняется, то оценки коэффициентов регрессии будут смещенными и несостоятельными. Нарушение этого условия может быть связано с ошибками измерения объясняющих переменных или с использованием лаговых переменных.

Предположение о нормальности распределения случайной ошибки необходимо для проверки значимости параметров регрессии и для интервального оценивания.

Теорема Гаусса-Маркова. Если условия 1 ‒ 4 регрессионного анализа выполняются, то оценки и , сделанные с помощью МНК, являются наилучшими линейными несмещенными оценками, т.е. обладают следующими свойствами:

1) несмещенности: , ,

(означает отсутствие систематической ошибки в положении линии регрессии);

2) эффективности: имеют наименьшую дисперсию в классе всех линейных несмещенных оценок, равную

, ;

3) с остоятельности: , .

Дата добавления: 2014-11-20