Лекция 11. При оценке параметров уравнения регрессии применяется метод наименьших квадратов

При оценке параметров уравнения регрессии применяется метод наименьших квадратов. При этом существуют следующие предпосылки относительно случайной составляющей e.

1. нет систематического смещения

2. гомоскедастичность / нарушение - гетероскедастичность

3. отсутствие автокорреляции в остатках

4. отклонение должно быть независимо от объясняющих переменных

5. остатки подчиняются нормальному распределению

Эти свойства оценок, полученных по МНК, имеют чрезвычайно важное практическое значение в использовании результатов регрессии и корреляции. В модели

y = a + b ₁ × x ₁ + b ₂ × x ₂ + … + b_p × x_p + e

случайная составляющая e представляет собой ненаблюдаемую величину. После того как проведена оценка параметров модели, рассчитав разности фактических и теоретических значений результативного признака у, можно определить оценки случайной составляющей y_i –,.т. е. e_i. В задачу регрессионного анализа входит не только построение самой модели, но и исследование случайных отклонений e_i, т. е. остаточных величин

Для оценки коэффициентов регрессии, их значимости и достоверности моели в целом изначально делаются предположения относительно поведения остатков e_i. После построения уравнения регрессии проводится проверка наличия у оценок e_i (случайных остатков) тех свойств, которые предполагались.

Прежде всего, проверяется случайный характер остатков e_i – первая предпосылка МНК. С этой целью строится график зависимости остатков e_i от теоретических значений результативного признака.

Рис. Зависимость случайных остатков e_i от теоретических значений

Если на графике нет направленности в расположении точек e_i, то остатки e_i представляют собой случайные величины и МНК оправдан, теоретические значения хорошо аппроксимируют фактические значения y.

Если e_i зависит от , то возможны следующие случаи:

– остатки e_i не случайны (рис.3.4 а);

– остатки e_i носят систематический характер (рис.3.4 б), в данном случае отрицательные значения e_i соответствуют низким значениям , а положительные – высоким значениям;

– остатки e_i не имеют постоянной дисперсии (рис.3.4 в).

В случаях а, б, в (см. рис.3.4) необходимо либо применять другую функцию, либо вводить дополнительную информацию и заново строить уравнение регрессии до тех пор, пока остатки e_i не будут случайными величинами.

а) б

в

Рис.3.4. Зависимость случайных остатков e_i от теоретических значений

Вторая предпосылка МНК относительно нулевой средней величины остатков означает, что . Это выполнимо для линейных моделей и моделей, нелинейных относительно включаемых переменных. Для моделей, нелинейных по оцениваемым параметрам и приводимых к линейному виду логарифмированием, средняя ошибка равна нулю для логарифмов исходных данных.

Для обеспечения несмещенности оценок коэффициентов регрессии, полученных МНК, необходимо выполнение условий независимости случайных остатков e_i и переменных x, что исследуется в рамках соблюдения второй предпосылки МНК. С целью проверки выполнения этой предпосылки строится график зависимости случайных остатков e от факторов, включенных в регрессию x_j (рис.3.5).

Рис.3.5. Зависимость случайных остатков от величины фактора x_j

Если расположение остатков на графике не имеет направленности, то они независимы от значений x_j (см. рис.3.5). Если же график показывает наличие зависимости e_i и x_j, то модель неадекватна. Причины неадекватности могут быть разные. Возможно, нарушена третья предпосылка МНК и дисперсия остатков непостоянна для каждого значения фактора x_j. Может быть неправильной спецификация модели, и в нее необходимо ввести дополнительные члены от x_j, например, x_j ², или преобразовать значения y. Скопление точек в определенных участках значений фактора x_i говорит о наличии систематической погрешности модели.

Предпосылка о нормальном распределении остатков позволяет проводить проверку параметров регрессии и корреляции с помощью критериев t и F. Вместе с тем оценки регрессии, найденные с применением МНК, обладают хорошими свойствами даже при отсутствии нормального распределения остатков, т.е. при нарушении пятой предпосылки метода наименьших квадратов.

Совершенно необходимым для получения по МНК состоятельных оценок параметров регрессии является соблюдение третьей и четвертой предпосылок.

В соответствии с третьей предпосылкой метода наименьших квадратов требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора x_j остатки e_i имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность.

Практически при нарушении гетероскедастичности мы имеем неравенства:

, j ¹ i (3.69)

и можно записать:

. (3.70)

При этом величина K_i может меняться при переходе от одного значения фактора x_i к другому. Это означает, что сумма квадратов отклонений для зависимости

(3.71)

при наличии гетероскедастичности должна иметь вид:

. (3.72)

При минимизации этой суммы квадратов отдельные ее слагаемые взвешиваются: наблюдениям с наибольшей дисперсией придается пропорционально меньший вес. Иными словами, вклад каждого сочетания x_i с y_i в сумму квадратов остатков должен быть дисконтирован, чтобы учесть систематическое влияние неоднородных элементов K_i.

Задача состоит в том, чтобы определить величину K_i и внести поправку в исходные переменные. С этой целью рекомендуется использовать обобщенный метод наименьших квадратов, который эквивалентен обыкновенному МНК, примененному к преобразованным данным. Для того чтобы убедиться в необходимости использования обобщенного МНК, обычно не ограничиваются визуальной проверкой гетероскедастичности, а приводят ее эмпирическое подтверждение.

Дата добавления: 2014-01-04