Геометричне тлумачення

У площині змінних x,y побудуємо діаграму розкиду (відповідні пари значень x та y)

Для парної лінійної регресії лінія регресії – це пряма на площині, яка визначається рівнянням

ŷ = b ₀ + b ₁ x,

де b₀ - перетин з віссю ординат, а b₁ – нахил прямої.

Залишки e_i визначаються наступним чином:

e_i = y_i – ŷ_i = y_i – (b ₀ + b ₁· x_i),

де i =1,…, n.

1.4. Оцінювання параметрів моделі.

Метод найменших квадратів.

Постає питання: Як провести лінію регресії, щоб вона найкращим чином відо­бражала залежність залежної змінної від незалежної? Логічним є припущення про те, що пряма повинна проходити таким чином, щоб кількісна міра відхилення залишків від лінії регресії була мінімальною. Тобто, щоб була мінімальною дисперсія залишків. Дисперсія залишків пропорційна сумі квадратів залишків.

У відповідності з цим припущенням пред'явимо вимоги до параметрів b₀ та b₁: невідомі параметри b ₀ та b ₁ визначаються таким чином, щоб мінімізувати ве­личину .

Таким чином, ми маємо критерій, за яким визначається оптимальність оцінок параметрів b ₀ та b ₁. Цей критерій є критерієм методу найменших квадратів:

(7.2)

З курсу вищої математики відомо, що функція досягає екстремуму, у точці, де її перші часкові похідні дорівнюють нулю. Це дозволяє скласти систему рів­нянь відносно невідомих параметрів b ₀ та b ₁:

З урахуванням виразу (7.2) система рівнянь відносно b ₀ та b ₁ записується на­ступним чином:

(7.3)

З урахуванням того, що оцінки середніх значень вектора спостережень за не­залежною змінною x_i та вектора спостережень за залежною змінною y_i відпові­дно дорівнюють , , рішення системи (7.3) для невідомих величин b ₀ та b ₁ будуть мати вигляд:

Властивості оцінок параметрів моделі лінійної регресії

1. Статистика b параметра β називається незміщеною, якщо математичне очі­кування оцінки дорівнює істинному значенню характеристики, тобто М(b)= β

2. Статистика b параметра β називається консистентною (спроможною), якщо зі збільшенням кількості спостережень n вона наближається до істинного значення характеристики, тобто

3. Статистика b параметра β називається ефективною, якщо вона має наймен­шу з усіх можливих (оцінок, отриманих за допомогою інших методів) дисперсію оцінки b.

Для лінійної регресії такі оцінки мають назву BLUE-оцінки.

Передумови застосування методу найменших квадратів

1. Гомоскедастичність залишків: Дисперсія залишків не залежить від незале­жної змінної, тобто D(e_i)=var(e_i)=σ² – const.

2. Незалежність залишків: cov(e_ie_j)=0, для всіх i ≠ j.

3. Незалежність залишків та незалежної змінної: cov(e_ix_j)=0, для всіх i, j.

4. Залишки нормально розподілені для всіх і.

Примітка: тут та далі оператор cov(x,y) означає операцію обчислення коваріації між двома випадковими змінними x та y, а оператор var(x) – операцію обчислення дисперсії від випадкової змінної х.

Теорема Гауса Маркова:

Для парної лінійної регресії з гомоскедастичними, некорельованими збуреннями оцінки МНК мають найменшу дисперсію в класі всіх лінійних незміщених оцінок.

Статистичні властивості оцінок МНК

1. Математичне очікування залишків дорівнює нулю, M(e_i)=0
2. M(b ₀)=β₀;
3. M(b ₁)=β₁;
4. ;

5. ;

де – стандартне відхилення оцінок параметрів регресії b ₁ та b ₀ відповідно;

s² – дисперсія залишків регресійної моделі. На практиці значення s² замі­нюють її оцінкою .

Коефіцієнт еластичності

Середній коефіцієнт еластичності показує наскільки відсотків у середньому зміниться значення у при зміні змінної х на 1 відсоток від свого середнього значення.

2. Загальна модель багатофакторної лінійної регресії

Загальна багатофакторна лінійна регресійна модель, що відображає залеж­ність якогось економічного показника (y) від деякої множини економічних факторів (x ₁, x ₂, … x_m) може бути записана у такому вигляді:

y = M(y|x ₁, x ₂, … x_m) + ε _i,= β₀+ β₁ x ₁+ β₂ x ₂ + … + β _mx_m + ε, (7.4)

де y – залежна змінна (економічний показник),

x ₁, x ₂, … x_m – незалежні змінні (економічні фактори),

β _i – параметри моделі,

ε – неспостережна випадкова величина,

M(y|x ₁, x ₂, … x_m) = β₀+ β₁ x ₁+ β₂ x ₂ + … + β _mx_m – умовне математичне очі­кування залежної змінної y, при умові, що незалежні змінні прийняли відповідні значення, тобто регресія y на x ₁, x ₂, … x_m.

Припустимо, що ми маємо деяку вибірку (таблицю) розмірністю n спільних значень m +1 економічних показників, один з яких приймається лінійно залеж­ним від решти m незалежних змінних x ₁,…, x_m. Моделі (7.4) ставиться у відповідність вибіркова модель, яка будується для певної вибірки. Невідомі статистики вибіркової моделі є випадковими величинами, математичне очіку­вання яких дорівнює параметрам узагальненої моделі. Вибіркова модель лінійної бага­тофакторної регресії має такий вигляд:

y_i = b₀+ b₁ x _{1 i} + b₂ x _{2 i} + … + b _mx_mi + e_i, (7.5)

де b _i – оцінки невідомих параметрів β _i; e_i – вектор випадкових величин (залишків) моделі.

Для отримання оцінок b _i застосуємо МНК на випадок багатофакторної регре­сії. З цією метою визначимо ряд передумов МНК.

Основні передумови в багатофакторному регресійному аналізі.

1. M(ε_i) = 0. Математичне очікування випадкової величини ε дорівнює 0.

2. cov(ε_i, ε_j)=0 i¹j. Випадкові величини незалежні між собою. Відсутність авто­кореляції

3. var(ε_i,)=s²=const для всіх x_{i ,} умова гомоскедастичності.

4. cov(ε_i, x_jk)=0 " i, j; k= 1,…, m. Независимость возмущений и регрессоров

5. Випадкова величина ε має нормальний закон розподілу.

6. Відсутність мультиколінеарності.

2.1. Матричний підхід до багатофакторної лінійної регресії

Вибірку залежної змінної y_i представимо у виді вектора Y розмірністю (n´1). Аналогічно визначимо вектор E залишків моделі розмірністю (n´1)

;.

Вибірка незалежних змінних може бути представлена як матриця розмірністю (n´m). Але, для того щоб вибіркову модель лінійної багатофакторної регресії (7.5) подати в загальному вигляді з урахуванням коефіцієнта b₀, введемо додаткову незалежну змінну х₀, всі значення якої у вибірці будуть дорівнювати 1. Коефіцієнтом пропорційності при цій змінній і буде параметр b₀. У цьому разі матриця Х доповнюється стовпчиком, який складається з одиниць. Якщо коефіцієнт перетину b₀ у багатофакторній моделі не визначається, то стовпчик з одиницями у матриці Х, повинен бути відсутнім. Таким чином матриця Х розмірністю [n´(m+1)] та вектор B оцінок параметрів моделі розмірністю [(m+1)´1] можуть бути представлені наступним чином.

; . (7.6)

У цьому випадку вираз (7.5) може бути представленим у матричному вигляді

Y = XB + E

Умова мінімуму сіми квадратів залишків в матричному вигляді набуває виду

(7.7)

Рішенням системи (7.7) буде

Властивості оцінок параметрів регресії, отриманих за допомогою МНК

1. M(b _i)=β_i;
2. Для характеристики отриманих значень оцінок b_i, поряд з математичним очікуванням застосовуються також їх дисперсії і коваріації кожної пари оцінок Усі ці характеристики економетричної моделі утворюють дисперсійно-коваріаційну матрицю

(7.8)

Оцінки коваріаційної матриці використовуються для знаходження стандартних помилок та обчислення довірчих інтервалів оцінок параметрів b_i. Вони використовуються й при перевірці їх статистичної значущості. На головній діагоналі матриці містяться оцінки дисперсій , а недіагональні елементи (i ¹ k) є оцінками коваріації між b_i та b_k. У виразі (7.8) MSE — незміщена оцінка дисперсії залишків, яка на випадок багатофакторної регресії визначається виразом (7.9).

Після того, як отримані оцінки параметрів регресії b_i, можна отримати зна­чення вектору залишків та визначити їх властивості:

E = Y – XB

2.2. Аналіз дисперсій

Визначення числа степенів вільності

Кожна сума квадратів пов'язана з числом, яке називається «степінь вільності». В статистиці кількістю степенів вільності певної величини часто називають різницю між кількістю різних дослідів і кількістю констант, уже визначених в результаті цих дослідів.

1. Визначення сум квадратів SST=SSR+SSE, де

§ Загальна сума квадратів визначається виразом

,

і має n–1 степінь вільності, оскільки один степінь вільності вико­ристовується на визначення середнього значення залежної змінної у.

§ Сума квадратів залишків визначається виразом

і має n-m-1 степінь вільності, оскільки (m +1) степінь вільності ви­користовується на визначення оцінок параметрів регресії b_i.

§ Сума квадратів регресії визначається виразом

і має m степенів вільності, оскільки вона визначається через m неза­лежних параметрів b _i.

2. Визначення середніх квадратів

MSR=SSR/m;

MSE=SSE/ (n-m- 1). (7.9)

3. Коефіцієнт детермінації

R ²= SSR/SST.

Коефіцієнт детермінації змінюється в діапазоні 0≤ R ²≤1.

Коефіцієнт детермінації є кількісною мірою сили зв'язку між залежною та не­залежною змінною. Чим сильніший зв'язок, тим ближче коефіцієнт детерміна­ції до одиниці. І, навпаки, при відсутності лінійного зв'язку коефіцієнт детер­мінації наближається до нуля. Таким чином, якщо розраховане значення кое­фіцієнта детермінації наближається до одиниці, можна стверджувати про адек­ватність регресійної моделі. Якщо розраховане значення коефіцієнта де­термі­нації наближається до нуля, то модель не адекватна; тобто між залежною і не­залежною змінними відсутня лінійна залежність.

Коефіцієнт детермінації є простою і досить надійною мірою оцінки адекватно­сті регресійної моделі. Але він мало прийнятний у цій якості при його значен­нях близьких до 0,5. Більш конкретним у цьому випадку є критерій Фішера.

2.3. Верифікація моделі

Перевірка моделі на адекватність за F-критерієм Фішера

Досить часто виникає потреба перевірити, чи мають дві незалежні випадкові величини однакову дисперсію. Якщо вони мають однакову дисперсію, то ми можемо стверджувати, що ці випадкові величини породжені одним і тим самим випадковим процесом і не відрізняються одна від одної.

Перевірка відмінності дисперсій двох генеральних сукупностей заснована на дослідженні їх відношення. Встановлено що, якщо кожна генеральна сукуп­ність є нормально розподіленою, відношення їх вибіркових дисперсій S₁²/S₂² підкоряється F-розподілу, який ще називається розподілом Фішера.

Розподіл Фішера визначає щільність ймовірності відношення вибіркових дисперсій (сум квадратів) двох вибірок, які мають відповідно обсяги n ₁ та n ₂, відібраних з однієї генеральної сукупності, що мають дисперсію σ².

Критичне значення F-розподілу залежить від двох множин степенів вільності. Степені вільності чисельника відносяться до першої вибірки, а степені вільності знаменника – до другої. Для перевірки рівності двох дисперсій у статистичному відношенні в критерії використовується F-статистика:

F=,

де и - дисперсии выборок з першої та другої генеральних сукупностей, n ₁, n ₂ – обсяги вибірок з першої та другої генеральних сукупностей відповідно, n ₁ – 1 и n ₂ – 1 кількість степенів вільності чисельника та знаменника відповідно.

F -статистику можна розглядати також як відношення оцінок дисперсій двох незалежних випадкових процесів, і тому на практиці F – розподіл Фішера найчастіше використовується для тестування рівності цих оцінок дисперсій.

Так для лінійної регресії статистична рівність оцінок дисперсій MSR і MSE за критерієм Фішера свідчить про те що детермінована частина загальної суми квадратів з заданою вірогідністю не буде відрізнятись від частини загальної суми квадратів, що визначається випадковою складовою.

Тестування за критерієм Фішера значущості впливу на залежну змінну y неза­лежнних змінних x_i або адекватності моделі складається з наступних етапів:

Формулюється ноль-гіпотеза

Н₀: β₁ = …= β_m = 0,

(тобто гіпотеза про те, що всі параметри ре­гресії дорівнюють нулю)

проти альтернативної гіпотези

Н₁: хоча б одне зна­чення β _i ¹0,

Гіпотеза Н₀ приймається з рівнем надійності 1–α, якщо розраховане значення відношення

менше F_кр = F_звор (1 -α, ν₁, ν₂) – критичне значення розподілу Фішера з ν₁ = m та ν₂ = n-m- 1 сте­пенями вільності і рівнем надійності (1 - α)100%.

Якщо F > F_кр то Н₀ гіпотеза відкидається і приймається гіпотеза Н₁.

Критичне значення розподілу Фішера визначається за таблицями, або обчислюється за допомогою стандартних функцій, що існують у різних програмних середовищах. В Excel це функція FРАСПОБР.

Гіпотеза про значимість одного з коефіцієнтів регресії

Нуль-гіпотеза Н₀: β _i = 0, проти альтернативної гіпотези Н₁: β _i ¹0 приймається з рівнем надійності (1–α), якщо практичне значення статистики Ст'юдента: менше табличної статистики t _кр = t _звор (1-α, n-m -1) з n-m- 1 степенями вільності, яке визначається з таблиці, або за допомогою стандартної функції (у Excel це функція СТЬЮДРАСПОБР)

Якщо t > t_кр, то нуль-гіпотеза відкидається, і приймається гіпотеза Н₁, що коефіцієнт β _i в багатофакторній регресії статистично значимий, тобто змінна y залежить від незалежної змінної x_i.

Інтервальні оцінки коефіцієнтів регресії

Використовуючи отримані статистики регресії b_i та їх середні квадрати­чні відхилення , можна обчислити інтервали, всередині яких з заданою вірогідністю (надійністю) будуть знаходитись значення параметрів регресії β _i. Довірчі інтервали з надійністю (1–α)100% для кожного з коефіцієнтів регресії β _i визначаються з використанням табличної статистики Ст'юдента t _кр = t _звор (1-α, n-m -1) наступним чином:

b _і:[ b_i - × t _кр; b_i + × t _кр ]

де є коренем квадратним відповідного діагонального елемента коваріаційної матриці, що визначається виразом (7.8).

Визначення довірчого інтервалу для умовного середнього значення ŷ генеральної сукупності

Для визначення умовного середнього значення залежної змінної у при заданих значеннях вектора незалежних змінних Х_пр, користуються наступним виразом

ŷ ₀ = b₀+ b₁ x _{1, пр} + b₂ x _{2, пр} + … + b _mx_m,пр = BХ_пр

Довірчий інтервал для умовного середнього значення генеральної сукупності визначається при заданих значеннях вектора незалежних змінних Х_пр

,

де – вектор-рядок центрованих координат точки, в якій здійснюється прогнозування,

- вектор середніх значень незалежних змінних. Під операцією центрування ми будемо розуміти операцію віднімання від кожного з заданих значень незалежних змінних відповідних середніх значень;

- матриця центрованих незалежних змінних;

Зокрема для парної лінійної регресії цей вираз матиме вигляд:

,

де .

2.4. Прогнозування за допомогою багатофакторної регресійної моделі

Довірчий інтервал для прогнозу реального значення залежної змінної з рівнем надійності (1–α) визначається як

,

Зокрема для парної лінійної регресії довірчий інтервал для отриманого прогнозного значення ŷ ₀ визначається наступним чином

Дата добавления: 2014-01-04