Метод найменших квадратів, передумови його використання та властивості одержанних оцінок

Загальна модель множинної лінійної регресії має вигляд:

, ()

а для нормальної регресії

, ()

де у_і – екзогенні змінні;

х_і – ендогенні змінні;

и_і – регресійний залишок або просто залишок. Він відображає інте­гральний вплив всіх факторів (всього їх «р») на результуючий показник (у).

, де n – об’єм вибірки.

Логіка регресійного аналізу полягає в наступному:

1. За фактичними даними оцінюємо параметри «a» та «b» (знаходимо оцінки ).

2. Розраховуємо очікуване (модельне, розрахункове) значення .

3. Знаходимо залишок: .

4. Для статистичної перевірки взаємозв’язку необхідно знайти значення a, b, u.

Будемо розглядати не стохастичну, а функціональну залежність (1). Щоб називатися класичною модель (1) повинна задовольняти ряду припущень.

Передумови застосування методу найменших квадратів (1 МНК) (Гауса-Маркова умови)

1) Дійсна форма взаємозв’язку між пояснювальною та незалежними змінними лінійна.

2) Величина залишку є випадковою.

3) Математичне сподівання залишків дорівнює нулю:

.

4) Дисперсія залишків обмежена і постійна (умова гомоскедастичності)

для всіх i, j.

5. Залишки статистично незалежні між собою

6. Регресійні залишки та незалежні змінні також статистично незалежні один від одного .

Умова порушується, коли модель будується на базі одночасних структурних рівнянь або має лагові змінні. Тоді оцінювати параметри моделі необхідно за дво- або три крокові МНК.

При множинній регресії додається ще одне припущення: відсутність мультиколінеарності між незалежними змінними, тобто ні єдина змінна не може бути представлена у вигляді лінійної комбінації інших.

Одночасно з умовами Гауса-Маркова також роблять припущення про нормальний розподіл випадкової складової. Якщо це виконується, то коефіцієнти регресії також будуть розподілені за нормальним законом, що потребується при перевірці гіпотез та побудові довірчих інтервалів.

Метод найменших квадратів (1МНК)

Нехай ми маємо результати статистичного спостереження (рис. 1) і повинні побудувати регресійну модель залежності, наприклад, витрат споживання (у) від доходів сімей(х).

Рис. 1. Кореляційне поле точок

На рис. 1 представлено кореляційне поле результатів дослідження або діаграму розсіювання (до пояснення терміну «кореляційне поле» поверне коефіцієнта кореляції). Нехай дані спостереження відповідають умовам Гауса-Маркова. Тоді модель можна представити у вигляді

y=а+bx (1)

Невідомими в цьому рівнянні є параметри а, b. Так, як маємо вибіркову сукупність, то можемо зробити тільки оцінку значень цих параметрів , тобто із множини можливих прямих вибрати одну (І, ІІ, ІІІ) за певним критерієм. Можна розглядати такі критерії:

Критерій не є зручним, так як його значення буде дорівнювати нулю, а пряма при цьому не проходить через всі точки (помилки, зазвичай, накопичуються; нова помилка не може виправити попередню). Критерій може використовуватися для визначення оцінки параметрів, але частіше застосовують критерій . Однією із переваг цього методу є те, що кількість рівнянь в побудованій системі буде дорівнювати кількості невідомих.

Метод найменших квадратів тому і має таку назву, що за критерієм необхідно знайти такі значення оцінок параметрів, щоби сума квадратів відхилень була мінімальною.

Необхідною умовою екстремума (мінімума або максимума) для цього є рівність частинних похідних цієї функції нулю за кожним параметром. Тоді маємо систему зх. Двох рівнянь з двома невідомими.

(3)

Розв’жемо цю систему відносно

(4)

(5)

(7)

(8)

(9)

(10)

Значення оцінок (6а, 10) можна записати і в другому вигляді

; (11)

; (12)

Властивості оцінок, що одержані за методом найменших квадратів

Якщо виконати всі передумови, то оцінки, що одержані за МНК, є BLUE:

B (best) – найкращі,

L (lineart) – лінійні,

U (unbiased) – незміщені,

E (ectimator) – оцінка.

Найкраща – має найменшу дисперсію серед усіх незміщених оцінок (одержаних за іншими методами). Наприклад, за методом максимальної правдоподібності. Цей метод використовується якщо з точністю до невідомих значень параметрів відомий загальний вид закону ймовірності вибіркових даних. Для оцінки параметрів його використовують при регресійному аналізі в рамках нормальної класичної моделі, коли додається ще одне припущення: про нормальний розподіл регресійних залишків.

Якщо порушені вимоги постійності дисперсії залишків та їх незалежності, то оцінки, що розраховані за МНК, стають не найкращі (не ефективні), але залишаються незміщеними та консистентними (спроможними, умотованими). Оцінка є спроможною, якщо її дисперсія при збільшенні числа спостережень прямує до нуля:

Ця властивість є асимптотична при умові незміщеності.

Лінійна – оцінка лінійно функціонально залежить від вибіркових спостережень.

Незміщена – математичне сподівання оцінки параметра дорівнює значенню параметра в генеральній сукупності.

Ця властивість має місце при відсутності систематичної похибки в визначенні положення лінії регресії, що слідкує із умови M(U)=0.

Оцінка параметрів нелінійних функцій

При оцінці параметрів нелінійних моделей частіш проводять їх до лінійного вигляду шляхом логарифмування або заміни змінних, а потім використовують МНК.

Розглянемо порядок побудови нелінійної моделі на прикладі степеневої функції (рис. B) . За допомогою перетворювача (наприклад, логарифмічного підсилювача) одержимо , тобто лінійну залежність відносно логарифмів змінних. Її стає краще видно, якщо провести заміну: Y=lg y; X=lg x; A=lg a. Тоді маємо Y=A+bX і за МНК, згідно формул 6а, 10 знаходимо:

; Y=A+bX.

Ми знайшли оцінки параметрів відносно логарифмів змінних, а для знаходження оцінок необхідно зробить обернене перетворювання (потенціювання): , тоді .

При таких перетвореннях треба бути уважними, так як критерії значущості та інтервальні оцінки параметрів для нормальної лінійної регресії потребують нормального закону розподілу логарифма вектора збурення, а не самого вектора.

При побудові моделі, що задана в вигляді (рис. С) перетворення за допомогою логарифмування неможливе, тому проводять заміну змінних , тоді

В подальшому рахуємо:

Модельні значення для відповідних значень х_і, що подаються із вхідного масиву даних через ответвитель. За допомогою пристрою порівняння рахуємо складові вектора збурення , використовуючи значення у_і також із вхідного масиву даних. На основі аналізу вектора збурення оцінюється якість побудованої моделі і, за відповідними критеріями, приймається рішення про здатність моделі до прогнозування.

Матеріал, що необхідно повторити для вивчення лекції:

1) Знаходження екстремуму функції декількох змінних.

2) Частинні похідні.

3) Логарифмування та потенціювання функцій.

4) Нормальний закон розподілу випадкової величини.

Питання для самостійної роботи:

1) Записати параметри нормального закону розподілу залишків, що підпорядковуються умовам Гауса-Маркова

2) Зобразити графічно щільність розподілу цієї величини/

Дата добавления: 2014-01-04