Метод найменших квадратів

Метод найменших квадратів (МНК) є одним із методів регресійного аналізу, який використовується для статистичного оцінювання параметрів регресійної моделі за емпіричними даними. Згідно з цим методом параметри моделі повинні відповідати такому рівнянню регресії, що забезпечує найменше значення суми квадратів відхилень емпіричних даних від тих, що обчислені за рівнянням регресії. Так, з двох різних наближень тієї ж самої емпіричної функції, що задана у вигляді таблиці, кращим вважається те, для якого сума квадратів відхилення має найменше значення. Для ілюстрації суті методу найменших квадратів можна розглянути рис. 16.1.

Рис. 16.1. Ілюстрація методу найменших квадратів

Графік функції проходитиме таким чином, щоб різниця між значеннями функції та ординатами емпіричних точок була б якомога менше.

Основи метода найменших квадратів були розроблені Карлом Фрідріхом Гауссом у зв’язку з задачами, що вирішуються теорією помилок, тобто математичною теорією, яка досліджує точність результатів вимірювань. До речі, Гаусс настільки ретельно провів дослідження нормального розподілу випадкових похибок, що їх крива щільності ймовірностей має назву гауссіани.

Узагальнення умов застосування методу найменших квадратів сформульовано у теоремі Гаусса – Маркова.

Теорема Гаусса – Маркова. Якщо прийняти припущення моделі:

1. , де , – обсяг вибірки (кількість емпіричних точок);

2. – детермінована величина (у загальному випадку це матриця результатів спостережень -вимірної випадкової величини , що відповідає сукупності зовнішніх факторів);

3. , , де – матриця коваріацій (попарних варіацій) похибок, – похибка -го вимірювання;

4. при , де і – номери вимірювань,

то оцінки параметрів , які отримані за МНК, мають найменшу дисперсію серед усіх лінійних незсунутих оцінок, тобто ці оінки є ефективними.

Розглянемо сенс кожної з умов теореми Гаусса – Маркова.

Умова 1 визначає специфікацію моделі, тобто кількість факторів, що розглядаються в межах моделі, і форму зв’язку між ними.

Умова 2 уточнює, яка саме випадкова величина є зовнішнім (екзогенним) фактором моделі.

Умова 3 означає, що математичне сподівання помилки дорівнює нулю, а дисперсія помилок є сталою величиною, тобто не залежить від номера спостереження. Остання властивість має назву гомоскедастичності.

Умова 4 вказує на некорельованість помилок різних спостережень. Якщо ця умова порушується, то виникає автокореляція залишків.

Моделі, які побудовані з використанням методу найменших квадратів при виконанні умов теореми Гаусса – Маркова, називаються класичними економетричними моделями, а сам метод їх побудови називається 1МНК, тобто однокроковий метод найменших квадратів.

Дата добавления: 2014-01-04