Нелинейная регрессия

Метод наименьших квадратов. Выборочное уравнение парной линейной регрессии.

Пример.

1. - парная линейная регрессия.

2. - квадратическая или параболическая регрессия.

3. - множественная линейная регрессия.

Пусть задана некоторая функция вид которой известен, но неизвестны параметры; при этом функция линейна относительно этих неизвестных параметров. При различных значениях измерены с ошибками значения соответствующих им. Модель таких измерений можно определить равенством:

(1)

Предположим, что ошибки измерений - независимые нормально распределенные с.в. с (нет систематических ошибок) и. По статическим данным требуется определить неизвестные параметры. Для получения оценок используют метод наименьших квадратов (МНК), разработанный К. Гауссом и А.А. Марковым. Суть его состоит в том, что в качестве оценок выбираются значения, минимизирующие сумму квадратов ошибок, т.е.:

Т.о. предполагая, что минимум существует, оценки находят из системы уравнений:

Эти уравнения называются нормальными.

Рассмотрим МНК в случае нахождения выборочного уравнения парной линейной регрессии.

Пусть имеются результаты наблюдений. Предположим, что эмпирическая функция регрессии имеет вид:. Необходимо найти. Составим сумму квадратов отклонений:

Найдем частные производные по а и в:

Откуда нетрудно получить,, где

а

Т.о. получили выборочное уравнение линейной регрессии Y на Х.

-

Замечание: Выборочный коэффициент регрессии обозначается следующим образом:

.

При построении выборочного уравнения парной линейной регрессии полученные оценки и являются с.в. При этом возможные значения оценок рассеиваются вокруг истинных значений параметров. Чтобы определить меру рассеивания вычисляют средние квадратические ошибки коэффициентов и.

Стандартная ошибка параметров регрессии используется для оценки качества подбора функции регрессии.

Рассмотрим случай, когда кривые регрессии отличны от прямой. Пусть задана двумерная выборка и пусть график рассеивания значений с.в. Х и Y близко располагается к параболе. Регрессию будем искать в виде. Из всех парабол вида искомой будем считать ту, которая наилучшим образом в смысле МНК описывает корреляционную зависимость значений с.в. Х и условным распределением с.в. Y. Как и для случая линейной регрессии задача заключается в нахождении оценок параметров, при условии, что функция. Находим частные производные и приравниваем их к нулю:

,

или

Таким образом

Пусть

Тогда. Т.о. получаем уравнение параболической регрессии Y на Х.

Замечание: Следует иметь в виду, что анализ корреляционного поля может привести к выбору и других форм корреляционной зависимости, например, в виде показательной функции. В таких случаях, как и для параболы, строится система уравнений, из которой определяются неизвестные параметры по МНК.

Дата добавления: 2014-01-05