Прямые линии среднеквадратической регрессии

Линейная регрессия.

Рассмотрим двумерную случайную величину (X, Y), где X и Y – независимые случайные величины. Представим одну из этих величин, как функцию другой. Ограничимся приближённым представлением (точное приближение, вообще говоря, невозможно) величины Y в виде линейной функции величины X:

где α и β – параметры, подлежащие определению. Найдем α и β, например, методом наименьших квадратов.

Определение: Функцию называют наилучшим приближением Y в смысле метода наименьших квадратов, если принимает наименьшее возможное значение. Функцию g(x) называют линейной среднеквадратической регрессией Y на X.

Теорема: Линейная среднеквадратическая регрессия Y на X имеет вид:

Доказательство: Рассмотрим функцию двух независимых аргументов α и β:

Отнимем и прибавим М (Y) и β М (X),сгруппируем и получим:

Учитывая, что:

и, выполнив выкладки, получим:

(1)

Исследуем функцию F(α, β) на экстремум, для чего приравняем к нулю частные производные:

Отсюда находим:

Легко убедиться, что при этих значениях α и β рассматриваемая функция принимает наименьшее значение.

Итак,

Определение: Коэффициент называют коэффициентом регрессии Y на X, а прямую

(2)

называют прямой среднеквадратической регрессии Y на X.

Подставим найденные значения α и β в формулу (1), получим:

Величину называют остаточной дисперсией случайной величины Y относительно случайной величины X. Она характеризует величину ошибки, которую допускают при замене Y линейной функцией .

При остаточная дисперсия равна нулю. Т.е. при этих крайних значениях коэффициента корреляции не возникают ошибки при представлении Y в виде линейной функции от X.

Вывод: Если , то Y и X связаны линейной функциональной зависимостью.

Аналогично можно получить прямую среднеквадратической регрессии X на Y:

(3)

Тогда

– коэффициент регрессии X на Y,

– остаточная дисперсия X относительноY.

Заметим, что при обе прямые регрессии, как видно из уравнений (2) и (3), совпадают.

Также из (2) и (3) следует, что обе прямые регрессии проходят через точку (M(X), M(Y)), которую называют центром совместного распределения случайных величин X и Y.

Дата добавления: 2014-12-27