Линейная регрессия

Общий принцип. Простейший способ аппроксимации по МНК произвольных данных s_k - с помощью полинома первой степени, т.е. функции вида y(t) = a+bt, которую обычно называют линией регрессии. С учетом дискретности данных по точкам t_k, для функции остаточных ошибок имеем:

s(a, b) =[(a+b t_k) - s_k]².

Для вычисления оценок коэффициентов дифференцируем функцию остаточных ошибок по аргументам a и b, приравниваем полученные уравнения нулю и формируем два нормальных уравнения системы:

2((a+b t_k)-s_k) º a1 + bt_k –s_k = 0,

2((a+b t_k)-s_k) t_k º at_k + bt_k² – s_k t_k = 0,

Решение данной системы уравнений в явной форме для К-отсчетов:

b = [Kt_k s_k –t_ks_k] / [Kt_k² – (t_k)²] = (- ) / (- ).

a = [s_k – bt_k] /K = - b

Полученные значения коэффициентов используем в уравнении регрессии y(t) = a+bt. Прямая (s – ) = b (t - ) называется линией регрессии s по t. Для получения линии регрессии t по s, (t - ) = b (s – ), аргумент b в этой формуле заменяется на значение b = (- ) / (- ).

По аналогичной методике вычисляются коэффициенты и любых других видов регрессии, отличаясь только громоздкостью соответствующих выражений.

Реализация в Mathcad. Линейная регрессия в системе Mathcad выполняется по векторам аргумента Х и отсчетов Y функциями:

Ø intercept(X,Y) – вычисляет параметр а, смещение линии регрессии по вертикали;

Ø slope(X,Y) – вычисляет параметр b, угловой коэффициент линии регрессии.

Расположение отсчетов по аргументу Х произвольное. Функцией corr(X,Y) дополнительно можно вычислить коэффициент корреляции Пирсона. Чем он ближе к 1, тем точнее обрабатываемые данные соответствуют линейной зависимости.

Пример выполнения линейной регрессии приведен на рис. 15.2.1.

Рис. 15.2.1.

15.3. полиномиальная регрессия [25]

Одномерная полиномиальная регрессия с произвольной степенью n полинома и с произвольными координатами отсчетов в Mathcad выполняется функциями:

Ø regress(X,Y,n) – вычисляет вектор S для функции interp(…), в составе которого находятся коэффициенты k_i полинома n-й степени;

Ø interp(S,X,Y,x) – возвращает значения функции аппроксимации по координатам х.

Функция interp(…) реализует вычисления по формуле:

f(x) = k₀ + k₁ x¹ + k₂ x² + … + k_n xⁿ ≡ k_i xⁱ.

Значения коэффициентов k_i могут быть извлечены из вектора S функцией

submatrix(S, 3, length(S), 0, 0).

На рис. 15.3.1 приведен пример полиномиальной регрессии с использованием полиномов 2, 3 и 8-й степени. Степень полинома обычно устанавливают не более 4-6 с последовательным повышением степени, контролируя среднеквадратическое отклонение функции аппроксимации от фактических данных. Нетрудно заметить, что по мере повышения степени полинома функция аппроксимации приближается к фактическим данным, а при степени полинома, равной количеству отсчетов минус 1, вообще превращается в функцию интерполяции данных, что не соответствует задачам регрессии.

Рис. 15.3.1. Одномерная полиномиальная регрессия.

Зональная регрессия. Функция regress по всей совокупности точек создает один аппроксимирующий полином. При больших координатных интервалах с большим количеством отсчетов и достаточно сложной динамике изменения данных рекомендуется применять последовательную локальную регрессию отрезками полиномов малых степеней. В Mathcad это выполняется отрезками полиномов второй степени функцией

Рис. 15.3.2.

loess(X, Y, span),

которая формирует специальный вектор S для функции interp(S,X,Y,x). Аргумент span > 0 в этой функции (порядка 0.1-2) определяет размер локальной области и подбирается с учетом характера данных и необходимой степени их сглаживания (чем больше span, тем больше степень сглаживания данных).

На рис. 15.3.2 приведен пример вычисления регрессии модельной кривой (отрезка синусоиды) в сумме с шумами. Вычисления выполнены для двух значений span с определением среднеквадратического приближения к базовой кривой. При моделировании каких-либо случайных процессов и сигналов на высоком уровне шумов по минимуму среднеквадратического приближения может определяться оптимальное значение параметра span.

15.4. нелинейная регрессия [25]

Линейное суммирование произвольных функций. В Mathcad имеется возможность выполнения регрессии с приближением к функции общего вида в виде весовой суммы функций f_n(x):

f(x, K_n) = K₁ f₁(x) + K₂ f₂(x) + … + K_N f_N(x),

при этом сами функции f_n(x) могут быть любого, в том числе нелинейного типа. С одной стороны, это резко повышает возможности аналитического отображения функций регрессии. Но, с другой стороны, это требует от пользователя определенных навыков аппроксимации экспериментальных данных комбинациями достаточно простых функций.

Рис. 15.4.1. Обобщенная регрессия.

Реализуется обобщенная регрессия по векторам X, Y и f функцией

Ø linfit(X,Y,f),

которая вычисляет значения коэффициентов K_n. Вектор f должен содержать символьную запись функций f_n(x). Координаты x_k в векторе Х могут быть любыми, но расположенными в порядке возрастания значений х (с соответствующими отсчетами значений y_k в векторе Y). Пример выполнения регрессии приведен на рис. 15.4.1. Числовые параметры функций f1-f3 подбирались по минимуму среднеквадратического отклонения.

Рис. 15.4.2.

Регрессия общего типа. Второй вид нелинейной регрессии реализуется путем подбора параметров k_i к заданной функции аппроксимации с использованием функции

genfit(X,Y,S,F),

которая возвращает коэффициенты k_i, обеспечивающие минимальную среднюю квадратическую погрешность приближения функции регрессии к входным данным (векторы Х и Y координат и отсчетов). Символьное выражение функции регрессии и символьные выражения ее производных по параметрам k_i записываются в вектор F. Вектор S содержит начальные значения коэффициентов k_i для решения системы нелинейных уравнений итерационным методом. Пример использования метода приведен на рис. 15.4.2.

Типовые функции регрессии Mathcad. Для простых типовых формул аппроксимации предусмотрен ряд функций регрессии, в которых параметры функций подбираются программой Mathcad самостоятельно. К ним относятся следующие функции:

è expfit(X,Y,S) – возвращает вектор, содержащий коэффициенты a, b и c экспоненциальной функции y(x) = a·exp(b·x)+c. В вектор S вводятся начальные значения коэффициентов a, b и c первого приближения. Для ориентировки по форме аппроксимационных функций и задания соответствующих начальных значений коэффициентов на рисунках слева приводится вид функций при постоянных значениях коэффициентов a и c.

è lgsfit(X,Y,S) – то же, для выражения y(x) = a/(1+c·exp(b·x)).

è pwrfit(X,Y,S) – то же, для выражения y(x) = a·x^b+c.

è sinfit(X,Y,S) – то же, для выражения y(x) = a·sin(x+b)+c. Подбирает коэффициенты для синусоидальной функции регрессии. Рисунок синусоиды общеизвестен.

è logfit(X,Y) – то же, для выражения y(x)=a ln(x+b)+c. Задания начального приближения не требуется.

è medfit(X,Y) – то же, для выражения y(x) = a+b·x, т.е. для функции линейной регрессии. Задания начального приближения также не требуется. График – прямая линия.

Рис. 15.4.3.

На рис. 15.4.3 приведен пример реализации синусоидальной регрессии модельного массива данных по базовой синусоиде в сопоставлении с зональной регрессией полиномом второй степени. Как можно видеть из сопоставления методов по средним квадратическим приближениям к базовой кривой и к исходным данным, известность функции математического ожидания для статистических данных с ее использованием в качестве базовой для функции регрессии дает возможность с более высокой точностью определять параметры регрессии в целом по всей совокупности данных, хотя при этом кривая регрессии не отражает локальных особенностей фактических отсчетов данной реализации. Это имеет место и для всех других методов с заданием функций регрессии.

Дата добавления: 2014-01-04