Статистический анализ уравнения регрессии

Основные понятия классического регрессионного анализа

Регрессионного анализа

Обработка результатов пассивного эксперимента методом

В пассивном эксперименте исходная информация о функционировании сложной системы может быть получена путем непрерывной или дискретной фиксации уровней исследуемых входных факторов и выходных параметров системы в условиях ее нормального функционирования. В данном случае, как уровни, так и сочетания уровней всех входных факторов в каждый момент времени будут являться случайными величинами. Случайными величинами будут являться и выходные параметры системы. При проведении пассивного эксперимента исследователь каждому сочетанию уровней всех входных факторов должен поставить в соответствие текущий уровень выходных параметров системы. Полученная таким образом информация может быть представлена в виде следующей таблицы.

Таблица 3.1 – Результаты пассивного эксперимента

Опыты	Входные параметры	Выходные параметры
x1	…	xi	…	xk	y1	…	ys	…	y2
… j … N	x11 x21 … xj1 … xN1	… … … … … …	x1i x2i … xji … xNi	… … … … … …	x1k x2k … xjk … xNk	y11 y21 … yj1 … yN1	… … … … … …	y1s y2s … yjs … yNs	… … … … … …	y1r y2r … yjr … yNr

Выходные параметры системы y_s стохастические связаны с входными факторами x_i. В общем виде, эту связь можно представить выражением:

, (3.3)

где i=1,k;

e –аддитивная помеха, то есть величина, учитывающая случайные ошибки измерений, случайные шумы, влияние неучтенных факторов.

Данную аналитическую зависимость принято называть математической моделью системы, полученной по результатам пассивного эксперимента. Так как математическая модель вида (3.3) находится для каждого выходного параметра системы y₁, y₂,..., y_s,..., y_r в отдельности, то в дальнейшем будем рассматривать способ ее нахождения лишь в общем виде для одного выходного параметра y.

Выше было отмечено, что истинную зависимость величин X и Y характеризует зависимость условного математического ожидания M[Y/X=x] от параметра. Следовательно, математическую модель (3.3) целесообразно искать в виде уравнения регрессии. Если принять условие, что математическое ожидание аддитивной помехи:

M[e]=0,

то условное математическое ожидание выходного параметра y будет совпадать со значением функции j(x_i):

M[Y/X_i=x_i]=y=j(x_i); (3.4)

где j(x_i) – функция регрессии.

Условное математическое ожидание M[Y/X_i=x_i], как правило, зависит не только от входных факторов x_i, но и от некоторых параметров b_i, тогда:

M[Y/X_i=x_i]=y=j(x_i, b_i). (3.5)

В зависимости от того, как данные параметры b_i входят в функцию регрессии, модели (3.5) делятся на линейные и нелинейные (по параметрам). Мы будем рассматривать только линейные регрессионные модели.

Точное уравнение регрессии можно получить, только зная M[Y/X_i=x_i] для всех допустимых значений переменной x_i.

Практически, при проведении экспериментальных исследований такая ситуация невозможна, так как даже отдельные значения M[Y/X_i=x_i] не могут быть найдены точно. В связи с этим мы можем искать лишь уравнения приближенной регрессии, оценивая величину и вероятность этой приближенности. Уравнение приближенной регрессии будем записывать в виде:

M [ Y/X_i=x_i ]= (3.6)

где – оценка условного математического ожидания;

f (x_i,b_i) – функция приближенной регрессии;

b_i – оценки параметров регрессии.

Вид уравнения приближенной регрессии существенно зависит от выбранного метода приближения. В качестве такого метода в "классическом" регрессионном анализе используется метод наименьших квадратов. Следует отметить, что принцип применения метода наименьших квадратов пригоден для сравнения любого числа функций. Однако при этом удобнее всего сравнивать функции, накладывающие на выборку одинаковое число связей, так как при этом можно сравнивать просто суммы квадратов отклонений. Рассмотрим теоретические основы его применения при обработке результатов пассивного эксперимента.

Так как уровни входных факторов, полученных при испытаниях (смотреть таблицу 3.1), как правило, имеют различный порядок, то для упрощения вычислений все ячейки таблицы 3.1. необходимо отцентрировать и, кроме того, целесообразно добавить первый столбец (x₀-фиктивный фактор), состоящий из единиц. Тогда таблица результатов эксперимента приобретет окончательный вид:

Таблица 3.2 - Результаты пассивного эксперимента

Опыты

Входные параметры

Выходные параметры

x0

…

…

y1

…

ys

…

yr

… j … N

… …

… …

… … … … … …

… …

… … … … … …

… …

y11 y21 … yj1 … yN1

… … … … … …

y1s y2s … yjs … yNs

… … … … … …

y1r y2r … yjr … yNr

В данной таблице:

= x_ji- ; (3.7)

.

Очевидно, что ошибка в j -м опыте, которая будет характеризовать точность подбираемой нами математической модели системы, может быть записана в виде:

,

где y_jэ – величина выходного параметра системы, полученная по результатам эксперимента в j -м опыте;

– величина выходного параметра системы, рассчитанная для j -го опыта по подобранной математической модели (3.6).

Целесообразно так подобрать математическую модель, чтобы по всем опытам выполнялось условие:

. (3.8)

Однако, чтобы избежать выполнения данного условия из-за взаимного погашения слагаемых с различными знаками, следует взять условие:

. (3.9)

Таким образом, мы пришли к методу наименьших квадратов:

. (3.10)

Выражение (3.10) минимизирует сумму квадратов остатков или невязок, которые вызываются двумя причинами: отличием оценок b_i от истинных параметров b_i и наличием аддитивной помехи e.

Если в выражении (3.10) функция Ф есть дифференцируемая функция по всем своим параметрам b_i и требуется так подобрать данные параметры, чтобы выполнялось условие минимума, то необходимым условием этого будет являться равенство нулю ее частных производных по всем параметрам b_i:

. (3.11)

Эти равенства можно рассматривать как уравнения относительно неизвестных параметров b₀, b₁,..., b_i,..., b_k, которые в математической статистике принято называть "системой нормальных уравнений". Так как функция при любых значениях b_i, то у нее обязательно существует хотя бы один минимум. Используя правила дифференцирования, системе уравнений (3.11) обычно придают несколько иной вид:

. (3.12)

Или после дальнейших преобразований:

. (3.13)

Решить систему уравнений (3.13) в общем виде нельзя, для этого следует задаться конкретным видом функции:

.

Так как подбираемая по результатам эксперимента математическая модель системы, как правило, по своему виду не имеет ничего общего с природой процессов, происходящих в системе, то в качестве функции f(x_i,b_i) целесообразно выбирать простые аналитические зависимости. Таковыми могут быть системы ортогональных полиномов того или иного класса (полиномов Эрмита, Лежандра и другие) тригонометрические функции и т.п. На практике наиболее часто используются полиномы - многочлены различной степени.

Вид многочлена (порядок) можно выбирать, исходя из визуальной оценки характера расположения точек на поле корреляции, опыта предыдущих исследований или исходя из соображений профессионального характера, основанные на знании физической сущности исследуемого процесса. Однако считается, что на начальном этапе исследования более целесообразно ограничиться полиномом первого порядка.

Таким образом, теоретически считается, что в регрессионном анализе вид функции f (x_i,b_i) известен и требуется по экспериментальным данным с помощью N опытов найти лишь неизвестные параметры b_i.

Для решения системы (3.13) выдвигаем гипотезу о наиболее простом (линейном) виде функции f(x_i,b_i), то есть:

, (3.14)

где b₀, b₁,…, b_k – вектор независимых коэффициентов (параметров) линейного полинома.

В данном случае частные производные в выражении (3.13) будут равны:

; ; …; . (3.15)

Тогда система уравнений (3.13) с учетом (3.15) преобразуется к виду:

. (3.16)

Решение системы нормальных уравнений (3.16) целесообразно вести в матричной форме. С этой целью представим ее в следующем виде:

, (3.17)

где – матрица входных переменных;

– транспонированная матрица к матрице ;

– матрица – столбец выходного параметра;

– матрица- столбец коэффициентов регрессии.

Для определения коэффициентов регрессии умножим обе части выражения (3.17) на слева, тогда получим:

,

откуда:

,

где Е – единичная матрица

или

, (3.18)

где – матрица, обратная матрице .

Следует отметить, что для существования обратной матрицы матрица должна быть невырожденной (неособенной). В связи с этим при использовании данного вычислительного метода необходимо, чтобы входные переменные х₁, х₂, …, х_k были линейно независимы. Тогда в матрице независимых входных переменных элементы одного столбца не будут линейной комбинацией соответствующих элементов других столбцов. Если же, по каким-то причинам, матрица является вырожденной, то следует либо попытаться выразить модель через меньшее число параметров, либо выдвинуть дополнительные ограничения на параметры.

Нахождение обратной матрицы – это задача более сложная, чем просто решение системы линейных алгебраических уравнений, так как ее элементы определяются путем деления алгебраического дополнения элемента в матрице на ее определитель.

В качестве примера приведем общие формулы для обращения матриц порядка 2 и 3, которые имеют вид:

,

где ∆ =ad-bc – определитель 2*2 – матрицы М;

,

где

;

;

;

;

,

где ∆ – определитель матрицы Q.

Матрицы вида , встречающиеся в регрессионном анализе, всегда симметричны. У этой матрицы элемент j -ой строки и i -го столбца равен элементу i -й строки и j -го столбца, то есть имеет место симметрия элементов квадратной матрицы относительно ее главной диагонали, соединяющей левый верхний элемент с правым нижним. Следовательно, транспонирование симметричной матрицы не меняет ее. Таким образом, если матрица М порядка 2 симметрична, то b = c и обратная матрица будет также симметричной. Если матрица Q, упомянутая выше, симметрична, то b = d, c = g, f = h. Тогда переобозначая матрицу Q в матрицу S, мы получим также симметричную обратную матрицу:

,

где

,

где ∆ – определитель матрицы S.

Итак, можно сделать следующий вывод: обратная матрица от любой симметричной матрицы есть симметричная матрица.

Матрицы, имеющие порядок больше трех, обычно трудно обращать, если они не имеют специальной формы. Матрица, которая легко обращается независимо от ее порядка, - это диагональная матрица, которая содержит ненулевые элементы только на главной диагонали, а остальные элементы нули. Обратная матрица от нее получается путем обращения всех ненулевых элементов и сохранения их на тех же позициях, что и в исходной матрице. Например,

.

На этом важном свойстве мы остановимся ниже более подробно.

Таким образом, решение системы нормальных уравнений (3.16) в матричной форме (3.17) имеет вид:

.

Каждый коэффициент уравнения регрессии будет определяться по формуле:

,

где с_iu – элементы обратной матрицы .

В результате проведения всех этих операций получим полином первой степени (3.14) с известными коэффициентами b_i. Этот полином является аппроксимацией функции (3.5), вид которой исследователю неизвестен.

После расчета коэффициентов b_i полученное уравнение приближенной регрессии (3.14) подвергается статистическому анализу.

При этом оценивают ошибку от замены истинной регрессии приближенной и проверяют значимость всех слагаемых найденного уравнения в сравнении со случайной ошибкой наблюдений. Данный комплекс мероприятий носит название «регрессионного анализа».

Особо следует подчеркнуть, что излагаемый порядок проведения «классического» регрессионного анализа возможен только при выполнении следующих предпосылок.

1) Ошибка измерения входных факторов Х равна нулю. Данное категорическое требование, конечно, никогда не может быть выполнено в полной мере. Его следует понимать таким образом, что фактор, вносимый случайными ошибками измерения факторов Х в дисперсию воспроизводимости эксперимента, должен быть пренебрежимо мал по сравнению с действием других неконтролируемых факторов, образующих ошибку эксперимента.

2) Аддитивная помеха (шум эксперимента) e является случайной величиной, распределенной по нормальному закону с математическим ожиданием M[e]=0 и постоянной дисперсией . Значения помехи e в различных наблюдениях являются некоррелированными величинами, то есть .

3) При наличии параллельных опытов оценки дисперсий выходного параметра S₁², S₂², …, S_N² должны быть однородны. (Однородность оценок дисперсий при одинаковом числе параллельных опытов для каждой серии реализаций проверяют по критерию Кохрена, а при разном – по критерию Бартлетта).

4) Результаты наблюдений над выходной величиной Y представляют собой независимые, нормально распределенные случайные величины. Данное требование не является безусловным, так как метод наименьших квадратов можно применять для определения коэффициентов уравнения регрессии, если даже нет нормального распределения Y, но при этом уже ничего нельзя сказать о его эффективности, особенно при выборках малого объема. Поэтому целесообразно попытаться преобразовать случайную величину Y к нормальному закону.

Статистический анализ уравнения регрессии начинается с проверки адекватности полученного уравнения приближенной регрессии (3.14) результатам эксперимента. В общем случае гипотеза об адекватности должна быть принята, если выполняется условие

, (3.19)

где – табличное значение критерия Фишера при уровне значимости и числа степеней свободы числителя f₁ и знаменателя f₂;

S²_ост – остаточное дисперсия, обусловленная влиянием неучтенных факторов и ошибками измерений в ходе проведения эксперимента;

S²_{воспр .} – дисперсия воспроизводимости, характеризующие рассеивание значений выходного параметра Y при повторении одного и того же опыта, при одном и том же сочетании уровней факторов.

Следует, однако, подчеркнуть, что при выполнении пассивного эксперимента, вследствие трудности повторения опытов при неизменных условиях функционирования системы, получение дисперсии воспроизводимости становится практически невозможным.

В рассматриваемых условиях для проверки адекватности целесообразно воспользоваться эмпирической зависимостью

(3.20)

где – оценка дисперсии выходного параметра Y;

– остаточная дисперсия.

Оценки дисперсии рассчитываются по следующим формулам:

, (3.21)

, (3.22)

, (3.23)

где – оценка выходного параметра, вычисления для j-го опыте по зависимости (3.14).

Если условие (3.20) выполняется, то гипотезу об адекватности полученного уравнения приближенной регрессии (3.14) результатам пассивного эксперимента следует принять. В противном случае, при неизменном составе входных факторов, следует выдвинуть конкурирующую гипотезу о нелинейном виде математический модели и весь процесс вычислений повторить для получения модели в виде неполного квадратного или полного квадратного полинома. Так, повышая постепенно степень полинома, можно получить в конечном итоге адекватную математическую модель.

Если по каким-то причинам проверить адекватность полученного уравнения не удалось, то следует проверить работоспособность полученной регрессивной модели, что хотя и косвенным образом, но даст некоторое представление об адекватности. Анализ работоспособности, как правило, включает в себя две основные процедуры:

1 Исследование остатков:

,

то есть разностей между результатами эксперимента y_jЭ и соответствующими, предсказанными по уравнению регрессии . Если полученная математическая модель адекватно описывает процесс, то остатки e_j будут характеризовать свойства шума – аддитивной помехи, о законе распределения и характеристиках которой нами были приняты вполне определенные предположения (смотреть пункт 3.2.1). Таким образом, одно из основных направлений исследования остатков - это анализ справедливости исходных предположений о свойствах шума:

,

который показывает, какая доля из общего рассеяния экспериментальных значений выходного параметра относительно своего среднего обусловлена регрессивной зависимостью. Величина R² может изменяться в пределах от 0 до 1. Если расчетное значение R² меньше R_min = 0,75, то уравнение регрессии можно считать неработоспособным. Если расчетное значение R² близко к единице, то можно говорить о хорошем качестве моделирования при условии, что N достаточно велико по сравнению с (К+1).

После получения адекватной модели переходят ко второму этапу статистического анализа. На данном этапе производится селекция входных факторов, суть которой заключается в следующем. На величину входного параметра системы, как правило, существенно влияет лишь часть из всей совокупности К включенных в эксперимент факторов. Тогда без особого ущерба для точности математической модели все остальные факторы можно из уравнения регрессии исключать. Для выявления незначимых факторов производится проверка значимости всех коэффициентов регрессии b_i с помощью t – критерия Стьюдента.

Факторы, для которых выполняется условие:

, (3.24)

где t_табл. (α,f) – табличное значение критерия Стьюдента для уровня значимости α и числа степеней свободы;

f = N-K-1;

– оценка среднего квадратического отклонения i-го коэффициента регрессии.

Являются значимыми, и их следует оставить в уравнении регрессии.

Величины оценок среднеквадратических отклонений коэффициентов регрессии можно получить умножением оценки дисперсии воспроизводимости S²_{воспр .} на ковариационную матрицу , которая получается в процессе вычисления вектора коэффициентов регрессии:

. (3.25)

В матрице (3.25) элементы, лежащие на главной диагонали, есть не что иное, как оценки дисперсий соответствующих коэффициентов уравнения регрессии, а недиагональные элементы – ковариации (корреляционные моменты) соответствующих пар коэффициентов регрессии.

Ранее мы отмечали, что при проведении пассивных экспериментов, как правило, параллельные опыты не проводятся, а следовательно, дисперсия воспроизводимости S²_воспр. нам не известна.

Поэтому для вычисления матрицы (3.25) следует принять:

при условии, что получена адекватная математическая модель (3.14). Следует особо остановиться на процедуре исключения незначимых факторов, для которых условие (3.24) не выполняется. Исключение из полученного уравнения регрессии хотя бы одного незначимого фактора требует удаления из исходной матрицы входных переменных соответствующего столбца. Но так как ковариационная матрица при обработке результатов пассивного эксперимента не является диагональной, то исключения даже одного столбца из матрицы повлечет за собой существенно изменение всех величин коэффициентов b_i особенно тех, которые находятся в тесной стохастической связи с коэффициентами при исключенных факторах. Следовательно, все оставшиеся коэффициенты должны быть рассчитаны заново и проведена проверка адекватности полученного уравнения регрессии. Процесс отбрасывания незначимых коэффициентов последовательно повторяется до тех пор, пока в адекватном уравнении останутся только значимые коэффициенты регрессии. Полученное таким образом уравнение приближенной регрессии вида (3.14) может быть использовано для анализа влияния входных факторов на выходной параметр исследуемой системы и для прогнозирования величин выходного параметра. В последнем случае в уравнение регрессии следует подставлять центрированные значения входных факторов . Это не всегда удобно. Поэтому целесообразно перейти к модели с нецентрированными значениями входных факторов, выполнив обратное преобразование по зависимости (3.7).

Подводя краткий итог вышеизложенному, следует отметить, что наряду с очень большим объемом вычислений, даже для сравнительно небольшого числа исследуемых входных факторов, применение регрессионного анализа для обработки результатов пассивных экспериментов редко дает интересные результаты. Это связано, прежде всего, со значительным смещением оценок выходных параметров системы вследствие воздействия на исследуемый процесс большой группы неконтролируемых факторов, которые сильно корелированы с исследуемыми факторами.

Дата добавления: 2015-05-26