Множественная регрессия

Назначение множественной регрессии – анализ связи между одной зависимой и несколькими независимыми переменными.

Пример: Имеются данные о стоимости одного рабочего места (при покупке 50 рабочих мест) для различных PDM-систем. Требуется: оценить зависимость между ценой рабочего места PDM-системы от количества реализованных в ней характеристик, приведенных в таблице 2.

Таблица 2 - Характеристики PDM-систем

Номер п/п	PDM-система	Стоимость	Управление конфигурацией изделия	Модели изделий	Коллективная работа	Управление изменениями изделий	Документооборот	Архивы	Поиск документов	Планирование проекта	Управление изготовлением изделий
	iMAN			Да	Да
	PartY Plus			Да	Да
	PDM STEP Suite			Да	Да
	Search			Да	Да
	Windchill			Да	Да
	Компас-Менеджер			Да	Да
	T-Flex Docs			Да	Да
	ТехноПро			Нет	Нет

Численное значение характеристик (кроме «Стоимость», «Модели изделий» и «Коллективная работа») означает количество реализованных требований каждой характеристики.

Создадим и заполним электронную таблицу с исходными данными (Рисунок 27).

Значение «1» переменных «Мод. изд.» и «Коллект. р-та.» соответствует значению «Да» исходных данных, а значение «0» значению «Нет» исходных данных.

Построим регрессию между зависимой переменной «Стоимость» и независимыми переменными «Упр. конф.», «Мод. изд.», «Коллект. р-та», «Упр. изм.», «Док.», «Архивы», «Поиск», «План-е», «Упр. изгот.».

Для начала статистического анализа исходных данных вызвать модуль «Multiple Regression» (рисунок 22).

В появившемся диалоговом окне (рисунок 23) указать переменные по которым будет производиться статистический анализ.

Рисунок 27 - Исходные данные

Для этого нажать кнопку Variables и в появившемся диалоговом окне (рисунок 28) в части соответствующей зависимым переменным (Dependent var.) выбрать «1-Стоимость», а в части соответствующей независимым переменным (Independent variable list) выбрать все остальные переменные. Выбор нескольких переменных из списка осуществляется с использованием клавиш «Ctrl» или «Shift», либо указанием номеров (диапазона номеров) переменных в соответствующем поле.

Рисунок 28 - Диалоговое окно задания переменных для статистического анализа

После того как переменные выбраны нажать кнопку «OK» в диалоговом окне задания параметров модуля «Multiple Regression». В появившемся окне с надписью «No of indep. vars. >=(N-1); cannot invert corr. matrix.» (рисунок 29) нажать кнопку «OK».

Данное сообщение появляется в случае когда система не может построить регрессию по всем заявленным независимым переменным, т.к. число переменных больше или равно числу случаев минус 1.

В появившемся окне (рисунок 30) на закладке «Advanced» можно изменить метод построения уравнения регрессии.

Рисунок 29 - Сообщение об ошибке

Для этого в поле «Method» (метод) выбрать «Forward stepwise» (пошаговый с включением).

Рисунок 30 - Окно выбора метода и задания параметров построения уравнения регрессии

Метод пошаговой регрессии состоит в том, что на каждом шаге в модель включается, либо исключается какая-то независимая переменная. Таким образом, выделяется множество наиболее "значимых" переменных. Это позволяет сократить число переменных, которые описывают зависимость.

Пошаговый анализ с исключением («Backward stepwise»). В этом случае все переменные будут сначала включены в модель, а затем на каждом шаге будут устраняться переменные, вносящие малый вклад в предсказания. Тогда в качестве результата успешного анализа можно сохранить только "важные" переменные в модели, то есть те переменные, чей вклад в дискриминацию больше остальных.

Пошаговый анализ с включением («Forward stepwise»). При использовании этого метода в регрессионное уравнение последовательно включаются независимые переменные, пока уравнение не станет удовлетворительно описывать исходные данные. Включение переменных определяется при помощи F - критерия. На каждом шаге просматриваются все переменные и находится та из них, которая вносит наибольший вклад в различие между совокупностями. Эта переменная должна быть включена в модель на данном шаге, и происходит переход к следующему шагу.

В поле «Intercept» (свободный член регрессии) можно выбрать включать ли его в уравнение («Include in model») либо не учитывать и считать равным нулю («Set to zero»).

Параметр «Tolerance» это толерантность переменных. Определяется как 1 минус квадрат коэффициента множественной корреляции этой переменной со всеми другими независимыми переменными в уравнении регрессии. Поэтому, чем меньший толерантность переменной, тем более избыточный - ее вклад в уравнение регрессии. Если толерантность любой из переменных в уравнении регрессии равна или близка к нулю, то уравнение регресса не может быть оценено. Поэтому параметр толерантность желательно задать равным 0,05 или 0,1.

Параметр «Ridge regression; lambda:» используется, когда независимые переменные высоко межкоррелированые, и устойчивые оценки для коэффициентов уравнения регрессии, не могут быть получен через метод наименьших квадратов. Указанная постоянная (лямбда) будет добавлена к диагонали матрицы корреляций, которая тогда заново будет приведена к стандартизированному виду (так чтобы все диагональные элементы были равны 1.0). Другими словами, данный параметр искусственно уменьшает коэффициенты корреляции так, чтобы можно было вычислить более устойчивые (все же смещенный) оценки параметров регрессии. В наше случае данный параметр не используется.

Параметр «Batch processing/printing» (обработка, печать отчетов) используется, когда необходимо сразу подготовить для отчета несколько таблиц, отражающих результаты и процесс регрессионного анализа. Эта опция весьма полезна, когда необходимо напечатать или проанализировать результаты пошагового регрессионного анализа на каждом шаге.

На закладке «Stepwise» (рисунок 31) можно задать параметры условия включения («F to enter») или исключения («F to remove») переменных при построении уравнения регрессии, а также количество шагов построения уравнения («Number of steps»).

Рисунок 31 – Закладка «Stepwise» окна выбора метода и задания параметров построения регрессионного уравнения

F это величина значения F-критерия.

Если при пошаговом анализе с включением необходимо, чтобы все или почти все переменные вошли в уравнение регрессии то необходимо значение «F to enter» установить минимальным (0,0001), и значение «F to remove» также установить минимальным.

Если при пошаговом анализе с исключением необходимо, удалять все переменные (по одной) из уравнения регрессии то необходимо значение «F to enter» установить очень большим, например 999, и значение «F to remove» установить близким к «F to enter».

Следует помнить, что значение параметра «F to remove» всегда должно быть меньше чем «F to enter».

Опция «Display results» (отображение результатов) имеет два варианта:

1) Summary only – только окончательные результаты анализа;

2) At each step – отображать результаты анализа на каждом шаге.

После нажатия кнопки «OK» в окне выбора методов регрессионного анализа появится окно результатов анализа (рисунок 32).

Рисунок 32 - Окно результатов анализа

Рисунок 33 - Краткие результаты регрессионного анализа

Согласно результатам анализа коэффициент детерминации . Это означает, что построенная регрессия объясняет 99,987% разброса значений относительно среднего, т.е. объясняет практически всю изменчивость переменных.

Большое значение и его уровень значимости показывают, что построенная регрессия высоко значима.

Для просмотра кратких результатов регрессии нажать кнопку «Summary: Regression result». На экране появится электронная таблица с результатами анализа (рисунок 33).

В третьем столбце («B») отображены оценки неизвестных параметров модели, т.е. коэффициенты уравнения регрессии.

Таким образом, искомая регрессия имеет вид:

Качественно построенное уравнение регрессии можно интерпретировать следующим образом:

1) Стоимость PDM-системы увеличивается с возрастанием количества реализованных функций по управлению изменениями, документообороту и планированию, а также, если в систему включена функция поддержки модели изделия;

2) Стоимость PDM-системы снижается с увеличением реализованных функций управления конфигурацией и с увеличением возможностей поиска.

Дата добавления: 2014-11-29