Способы отбора факторных переменных

Введение.

Лекция №11. Построение уравнений парной нелинейной и множественной регрессии

При построении уравнений парной нелинейной регрессии и уравнений множественной регрессии нередко возникают дополнительные трудности. Эти трудности связаны с тем, что, во-первых, метод наименьших квадратов (МНК) изначально разработан для расчета параметров линейных функций и в его основу заложены некоторые предпосылки, которые всегда выполняются для линейных уравнений регрессии, но могут быть нарушены, если МНК применяется для расчета параметров линеаризованных (но изначально не линейных) уравнений регрессии.

Во-вторых, при построении уравнений множественной регрессии одной из важнейших проблем становится проблема отбора тех факторов, которые целесообразно включать в уравнение. В 30-е г. XX в. увлечение множественной регрессией сменилось разочарованием. Стремясь включить как можно больше факторов в модель, исследователи часто сталкивались с бессмысленными результатами. В настоящее время считается, что в уравнение множественной регрессии не имеет смысла включать более трех-четырех факторных признаков.

Для проведения правильного анализа необходимо знать всю совокупность связей между переменными.

В 1934 году Роберт Фриш предложил одновременно исследовать все возможные виды уравнений регрессии между различными сочетаниями переменных. Анализируя разные варианты уравнений регрессии, Р. Фриш обнаружил эффект деградации регрессии. Он заключался в том, что если в регрессию включить много переменных, имеющих линейные связи друг с другом, то коэффициенты регрессии возвращаются к тем же значениям, которые они имели в уравнении с наименьшим числом переменных.

Он предложил считать, что существует три вида переменных:

- Полезные;

- Лишние;

- Вредные.

Если переменную включают в модель, и при этом она существенно повышает индекс детерминации (квадрат корреляционного отношения), причем коэффициент регрессии при других переменных при этом изменится, то переменная называется полезной переменной.

Если переменную включают в модель, и при этом ни индекс детерминации, ни коэффициенты регрессии при других переменных существенно не меняются, то переменная называется лишней.

Если переменную включают в модель и при этом индекс детерминации существенно не меняется, но значительно изменяются коэффициенты регрессии при других переменных, то переменная называется вредной.

Такой анализ регрессионных моделей Р. Фриш назвал конфлюэнтным анализом и предложил его использовать для отбора факторных переменных, которые следует включать в модель.

Явление линейной зависимости между двумя переменными называется коллинеарностью. Одновременная зависимость между несколькими переменными называется мультиколлинеарностью.

Считается, что нельзя одновременно включать в модель линейно зависимые (коллинеарные) переменные. Для оценки линейной зависимости между двумя переменными измеряют парные коэффициенты корреляции. Для проверки наличия мультиколлинеарности рассчитывают определитель матрицы коэффициентов парной корреляции.

Пусть x₁, x₂ - разные факторные переменные, которые приобретают n различных значений.

Если r(х₁, х₂) > 0.8, то факторы х₁ и х₂ считаются коллинеарными, и их нельзя одновременно включать в модель.

При построении уравнений множественной регрессии необходимо проводить предварительный анализ мультиколлинеарности и на его основе отбирать те переменные, которые целесообразно включать в модель.

Дата добавления: 2014-01-20