КАТЕГОРИИ: Архитектура-(3434)Астрономия-(809)Биология-(7483)Биотехнологии-(1457)Военное дело-(14632)Высокие технологии-(1363)География-(913)Геология-(1438)Государство-(451)Демография-(1065)Дом-(47672)Журналистика и СМИ-(912)Изобретательство-(14524)Иностранные языки-(4268)Информатика-(17799)Искусство-(1338)История-(13644)Компьютеры-(11121)Косметика-(55)Кулинария-(373)Культура-(8427)Лингвистика-(374)Литература-(1642)Маркетинг-(23702)Математика-(16968)Машиностроение-(1700)Медицина-(12668)Менеджмент-(24684)Механика-(15423)Науковедение-(506)Образование-(11852)Охрана труда-(3308)Педагогика-(5571)Полиграфия-(1312)Политика-(7869)Право-(5454)Приборостроение-(1369)Программирование-(2801)Производство-(97182)Промышленность-(8706)Психология-(18388)Религия-(3217)Связь-(10668)Сельское хозяйство-(299)Социология-(6455)Спорт-(42831)Строительство-(4793)Торговля-(5050)Транспорт-(2929)Туризм-(1568)Физика-(3942)Философия-(17015)Финансы-(26596)Химия-(22929)Экология-(12095)Экономика-(9961)Электроника-(8441)Электротехника-(4623)Энергетика-(12629)Юриспруденция-(1492)Ядерная техника-(1748) |
Основная теорема линейной регрессии
Теорема Гаусса-Маркова
Пусть есть Х и У выборки объема Т. 1) 2) - детерминированное (т.е. случайная величина) 3) а) б) или к нормальной линейной регрессии Оценки и получены методом наименьших квадратов, являются лучшими в классе линейных несмещенных оценок, т.к. обладают наименьшей дисперсией. Замечание: наши оценки являются наилучшими, если мы оцениваем модель, линейную по параметру. Пример: - линейная модель, т.к. , или - линейная модель по параметру -нелинейная модель Замечание: остатки после построения регрессии должны иметь нормальное распределение с параметрами математическое ожидание=0 и дисперсия=0, т.е., оценив регрессию, мы должны проверить остатки на нормальность. Оценив параметры модели, мы хотим узнать, насколько точно мы оценим коэффициент. Точность оценки связана с ее дисперсией. Поэтому найдем дисперсию и . Для простоты расчетов введем обозначения:
Тогда дисперсия оценки будет равна: Теперь у нас есть наилучшие оценки коэффициентов регрессии aи b, однако в регрессионном уравнении есть еще один неизвестный параметр – это дисперсия ошибок. Из этих двух формул следует, что чем больше измерений, тем точнее результат и меньше дисперсии. Рассмотрим дисперсию ошибок более подробно. Обозначим через - прогноз в точке Тогда остатки моделей будут собой представлять разницу между истинными и прогнозируемыми значениями. - случайные величины, но - остатки, - ошибки Но остатки в отличие от ошибок ненаблюдаемы, поэтому для оценки дисперсии ошибок проще рассмотреть ее через остатки. Попробуем выразить дисперсию ошибок через остатки модели. Поскольку математическое ожидание у ошибок и остатков нулевое, то дисперсия выражается через математическое ожидание суммы:
- неизвестная дисперсия остатков Замечание: неизвестная дисперсия остатка связана с количеством наблюдений (их должно быть как можно больше) и с ошибками (они должны быть как можно меньше). Поэтому из двух подобранных моделей мы выбираем ту, которая точнее строит прогнозы даже если она построена по выборке объемом с меньшим Т.
Дата добавления: 2013-12-13; Просмотров: 806; Нарушение авторских прав?; Мы поможем в написании вашей работы! Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет |