Закон больших чисел и центральная предельная теорема

Структура общего решения линейного неоднородного дифференциального уравнения (ДУ). Метод Лагранжа. Построение частного решения неоднородного ДУ с постоянными коэффициентами при специальной правой части.

Вопрос 11.

1. Структура общего решения линейного неоднородного ДУ (ЛНДУ).

Ly=f (1)

Полезными являются следующие свойства решений:

Теорема 1: Если у₀ – решение однородного,

у_* - решение неоднородного, то

у₀ + у_* - решение неоднородного.

Док-во: L(y₀ + y_*) = Ly₀ + Ly_* = 0 + f = f. ч.т.д.

Теорема 2: Если у_i – решение уравнения Ly = f_i (), то

- решение уравнения вида .

Док-во: . ч.т.д.

Основным результатом является следующая теорема:

Теорема 3: (о структуре общего решения ЛНДУ)

Справедлива следующая формула:

у_о.н. = у_о.о. + у_ч.н. (2)

где у_о.н. – общее решение неоднородного;

у_о.о. - общее решение однородного;

у_ч.н. - частное решение неоднородного.

Док-во: Исследуем (1). Замена:

у = у_ч.н. + z, z =?.

~ L(y_н.ч. + z)= f ~ Ly_ч.н. + Lz = f ~ f+Lz = f ~ Lz=0 ~ z=y_о.о.

Тогда:

у = у_о.о. + у_ч.н. ~ y_о.н. = у_о.о. + у_ч.н.

ч.т.д.

1. Метод Лагранжа (Метод вариации произвольных постоянных(МВПП)).

Замечание: В рамках этого метода предлагается условие, которое упрощает дальнейшие рассуждения. Для понимания смысла такого условия достаточно рассмотреть лишь уравнение 2-го порядка.

(1)

где - известные функции

y = g(x) - искомая функция.

1) Предварительно решается соответствующее однородное уравнение: (2)

Пусть (3) - общее решение, причем {z₁+z₂} – ФСР уравнения (2).

~ и:

2) Согласно методу вариации произвольных постоянных (Лагранжа), решение уравнения (1) отыскивается в виде (3), в котором и - новые неизвестные функции.

(4)

и

Следовательно нужно иметь 2 условия:

1-ое условие: (5)

Идея метода: Во избежание 2-х производных и налагаем доп-ные условия:

2-ое условие: (6)

подставляем в (1):

(7)

Относительно неизвестных и получим СЛАУ 2-го порядка:

(8)

Причем

По теореме Крамера сущ-ет единственное решение:

Тогда:

, следовательно по (4) находим общее решение ур-я (1).

1. Построение частного решения ЛНДУ с постоянными коэффициентами при специальной правой части.

Зам:

В силу доказанного, т.е. y_о.н. = у_о.о. + у_*, основной задачей является построение

При специальной правой части достаточно просто строится методом неопределенных коэффициентов (МНК).

Под специальной правой частью будем понимать:

где

Pr, Ps – известные полиномы.

1) Решается характеристическое уравнение

2) - проверяется на корень.

~ k – кратность корня

Вводится:

Тогда (9)

где - полиномы степени m с неопределенными коэффициентами.

Неопределенные коэффициенты находим путем подстановки в формулу (9) данное неоднородное уравнение (1). При этом относительно них получается квадратная система линейных уравнений (как правило не полная система), которая имеет единственное решение.

Под законом больших чисел понимается ряд теорем, каждой из которых устанавливается факт сходимости средних арифметических большого числа случайных величин (СВ) к некоторым неслучайным величинам (НеСВ).

Основные формы закона больших чисел – теоремы Чебышева и Бернулли.

Теорема Чебышева: пусть – последовательность независимых СВ, имеющих математические ожидания , дисперсии . Причем дисперсии ограничены одним и тем же числом , т.е. . Тогда для выполняется условие:

или при .

Таким образом, в теореме Чебышева утверждается, что среднее арифметическое СВ при большом числе слагаемых перестает быть СВ и может быть заменено НеСВ: средним арифметическим их математических ожиданий.

Следствие из Теоремы Чебышева: в частном случае независимых одинаково распределенных СВ и . Утверждение из Теоремы Чебышева приобретает вид:

для или при .

В данном утверждении находит обоснование тот факт, почему в качестве истинного значения некоторой измеряемой величины используют среднее арифметическое отдельных измерений этой величины: .

Согласно данному утверждению при больших среднее арифметическое этих результатов отдельных измерений будет ближе к истинному значению, чем результат каждого отдельного измерения.

Кроме того, этот частный случай Теоремы Чебышева играет большую роль в математической статистике, являясь теоретическим обоснованием свойства состоятельности: как оценки генеральной совокупности .

В основе доказательства Теоремы Чебышева лежит неравенство Чебышева и понятие сходимости последовательности СВ по вероятности.

Неравенство Чебышева: для каждой СВ , имеющей конечную дисперсию , при имеет место неравенство . Это неравенство позволяет оценить вероятности событий, зная только и СВ , не зная закона распределения, т.е. используя минимальную информацию.

Замечание: если известен закон распределения с функцией распределения , тогда .

Последовательность СВ называется сходящейся по вероятности к некоторой величине (которая является либо СВ, либо НеСВ), если для выполняется равенство: или при .

Сходимость по вероятности означает, что последовательность приближается к так, что отклонение члена последовательности от по абсолютной величине, превосходящее любое наперед заданное число , становится все менее вероятным с увеличением .

Для доказательства Теоремы Чебышева рассматривают СВ . В силу свойств математического ожидания и дисперсии конечного числа независимых СВ и условий Теоремы следует: (, если равны).

{для независимых СВ}

( для одинаково распределенных СВ)

Замечание: , , .

Используя неравенство Чебышева, выполняется неравенство:

,

где и , что и требовалось доказать.

Частным случаем Теоремы Чебышева является Теоремы Бернулли (или закон больших чисел в форме Бернулли).

Теорема Бернулли: пусть в независимых испытаниях по схеме Бернулли некоторое событие в каждом из испытаний наступает с вероятностью . Тогда для выполняется:

, где - число успехов или появлений события в испытаниях, - относительная частота.

Утверждение Теоремы: при .

Доказательство Теоремы Бернулли следует из Теоремы Чебышева, если ,

0
1-p	p

где

Утверждение Теоремы Бернулли является теоретическим обоснованием статистического определения вероятности, тогда в качестве приближенного значения вероятности некоторого события принимают частоту его появлений, в которых данное событие появляется. Теорема Бернулли является теоретическим обоснованием состоятельности .

В Центральной Предельной Теореме (ЦПТ) исследуется вопрос возникновения нормального распределения как предельного для суммы большого числа СВ. Данная Теорема выявляет ту особую роль, которую играет нормальное распределение на практике. Нормальный закон всегда имеет место, когда СВ является результатом действия большого числа равномерно малых по их влиянию на весь результат случайных факторов, действующих независимо друг от друга.

Для случая одинаково распределенных независимых слагаемых:

ЦПТ: пусть - последовательность независимых одинаково распределенных СВ, имеющих и . Тогда функция распределения стандартизированной СВ для фиксированного при стремится к функции распределения нормальной стандартной величины : для .

Величину называют стандартизированной, если и .

В ЦПТ используется понятие сходимости последовательности функции распределения или слабой сходимости.

Сходимость называется сходимостью последовательности функции распределения к функции распределения или слабой сходимостью последовательности СВ к СВ : для слабой сходимости.

13. Регрессионный анализ: линейная и нелинейная регрессия, статистические свойства оценок коэффициентов регрессии.

Во многих прикладных задачах требуется построить математическую модель (уравнение), связывающую факторные (- изменение этих переменных влечет изменение результативной переменной) переменные Х₁, …Х_к и результативную (зависимую) переменную У. Предполагается У - случайной величиной, а Х₁, …Х_k не случайные величины. В этом случае математическая модель связи:

Y=f (Х₁…Х_k) + ε(Х₁…Х_k) (1)

(1) называется статистической моделью связи.

где ε(Х₁…Х_k) – случайная величина при каждом наборе (x₁,…x_k), f(x)=M(Y|X=x) – функция регрессии, - погрешность модели (случайная переменная), порожденная или действием неучтенных факторов, или случайными ошибками измерений случайной величины У.

Если факторных переменных больше 2х, то говорят о множественной регрессионной модели, если факторная переменная 1,то – о парной регрессионной модели:

Y=f (Х) + ε(Х)

Основные свойства регрессионной модели состоят в том, что для каждого набора :

1) математическое ожидание случайных ошибок (отсутствие систематической погрешности)

2) i≠j случайные ошибки некоррелируемы

3) случайные ошибки имеют одинаковую дисперсию (гомоскедастичность - равноизменчивость)

Основные задачи регрессионного анализа:

1) установление модели регрессии, т.е. вида f(), что заключает в себе предположение о зависимости функции регрессии от значений факторных переменных и неизвестных параметров (b₁…b_m)= .

2) нахождение оценок неизвестных параметров методом наименьших квадрат (МНК)

3) проверка статистических гипотез о регрессии: гипотез об адекватности полученного уравнения , о значимости найденных по выборке параметров.

Различают парную линейную и нелинейную регрессию.

Линейной регрессией называют регрессию вида .

Нелинейные регрессии делятся на регрессии:

1. линейные по оцениваемым параметрам, но нелинейные по факторным переменным, например

a)

b)

c)

2. нелинейные по оцениваемым параметрам факторным. параметрам

a)

b)

Для оценки параметров уравнения регрессии линейных по параметрам используют МНК. Согласно МНК в качестве оценок неизвестных параметров выбирают такие, для которых сумма квадратов невязок , т.е. функция S()= принимала бы наименьшее значение, т.е. S ()= .

- отклонение факторного значения y_i от теоретического , рассчитанных по функциям регрессии . Необходимым условием экстремума функции S является условие равенства частных производных 0

- нормальная система МНК

Рассмотрим нахождение МНК оценок для парной линейной регрессии, имеющей вид: .

Согласно методу МНК . Необходимые условия экстремума имеют вид: ,

Нормальная система МНК будет иметь вид:

Выражая через линейный коэффициент корреляции (-1<r<1, если r=+(-)1, то СВ Х и У находятся в линейной зависимости) , . Тогда выборочное уравнение парной линейной регрессии .

Возникает вопрос: как соотносятся с ? Оказывается для линейной регрессии при выполнении основных предположений 1)-3) регрессионного анализа - за оценки , получаемые по МНК, являются несмещенными (математическое ожидание равно оцениваемому параметру), состоятельными (при увеличении объема выборки точечная оценка по вероятности стремится к оцениваемому параметру) и эффективными (имеющие наименьшую дисперсию в классе всех линейных несмещенных оценок). Если предположить, что ошибки наблюдений имеют нормальный закон распределений ε_i ~ , то оценки и имеют также нормальное распределение, что позволяет легко строить для параметра и доверительные интервалы и тем самым определять погрешность оценивания.

14. Проверка гипотез. Критерий χ2. Ошибки 1-го и 2-го рода. Лемма Неймана-Пирсона.

Статистической гипотезой называют любое высказывание относительно свойств генеральной совокупности (ГС), проверяемой с помощью выборочных данных.

Примерами гипотез являются:

1. гипотеза о равенстве математических ожиданий двух генеральных совокупностей (она возникает, например, когда нужно проверить одинаково ли среднее значение основных параметров изделий, производимых двумя станками, цехами)

2. гипотеза о равенстве дисперсий, когда следует сравнить точность двух измерительных приборов для измерения одной и той же величины)

3. гипотеза об однородности выборок (возникают в тех случаях, когда несколько малых выборок объединяются в одну большую и требуется до их объединения установить взяты они из одной генеральной совокупности или нет, если гипотеза подтверждается, то выборки можно объединить, иначе - нет)

4. гипотеза о законе распределения ГС (возникает в результате проведенной предварительной обработки данных (разведочного анализа), изучения гистограмм, полигона, значений выборочных коэффициентов ассиметрии)

Статистические гипотезы бывают

ü параметрическими

ü не параметрическими

Статистические гипотезы относительно неизвестных значений параметров распределения называют параметрическими, все другие гипотезы называются непараметрическими.

Статистическую гипотезу называют простой, если она однозначно определяет распределение генеральной совокупности, в противном случае – сложной. Если неизвестный параметр Ө принимает одно возможное значение из своих возможных значений (параметрического пространства ), то гипотезу называют простой, если принимает несколько значений, то называют сложной.

Проверяемую гипотезу H₀ называют основной, наряду с ней рассматривают одну из альтернативных гипотез H₁, противоречащих основной, например, если проверяется гипотеза H₀: Ө=Ө₀, то альтернативными будут H₁: Ө<Ө₀, Ө>Ө₀, Ө ≠ Ө₀. Выбор альтернативной гипотезы осуществляется конкретной постановкой задач.

Критерием проверки статистической гипотезы (К) называют правило, по которому принимают решение принять или отклонить основную гипотезу. Критерий задают с помощью критического множества (множество, попадание в которое выборки приводит к отклонению H₀): W χ_n, где χ_n – выборочное пространство (совокупность всех возможных конкретных выборок из генеральной совокупности). Принимается решение на основе конкретной выборки следующим образом:

ü если конкретная выборка W(критическому множеству), то H₀ отклоняется в пользу альтернативной;

ü 2) если не принадлежит W, то принимается гипотеза H₀ и отклоняется гипотеза H₁ (гипотеза H₀ при этом считается непротиворечивой данной выборке).

При использовании любого критерия возможны ошибки 1-го и 2-го рода.

Ошибка 1-го рода – отклонить верную основную гипотезу.

Ошибка 2-го рода – это принять неверную основную гипотезу H_0.

Вероятность α совершить ошибку первого рода вычисляют по формуле: α(Ө)=P( W│H₀). Вероятность β совершить ошибку второго рода вычисляют по формуле: β(Ө)=P( │H₁), где = χ_n \ W – множество принятия основной гипотезы.

Число α такое, что вероятность ошибки первого рода не превосходит его α(Ө)≤α называется уровнем значимости критерия К. В случае простой гипотезы уровень значимости полагают равным вероятности ошибки первого рода. А величину (1-β(Ө))=m(Ө) называют мощностью критерия. Наиболее мощный критерий при заданном уровне значимости принято называть оптимальным критерием. Одновременно минимизировать α(Ө) и β(Ө) при заданном объеме выборки n нельзя, т.к.при уменьшении одной вероятности, увеличивается другая. При построении критерия для проверки параметрических гипотез, как правило, стараются максимизировать его мощность (min вероятность ошибки второго рода), при фиксированном значении вероятности α ошибки первого рода.

Построение оптимального критерия для проверки простых гипотез H₀: Ө = Ө₀, H₁: Ө = Ө₁ осуществляют на основании следующей леммы.

Дата добавления: 2015-01-03