Тема 8: основы теории вероятностей случайных сигналов

Таковы первичные законы, установленные природой.

Вергилий. Георгики. (Римский поэт)

"Природа не злонамеренна, но коварна". Это не закон. Это только следствие теории вероятностей. И все же непонятно, почему единственная муха в ресторане падает именно в мой суп.

Владимир Бакаев. Наблюдения. (Уральский геофизик)

Содержание: 8.1. Основные понятия теории вероятностей. События и явления. Классификация случайных событий. Сумма событий. Произведение событий. Полная группа событий. Сложные события. 8.2. Вероятности случайных событий. Частотное определение. Определение на основе меры. Основные положения теории вероятностей. Сложение вероятностей. Условная вероятность. Умножение вероятностей. Независимость событий. Формула полной вероятности. Формула Байеса. 8.3. Случайные величины. Общие понятия. Вероятности случайных величин. Функции от случайной величины. Моменты распределения. Основные числовые характеристики случайных величин. Некоторые распределения случайных величин. Характеристическая функция. 8.4. Системы случайных величин. Функция распределения вероятностей системы. Плотность вероятностей системы. Условные законы распределения. Функции регрессии. Статистическая независимость случайных величин. Моменты систем случайных величин. Сумма и разность случайных величин. Литература.

8.1. Основные понятия теории вероятностей [л28,л29].

Теория вероятностей - один из разделов математики, в котором изучаются закономерности случайных массовых событий, явлений и процессов независимо от их физической природы.

События и явления. Все события и явления реального мира разделяются на закономерные (детерминированные) и случайные (вероятностные).

Закономерные события происходят при создании определенных условий, подчиняются определенным физическим законам и на основании этих законов однозначно предсказываются и изменяются. Возникновение тока в электрической цепи при подключении ее к источнику напряжения - закономерное событие, а сила тока в цепи может определяться и изменяться на основании закона Ома. Закономерное явление - это система, совокупность или последовательность закономерных событий. Генерация импульсного потока - закономерное явление, т.к. и форма импульсов, и время их появления задаются определенными физическими процессами в электрической схеме генератора.

Случайным событием называется такое событие, изменить или предсказать которое в процессе случайного явления невозможно. Случайное событие - это результат (исход) конкретной единичной реализации случайного явления. Так, выпадение чисел 1-6 при бросании игральной кости - случайное явление. Выпадение числа 6 в единичном испытании - случайное событие. Если оно может задаваться, то это уже не игральная кость, а инструмент шулера. Типовое обозначение случайных событий - крупными буквами алфавита (например, событие А - выпадение 1 при бросании кости, событие В - выпадение 2 и т.д.).

Случайность событий может быть обусловлена как собственной физической природой явлений, что характерно для большинства физических процессов в микромире (например, распад радиоактивных ядер), так и определенным вероятностным характером реализации явлений в силу их многофакторной и, как правило, нелинейной зависимости от внешних и внутренних условий, что характерно для процессов в макромире. Например, индивидуализация исхода бросания игральной кости начинается с вариации некоторых начальных условий (положение в пространстве, скорость и направление движения, момент инерции, момент вращения и пр.) и продолжается на всем пути движения кости вплоть до остановки (трение о воздух, положение в момент удара о стол, поглощение энергии удара и пр.). Невозможность точного повторения всех условий опыта определяет случайность результата.

Нетрудно заметить, что понятие случайности явлений, а равно и границы между случайными и закономерными явлениями, довольно расплывчато и существенно зависит не только от природы самих явлений, но и от возможностей задания постоянных условий реализации явлений и фиксирования результатов. Падение напряжения на резисторе при задании через него тока - явление закономерное и значение напряжения может быть "предсказано" со сколь угодно высокой точностью при соответствующей точности задания сопротивления резистора и значения тока. Однако, как известно, если провести серию измерений этого напряжения прибором более высокой точности, то результаты измерений следует отнести к величинам случайным. Измеренные значения не будут выходить за пределы заданной точности, но и не будут повторяться в силу влияния самых различных дестабилизирующих факторов (температура, влажность, электромагнитные помехи и т.п.) как на сам измерительный прибор, так и на объект измерений. Более того, даже если мысленно идеализировать условия опыта и повысить точность задания параметров объекта, то и в этом случае мы выйдем на определенную случайность результатов измерений уже в силу дискретной природы самого электрического тока и флюктуаций движения электронов в резисторе.

С практической точки зрения явление или процесс считаются случайными, если в их формировании в той или иной форме присутствует неопределенность и невозможно с заданной точностью предсказать результаты их конкретных реализаций, физического отображения и измерения в ходе контролируемых экспериментов или повторить в ходе многократных реализаций.

Классификация случайных событий. Событие называют достоверным (и обозначают индексом W), если оно однозначно и предсказуемо. Выпадение суммы чисел больше 1 и меньше 13 при бросании двух костей - достоверное событие. Событие является невозможным (и обозначается индексом Æ), если в данном явлении оно полностью исключено. Сумма чисел, равная 1 или большая 12 при бросании двух костей - события невозможные. События равновозможны, если шансы на их появление равны. Появление чисел 1-6 для игральной кости равновозможно.

Два события называются совместными, если появление одного из них не влияет и не исключает появление другого. Совместные события могут реализоваться одновременно, как, например, появление какого-либо числа на одной кости ни коим образом не влияет на появление чисел на другой кости. События несовместны, если в одном явлении или при одном испытании они не могут реализоваться одновременно и появление одного из них исключает появление другого (попадание в цель и промах несовместны).

Сумма событий представляет собой такое объединение событий в одно новое событие, сущность которого заключается в реализации хотя бы одного из объединяемых событий: S = A+B+...+N. Такая операция представляет собой аналог дизъюнкции - логического сложения (логическое "ИЛИ"), и может записываться в виде S = AÈBÈ...ÈN. Так, если события А,В,С - поражение цели соответственно при 1-ом, 2-ом и 3-ем выстреле, то событие S=A+B+C - поражение цели вообще, т.е. любым выстрелом, в том числе двукратное и трехкратное.

Произведение событий представляет собой совмещение событий в одном новом событии, в совместном появлении всех совмещаемых событий: S = A×B×... ×N. Такая операция представляет собой аналог логической конъюнкции (логическое "И"), и может записываться в виде S = AÇBÇ...ÇN. Продолжая предыдущий пример, событие Z - трехкратное попадание в цель, определяется выражением: Z = A×B×C.

Попутно заметим, что для логических операций имеем: А+А=А и А×А=А.

Полная группа событий. События какого-либо случайного явления образуют полную группу, если в результате единичной реализации явления обязательно произойдет хотя бы одно из них, т.е. выполняется условие: А+В+... +N = W (сумма событий полной группы º достоверное событие). Выпадение чисел 1-6 при бросании кости - полная группа событий.

Если полную группу образуют только два несовместных события, как выпадение герба или решки при бросании монеты, то такие события называются противоположными. При обозначении одного из таких событий определенным индексом, например - А, второе обычно обозначается тем же индексом с крышкой сверху: . Соответственно А+= W. Произведение несовместных событий является событием невозможным. В частности, А×= Æ.

Сложные события. Различают элементарные (простые) и сложные события. Элементарные события не разделяются на составные события. Выпадение числа при бросании кости - элементарное событие. Сложные события составляются из двух или нескольких элементарных событий. Так, если в примере с тремя выстрелами в цель нас интересует событие D, заключающееся в попадании в цель не менее двух раз, то оно определяется следующим выражением:

D = A×B×+A××C+×B×C+A×B×C

8.2. Вероятности случайных событий [л30,л28,л29].

Предсказание конкретной реализации случайных событий невозможно. Однако интуитивная ориентировка в случайных событиях известна каждому. Если при игре в кости дважды выпали две шестерки, то едва ли кто-нибудь в третий раз поставит на 12 очков. Это определяется тем, что и случайные события подчиняются определенным вероятностным закономерностям и при повторениях испытаний предсказуемы "в среднем".

Понятие вероятности событий относится к фундаментальным понятиям теории вероятностей. Вероятность случайного события является количественной мерой степени объективной возможности появления этого события в единичном опыте (в единичной реализации случайного явления). На протяжении последних трех веков достаточно интенсивного развития теории вероятностей многие ученые делали попытки сформулировать это фундаментальное понятие на основе строгой логики. Приведем только два из них.

Частотное определение. При N реализациях некоторого случайного явления случайное событие А наблюдалось n раз. Если случайные события в этом явлении взаимно независимы, несовместны и составляют полную группу, то вероятность события А определяется выражением:

P(A) = (8.2.1)

Так как диапазон значений n в данном выражении ограничен интервалом 0 £ n £ N, то отсюда следует, что значения вероятностей событий заключены в интервале от 0 до 1.

Пример. В урне находятся 5 белых и 7 черных шаров. Какова вероятность извлечь из урны 3 белых шара?

Общее число возможных способов извлечь 3 шара из 12 равно числу сочетаний из 12 по 3:

N = 12!/(3!×9!) = 220.

Число возможных сочетаний из 5 белых шаров по 3: n = 5!/(3!×2!) = 10.

Искомая вероятность: P = n/N = 10/220.

При практических оценках вероятностей значение (n/N) называют относительной частотой (или частностью) данного события в данной серии наблюдений. Относительная частота событий при многократных наблюдениях является достаточно устойчивой величиной, флюктуирующей в окрестностях вероятности данных событий, причем величина флюктуаций тем меньше, чем больше количество наблюдений.

Определение на основе меры. Введем пространство (множество) W, элементы которого w_i являются случайными элементарными событиями, т.е. W =w_i. Определим в этом пространстве неотрицательную меру P(w), которую назовем вероятностью, со следующими свойствами:

1. P(W) = 1, т.е. вероятность появления события, принадлежащего к данному пространству (w_i Î W), равна 1 (условие нормировки меры).

2. Если подмножества элементарных событий А Î W и В Î W, каждое из которых принадлежит данному пространству W, не имеют общих элементов, то Р(А+В) = Р(А) + Р(В), т.е. вероятность того, что наблюдаемое событие принадлежит либо подмножеству А, либо подмножеству В, равна сумме вероятностей наблюдать это событие отдельно в подмножествах А и В.

Рис. 8.2.1.

Для иллюстрации различных положений теории вероятностей удобно использовать условные графические отображения пространств случайных событий, пример которых приведен на рис. 8.2.1. Полное пространство W элементарных событий w_i ограничивается произвольным контуром, площадь которого принимается равной 1 и равна вероятности появления событий w_i в пространстве W, при этом полагается, что события w_i равномерно заполняют пространство W. Группы событий w Î A или w Î В отображаются соответственно замкнутыми контурами внутри пространства W с площадями, равными вероятностям событий А и В.

Основные положения теории вероятностей вытекают непосредственно из определения понятия вероятности.

1. Вероятность любого случайного события А является неотрицательной величиной, значение которой заключено в интервале от 0 до 1.

0 £ Р(А) £ 1.

2. Вероятность достоверного события равна 1.

Р(W) = 1. (8.2.2)

В общем случае событие W представляет собой сумму полной группы возможных элементарных событий данного случайного явления: W =w_i. Следовательно, вероятность реализации хотя бы одного случайного события из полной группы возможных событий также равна 1, т.е. является событием достоверным.

Рис. 8.2.2.

Сумма противоположных событий тоже составляет полную группу событий и соответственно вероятность суммы противоположных событий равна 1 (рис. 8.2.2):

P(A+) = 1. (8.2.3)

Примером может служить бросание горсти монет. Орел или решка для каждой монеты – противоположные события. Сумма событий для горсти в целом равна 1 независимо от соотношения выпавших орлов и решек.

3. Вероятность невозможного события равна 0.

Р(Æ) = 0. (8.2.4)

Рис. 8.2.3.

Пусть Ф - пустое пространство (не содержащее событий). Тогда W+Ф = W и пространство W не содержит событий, общих с пространством Ф (рис. 8.2.3). Отсюда следует, что Р(W+Ф) = Р(W) + Р(Ф) = Р(W), что выполняется при Р(Ф) = 0. Другими словами, если одно из событий обязательно должно происходить, то вероятность отсутствия событий должна быть равна нулю. Но при этом W является достоверным событием, а Ф = Æ (невозможное событие) и соответственно Р(Æ) = 0.

Сложение вероятностей зависит от совместности и несовместности событий.

Несовместные события. Вероятность суммы двух несовместных событий А и В равна сумме вероятностей этих событий. Это вытекает из того, что множество С = А+В включает подмножества А и В, не имеющие общих точек, и Р(А+В) = Р(А)+Р(В) по определению вероятности на основе меры. По частотному определению вероятности в силу несовместности событий имеем:

P(A+B) = = += P(A) + P(B),

где n и m - число случаев появления событий А и В соответственно при N испытаниях.

Противоположные события также являются несовместными и образуют полную группу. Отсюда, с учетом (8.2.3):

P() = 1 - Р(А). (8.2.5)

Рис. 8.2.4.

В общем случае для группы несовместных событий (рис. 8.2.4):

P(A+B+...+N) = P(A) + P(B) +... + P(N), (8.2.6)

если все подмножества принадлежат одному множеству событий и не имеют общих точек (попарно несовместны). А если эти подмножества образуют полную группу событий, то с учетом (8.2.2):

P(A) + P(B) +... + P(N) = 1. (8.2.7)

Рис. 8.2.5.

Совместные события. Вероятность появления хотя бы одного из двух совместных событий равна сумме вероятностей этих событий без вероятности их совместного появления (рис. 8.2.5):

P(A+B) = P(A) + P(B) - P(A×B). (8.2.8)

Разобьем события А и В каждое на два множества, не имеющие общих точек: А', A'' и B', B''. Во множества А'' и B'' выделим события, появляющиеся одновременно, и объединим эти множества в одно множество С. Для этих множеств действительны выражения:

С = A''×B'' º А'' º В'' º А×В, P(C) = P(A'') = P(B'') = P(A×B).

P(A) = P(A')+P(A''), P(A') = P(A)-P(A'') = P(A)-P(A×B).

P(B) = P(B')+P(B''), P(B') = P(B)-P(B'') = P(B)-P(A×B).

Множества A', B' и С не имеют общих точек и можно записать:

P(A+B) = P(A'+B'+C) = P(A') + P(B') + P(С).

Подставляя в правую часть этого уравнения вышеприведенные выражения, приходим к выражению (8.2.8). Физическая сущность выражения достаточно очевидна: суммируются вероятности событий А и В и вычитаются вероятности совпадающих событий, которые при суммировании сосчитаны дважды.

Пример. Вытащим одну карту из колоды (52 карты). Какова вероятность того, что карта окажется или тузом, или пиковой мастью?

Р = Р(туз) + Р(пики) - Р(туз пик) = (4/52) + (13/52) - (1/52) = 16/52.

В общем случае, для m различных событий А₁, А₂,..., А_m:

P(A₁+...+ A_m) =P(A_i) -P(A_i×A_j) +P(A_i×A_j×A_k) -...+(-1)^m+1P(A₁×A₂×... ×A_m). (8.2.9)

Рис. 8.2.6.

На рис. 8.2.6 на примере трех пространств можно видеть причины появления в выражении (8.2.9) дополнительных сумм вероятностей совпадающих пространств и их знакопеременности. При суммировании вероятностей пространств А,В и С, имеющих общее пространство АВС, его вероятность суммируется трижды, а при вычитании вероятностей перекрывающихся подпространств АВ, АС и ВС трижды вычитается (т.е. обнуляется), и восстанавливается дополнительным суммированием с вероятностью пространства АВС.

Условная вероятность совместных событий. Предположим, что в пространстве событий с полным числом исходов N событие А может осуществляться n₁ способами (вероятность P(A) = n₁/N), событие В - n₂ способами, а события А и В одновременно - n₁₂ способами. При этом:

P(AВ) = n₁₂/N = (n₁/N)(n₁₂/n₁) = P(A)×(n₁₂/n₁). (8.2.10)

Второй сомножитель выражения (8.2.10) из общего числа случаев n₁ события А определяет долю, когда одновременно происходит и событие В, т.е. вероятность события В при условии, что произошло событие А. Эта вероятность называется условной вероятностью события В по событию А и записывается в виде Р(В/А):

Р(В/А) = Р(АВ)/Р(А). (8.2.11)

Пример. Вытащим две карты из колоды (52 карты). Событие А - первая карта определенной масти. Событие В - вторая карта той же масти. Какова вероятность появления второй карты той же масти?

Р(А) = 13/52. Карта не возвращается в колоду, следовательно, Р(В/А) = (13-1)/(52-1).

В общем случае может определяться условная вероятность события В в предположении, что произошли события А₁, А₂ и др.: Р(В/А₁,А₂,...).

Для условной вероятности событий B по событиям A применяется также обозначение Р_A(B).

Рис. 8.2.7.

Умножение вероятностей совместных событий. Формула определения вероятности события А×В (А и В одновременно, рис. 8.2.7), которую обычно называют формулой умножения вероятностей, непосредственно следует из выражения (8.2.11):

Р(АВ) =Р(А)×Р(В/А) º Р(В)×Р(А/В). (8.2.12)

Пример. Вытащим две карты из колоды (52 карты). Событие А - первая карта определенной масти. Событие В - вторая карта той же масти. Какова вероятность появления двух карт одной масти?

Р(А) = 13/52. Р(В/А) = (13-1)/(52-1). Р(АВ) = (13×12)/(52×51) @ 0.0588

В общем случае, вероятность умножения нескольких событий равна произведению вероятности одного из этих событий на условные вероятности других:

P(A₁×A₂×...×A_n) = P(A₁)×P(A₂/A₁)×P(A₃/A₂A₁)×... ×P(A_n/A_i). (8.2.12')

Независимость событий. Если появление событий А не изменяет вероятности появления событий В, равно как и появление событий В не изменяет вероятности событий А, то события А и В считаются независимыми. Для таких событий Р(А/В) = Р(А), Р(В/А) = Р(В) и Р(А×В) = Р(А)×Р(В).

Пример. Вытащим одну карту из колоды (52 карты). Пусть событие А - появление туза, событие В -появление пиковой масти.

Р(А) = 4/52. Р(В) = 13/52. Р(АВ) = 1/52. Р(АВ) = Р(А)Р(В) = (4/52)(13/52) = 1/52.

События А и В независимы.

В общем случае, группы событий А, В,... N считаются независимыми в совокупности в том и только в том случае, если выполняется равенство:

P(A×B×... ×N) = P(A)×P(B)×... ×P(N). (8.2.13)

Подмножества, образованные из независимых событий, также являются независимыми. Если условие (8.2.13) не выполняется, но выполняется для каждой пары событий из этой группы (А×В, А×С, В×С и пр.), то такие события называются попарно независимыми.

Формула полной вероятности. Систему событий А₁, А₂,...,A_N называют конечным разбиением (или просто разбиением), если они попарно несовместны, а их сумма образует полное пространство событий:

А₁ + А₂ +... + А_N = W. (2.2.14)

Если события А_i образуют разбиение пространства событий и все P(A_i) > 0, то для любого события В имеет место формула полной вероятности:

P(B) =P(A_k)×P(B/A_k), (8.2.15)

что непосредственно следует из (8.2.14) для попарно несовместных событий:

B = B×W = BA₁+BA₂+...BA_N.

P(B) = P(BA₁)+P(BA₂)+... +P(BA_N) = P(A₁)P(B/A₁)+P(A₂)P(B/A₂)+...+P(A_N)P(B/A_N).

Пример. B урне находится N шаров, М белых и N-M черных. Событие А - первый вынутый шар белый, который в урну не возвращается. Какова вероятность события В, что второй вынутый шар будет белым?

Р(А) = M/N. Р() = (N-M)/N. Р(В/A) = (M-1)/(N-1). Р(В/) = M/(N-1).

Отсюда: Р(В) = Р(А)Р(В/А) + Р()Р(В/) = M/N, т.е. Р(В) = Р(А). Аналогично можно вычислить вероятность события С, что третий вынутый шар будет белым, и так далее, причем все вероятности вынуть белый шар на любой попытке равны M/N.

Этот результат давно известен и применяется, например, при жеребьевке, определяя независимость результатов жеребьевки от порядка ее участников при вынимании шаров.

Формула Байеса (или формула гипотез). Если для пространства событий A_i выполнено условие (8.2.14) и для произвольного события В имеет место формула полной вероятности (8.2.15), то одновременно для любой комбинации событий В и А_k имеет место и формула умножения вероятностей (8.2.12)

Р(А_kВ) =Р(А_k)×Р(В/А_k) º Р(В)×Р(А_k/В),

из которой следует:

Р(А_k/В) =Р(А_k)×Р(В/А_k) / Р(В).

Заменяя в этом уравнении выражение Р(В) формулой полной вероятности (8.2.15), получаем формулу Байеса:

Р(А_k/В) =Р(А_k)×Р(В/А_k) /P(A_k)×P(B/A_k). (8.2.16)

Нетрудно видеть, что знаменатель функции является нормировочным коэффициентом приведения суммы вероятностей к 1:

Р(А_k/В) =Р(А_k)×Р(В/А_k) /P(A_k)×P(B/A_k) = 1

Смысл формулы Байеса заключается в следующем. Пусть A_k - возможные состояния (гипотезы) события А, для которых предполагается определенная плотность распределения вероятностей P(A_k). Событие В - результат некоторого единичного измерения (опыта), при этом известны условные вероятности P(B/A_k) реализации событий В по гипотезам A_k. Формула Байеса позволяет уточнить значения вероятностей реализации событий A_k по результатам испытания с реализацией события В. Другими словами, если P(A_k) - априорная плотность распределения вероятностей событий A_k, то P(A_k/B) - апостериорная плотность распределения вероятностей событий A_k, уточненная по результатам опыта, исходом которого явилось событие В.

Пример. В одном районе "дикого" туризма прогнозирование количества А несчастных случаев на следующие сутки проводилось по следующей методике (для наглядности рассмотрим пример на конкретных условных данных).

Априорные вероятности P(А_k) несчастных случаев на текущий день, вычисленные по предыдущему дню: P(А₁=0) = 0.2, P(А₂=1) = 0.4, P(А₃=2) = 0.3, P(А₄=3) = 0.1.

За текущий день зарегистрировано 0 несчастных случаев (В = 0).

Условные вероятности P(B/A_k) вычислялись по формуле плотности распределения вероятностей редких событий (формула Пуассона): P(B/A_k) = (A_k)^B×exp(-A_k) /B!

P(0/0) = 1, P(0/1) = 0.368, P(0/2) = 0.135, P(0/3) = 0.05.

Нормировочный делитель формулы Байеса: P(A_k)×P(B/A_k) = 0.393.

Апостериорные вероятности P'(A_k) = P(A_k/B) = P(A_k/0) несчастных событий на следующий день:

P'(А₁=0) = 0.509, P'(А₂=1) = 0.375, P'(А₃=2) = 0.103, P'(А₄=3) = 0.013.

Проверка: P'(A_k) = 1.

8.3. Случайные величины [л30,л31,л2,л4,л15].

Общие понятия. Под случайной величиной в узком смысле данного термина можно понимать числовое отображение исхода случайного явления или опыта, если в основе его формирования лежат определенные физические процессы, вероятностные по свое природе. Так, например, число гамма-квантов, зарегистрированных радиометром за произвольный временной интервал от радиоактивной пробы, является случайной величиной как в силу вероятностной природы самого радиоактивного распада, так и в силу вероятностного характера их распространения, рассеяния и поглощения в окружающей среде и в детекторе радиометра.

Рис. 8.3.1.

С общих позиций под случайной величиной и, соответственно, случайным сигналом ее отображения, понимают результаты фиксации такого явления (процесса), которые являются либо полностью непредсказуемыми, либо предсказуемы только "в среднем", с определенной средней квадратической погрешностью. Конкретный результат, зарегистрированный в определенном опыте, называют реализацией случайного явления. Отдельную реализацию случайного явления нельзя описать явной математической формулой, равно как и предсказать значения этой реализации в какие-либо моменты ее координатного распределения, т.к. она является одной из множества возможных. Множество реализаций, зарегистрированных в одних и тех же условиях для одного и того же объекта, называют ансамблем реализаций (или выборкой из генеральной совокупности - полного множества всех возможных значений). В качестве примера на рис. 8.3.1 приведено 3 реализации отсчетов радиометра, которые проводились в постоянных условиях по 20-ти секундным интервалам с односекундной экспозицией. Ансамбль реализаций позволяет характеризовать случайное явление определенными и достаточно устойчивыми статистическими данными.

Еще раз отметим, что отнесение тех или иных величин и отображающих их сигналов к случайным или неслучайным (детерминированным) в той или иной мере всегда относительно, особенно в геофизической практике. С одной стороны, ни в одной сколь угодно точно известной геологической обстановке нельзя исключить появления объекта или проявления какого-либо процесса, которые совершенно непредсказуемым образом могут повлиять на распределение информационного сигнала. С другой стороны можно отрицать и истинную случайность физических явлений и процессов, поскольку по мере накопления информации появляется возможность их описания все более точными математическими формулами детерминированного действия.

Множество возможных значений случайной величины принято называть пространством (множеством) состояний (генеральной совокупностью). Если пространство состояний образует континуум, то случайная величина является непрерывной. Если изменение состояний допускается для конечного (счетного) числа координат, то говорят о случайной непрерывной последовательности.

Случайную величину с конечным множеством состояний по непрерывной шкале координат называют дискретной, если она дискретна по множеству своих возможных значений. Если для случайного явления изменение состояний возможно только в конечном числе координат, то говорят о случайной дискретной последовательности. Для случайных явлений с дискретным множеством состояний статистические зависимости могут распространяться на ограниченное число k следующих друг за другом значений. Такие процессы называются марковскими k-го порядка.

Вероятности случайных величин. Исчерпывающим описанием случайных величин является плотность распределения вероятностей p(x) (кратко - плотность вероятностей) которая определяет вероятность реализации некоторого значения X_i в элементарном интервале значений dx:

p(x)dx = P(x < X_i £ x+dx). (8.3.1)

Основные свойства плотности вероятностей:

1. p(x) ³ 0, - ¥ < x < ¥. Плотность вероятностей не отрицательна.

2. p(x) dx = 1. Сумма вероятностей всех возможных значений случайной величины по данному пространству состояний должна быть равна 1, т.е. реализация одного из состояний должна быть достоверным событием.

3. p(x) dx = P(x₁<X£x₂). Интеграл от плотности вероятностей по определенному интервалу равен вероятности реализации случайной величины в этом интервале значений.

4. Функция P(x) = p(u) du определяет вероятность того, что значения случайной величины меньше или равны значению х.

Функция P(x) носит название функции распределения вероятностей (кратко - распределение вероятностей). Соответственно, производная от функции распределения вероятностей есть плотность вероятностей. Основные свойства функции распределения вероятностей:

Рис. 8.3.2.

1. Интервал определения функции: 0 £ P(x) £ 1, - ¥ < x < ¥.

2. P(-¥) = 0, P(¥) = 1.

3. P(x) не уменьшается при возрастании х.

4. P(x₁<X £ x₂) = P(x₂) - P(x₁).

На рис. 8.3.2 приведен пример функции плотности вероятностей p(x) = (a/2)exp(-a|x|) и соответствующей функции вероятностей P(x).

Аналогичным описанием для случайных дискретных величин является непосредственно дискретное распределение вероятностей их значений:

P_i(x) = P(x_i < X_i £ x_i+1), P(x_i) = 1.

Рис. 8.3.3.

Функции от случайной величины. Допустим, что случайная величина Y связана со случайной величиной Х однозначной зависимостью y = f(x) (рис. 8.3.3). Интервалам dx соответствуют интервалы |dy| = |f'(x)|dx, при этом вероятности случайных величин в этих интервалах должны быть равны: p_x(x)dx = p_y(y)|dy|. Отсюда следует:

p_y(y) = p_x(x)|dx/dy|, (8.3.2)

где аргумент х в правой части выражения должен быть выражен через x = g(y) - функцию, обратную y = f(x). Выполняя последнее, получаем:

p_y(y) = p_x[g(y)]|dg(y)/dy|, (8.3.2')

Значения |dy| и последующие значения |dx/dy| и |dg(у)/dy| принимаются по модулю для исключения отрицательных значений в функции p_y(y), которых не может быть по определению и физической сущности плотности распределения вероятностей.

Рис. 8.3.4.

Если связь между значениями Х и Y неоднозначна, как, например, на рис. 8.3.4, и значению у может соответствовать несколько значений х, то вероятность попадания случайной величины у в интервал dy будет складываться из суммы вероятностей несовместных событий p_x(x₁)dx₁ + p_x(x₂)dx₂ +..., откуда следует:

p_y(y) = p_i(x_i)|dx_i/dy| = p_x[g_i(y)]|dg_i/dy|, (8.3.2'')

Пример. Связь случайных величин Х и Y задана выражением Y = aX+b. Плотность вероятностей величины Х соответствует распределению Гаусса: . Из уравнения связи величин Y и X имеем x = (y-b)/a и |dx/dy| = 1/|a|, и соответственно получаем:

, = b+a, s_у² = а² s_х²

Моменты распределения. При решении многих практических задач нет особой необходимости в полной вероятностной характеристике каких-либо случайных величин, которую дает функция плотности распределения вероятностей. Очень часто приходится также иметь дело с анализом случайных величин, плотности вероятностей которых не отображаются аналитическими функциями либо вообще неизвестны. В этих случаях достаточно общее представление о характере и основных особенностях распределения случайных величин можно получить на основании усредненных числовых характеристик распределений.

Числовыми характеристиками случайных величин, которые однозначно определяются функциями распределения их вероятностей, являются моменты.

Начальные моменты n-го порядка случайной величины X (или просто моменты) представляют собой усредненные значения n-й степени случайной переменной:

m_n º М{Xⁿ}º = xⁿ p(x) dx, (8.3.3)

где M{Xⁿ} и - символические обозначения математического ожидания и усреднения величины Хⁿ, которые вычисляются по пространству состояний случайной величины Х.

Соответственно, для случайных дискретных величин:

m_n º М{Xⁿ}º =x_iⁿ p_i. (8.3.3')

Центральные моменты n-го порядка, это моменты относительно центров распределения (средних значений) случайных величин:

m_n º M{(X-)ⁿ}º =(x-m₁)ⁿ p(x) dx, (8.3.4)

m_n º M{(X-)ⁿ}º =(x_i-m₁)ⁿ p_i, (8.3.4')

где - начальный момент 1-го порядка (среднее значение величины Х), X₀ = X-- центрированные значения величины Х.

Связь между центральными и начальными моментами достаточно проста:

m₁=0, m₂=m₂-m₁², m₃=m₃-3m₂m₁+2m₁³, m₄=m₄-4m₁m₃+6m₁²m₂-3m₁⁴, и т.д.

Соответственно, для случайных величин с нулевыми средними значениями начальные моменты равны центральным моментам.

По результатам реализации случайных величин может производиться только оценка моментов, т.к. количество измерений всегда конечно и не может с абсолютной точностью отражать все пространство состояний случайных величин. Результаты измерений - выборка из всех возможных значений случайной величины (генеральной совокупности). Оценка моментов, т.е. определение средних значений n-й степени по выборке из N зарегистрированных значений, производится по формулам:

= (1/N)x_iⁿ», = (1/N)(x_i-)ⁿ». (8.3.5)

Погрешность оценок стремится к нулю при выборке N Þ ¥.

Основные числовые характеристики случайных величин - это начальный момент 1-го порядка (средние значение распределения случайных величин) и центральный момент 2-го порядка (дисперсия распределения).

Среднее значение распределения является характеристикой сдвига значений случайных величин относительно x = 0 и представляет собой значение центра рассеяния случайных величин, т.е. математическое ожидание случайной величины по пространству возможных состояний:

M{X}º=x p(x) dx, =x_n P(x_n). (8.3.6)

Если пространство возможных состояний случайных величин ограничено определенными конечными пределами, то соответственно интегрирование (или суммирование) осуществляется в этих пределах. В функциях от случайных величин постоянный множитель можно выносить за знак математического ожидания:

M{Y}= M{c×X} = c×M{X}.

Оценка среднего значения по результатам N-выборки (выборочное среднее):

= (1/N)x_i (8.3.7)

Значение генеральной совокупности случайной величины Х является неслучайной величиной, в отличие от значения выборочного среднего , которое также является величиной случайной. Математическое ожидание величины с использованием формулы (8.3.7):

M{} = (1/N) M{x_i} = (1/N) M{N×x_i} = M{X} = .

Отсюда следует, что выборочное среднее есть несмещенная оценка среднего значения генеральной совокупности, т.е. » .

Дисперсия распределения характеризует размер пространства состояний случайной величины, величину их рассеивания по значениям относительно среднего значения:

D{X}º M{(X-)²}º M{X₀²}=(x-)² р(x) dx. (8.3.8)

Оценка дисперсии по результатам N-выборки производится по формулам:

D_x = (1/N)(x_i-)²» D{X}. (8.3.9)

D_x º- ². (8.3.9')

Для функции с×Х, где с = const, имеем:

D{c×X}=M{(cX-M{cX})²}=M{(cX-cM{X})²}=M{c²(X-M{X})²}=c²×D{X}.

Среднее квадратическое отклонение случайной величины от математического ожидания (среднего значения), равное корню квадратному из значения дисперсии:

s_х = , (8.3.10)

получило название стандарта (стандартного отклонения). Величину стандарта в относительных единицах среднего значения d_x = s/m_x называют вариацией или (в основном для временных процессов) флюктуацией значений случайной величины.

Пример. Плотность распределения случайных величин Х: p(x) = (a/2)exp(-a|x-b|), а=2, b=4.

Среднее значение и дисперсия: =x p(x) dx = b = 4, D{X} =(x-b)² р(x) dx = 2/a² = 0.5.

В опыте зарегистрированы: Х = {2.75, 4.08, 3.9, 3.82, 3.68, 3.03, 4.16, 5.74, 3.78, 2.77, 4.03}.

Среднее значение и дисперсия по выборке:

= (1/11)x_i = 3.79, = (1/11)x_i² = 15, D_x = - ² = 0.62.

Погрешность оценок выборочных средних значений в зависимости от N - размеров выборки вычисляется по дисперсии значений (выражение (8.3.7)):

D() = D((1/N)x_i) = (1/N²) D(x_i) = (1/N) D(x_i),

т.е. дисперсия средних значений по N-выборке в N раз меньше дисперсии самих значений случайных величин Х. Соответственно, точность оценки средних значений определится выражением:

s() = s_x/.

Точность оценки выборочного среднего значения случайных величин возрастает пропорционально корню квадратному из размеров выборки. По мере увеличения объема выборки выборочное среднее значение стремится к математическому ожиданию случайной величины как к своему пределу (закон больших чисел). В математической статистике доказывается также, что если случайная величина Х имеет среднее значение и конечную дисперсию s_x², то при стремлении объема выборки N к бесконечности распределение выборочного среднего будет стремиться к нормальному закону со средним значением и дисперсией s_x²/N (центральная предельная теорема).

К числовым характеристикам случайных величин Х относятся также мода Мо_х, медиана Ме_х, асимметрия S_х и эксцесс Е_х.

Рис. 8.3.5.

Мода распределения - это наиболее вероятное значение случайных величин, которому соответствует максимум плотности вероятностей. Функции плотности вероятностей могут иметь больше одного максимума. Такие распределения называют много- или полимодальными. На рис. 8.3.5 приведен пример двумодального распределения.

Для одномодальных распределений, симметричных относительно среднего значения, мода совпадает со средним значением, для асимметричных среднее значение обычно смещено относительно моды в сторону более длинного "хвоста" изменения плотности вероятностей.

Рис. 8.3.6.

Медиана распределения случайных величин Ме_х - это такое число (значение Х), относительно которого площади под функцией плотности вероятностей слева и справа равны друг другу, т.е.:

Р(X<Me_x) = Р(X>Me_x) = 0.5.

Понятие медианы обычно используется для непрерывных случайных величин.

В резко асимметричных распределениях случайных величин значения моды, медианы и среднего значения существенно расходятся, как, например, для логнормального распределения на рис. 8.3.6.

Рис. 8.3.7.

Асимметрия (или скошенность) распределения случайных величин X - это безразмерное число, которое определяется выражением:

S_x = m₃/s_x³ º M{(X-)³/s_x³ º /s_x³.

При Mo_x < Me_x асимметрия положительна (распределение вытянуто вправо, S > 0), при Mo_x > Me_x - отрицательна. Для симметричных распределений Mo_x = Me_x =и асимметрия равна нулю. На рис. 8.3.7 приведены плотности вероятностей случайных величин с разной асимметрией.

Рис. 8.3.8.

Эксцесс (или крутость) распределения случайных величин также безразмерное число:

E_x = m₄/s_x⁴ - 3 º M{(X-)⁴/s_x⁴ -3 º /s_x⁴ - 3.

Эксцесс характеризует форму функции плотности вероятностей по отношению к форме функции нормального распределения (см. ниже, выражение 8.3.15), значение эксцесса для которого равно 0. Если кривая распределения имеет более острую и высокую вершину при той же величине дисперсии, то значение эксцесса больше нуля, если более низкую и пологую - меньше нуля (рис. 8.3.8).

Оценка числовых характеристик функций от случайных величин может производиться непосредственно по числовым характеристикам случайных величин с использованием правила переноса ошибок.

Допустим, что случайная величина Y является функционально зависимой от случайной величины Х и определяется выражением Y = g(x). Разложим это выражение в ряд Тейлора относительно математического ожидания :

g(x) = g() + (x-)g'() + (x-)²g''()/2! +... (8.3.11)

Оценка математического ожидания :

M{g(x)}= M{g()}+M{(x-)g'()}+M{(x-)²g''()/2!}= g() + 0 + s_x²g''()/2! +...

Отсюда, с точностью до членов второго порядка малости:

= g(). (8.3.12)

Оценка дисперсии распределения D(g(x)) = D_y:

D_y = M{[g(x) - M{g(x)}]²}» M{[g(x)-g()]²}. (8.3.13)

Из формулы (8.3.11) имеем:

g(x) - g() = (x-)g'() + (x-)²g''()/2! +...

С использованием этого выражения в (8.3.13) с ограничением до 2-го порядка:

D_y» M{[(x-)g'()]²} = [g'()]²×D_x. (8.3.14)

s_y = g'()×s_x, d_y = g'()×d_x.

Для линейных функций g(x) ~ a×x+b выражения (8.3.12-14) являются точными.

Дата добавления: 2014-01-07