Теория вероятности 3

Вероятность (вероятностная мера) — мера достоверности случайного события. Оценкой вероятности события может служить частота его наступления в длительной серии независимых повторений случайного эксперимента. Согласно определению П. Лапласа мерой вероятности называется дробь, числитель которой есть число всех благоприятных случаев, а знаменатель - число всех возможных случаев.

Вероятность - мера, заданная на измеримом пространстве (Ω, X):

1.

2.

3. обладает свойством сигма-аддитивности (счетной аддитивности)

[править] Вероятность в математике

Математически классическая (т.е. неквантовая) вероятность задаётся аксиоматикой Колмогорова как мера на вероятностном пространстве, причём мера всего пространства равна единице. При этом случайные события определяются как измеримые подмножества этого пространства

Вероятностное пространство — это тройка , где

• — это произвольное множество, элементы которого называются элементарными событиями, исходами или точками;
• — сигма-алгебра подмножеств , называемых (случайными) событиями;
• — вероятностная мера или вероятность, т.е. сигма-аддитивная конечная мера, такая что .

[править] Замечания

• Элементарные события (элементы ), по определению, — это исходы случайного эксперимента, из которых в эксперименте происходит ровно один.
• Каждое случайное событие (элемент ) — это подмножество . Говорят, что в результате эксперимента произошло случайное событие , если (элементарный) исход эксперимента является элементом A.
  Требование, что является сигма-алгеброй подмножеств , позволяет, в частности, говорить о вероятности случайного события, являющегося объединением счетного числа случайных событий, а также о вероятности дополнения любого события.

[править] Конечные вероятностные пространства

Простым и часто используемым примером вероятностного пространства является конечное пространство. Пусть — конечное множество, содержащее элементов.

В качестве сигма-алгебры удобно взять семейство всех подмножеств . Его часто символически обозначают . Легко показать, что общее число членов этого семейства, т.е. число различных случайных событий, как раз равно , что объясняет обозначение.

Вероятность, вообще говоря, можно определять произвольно. Часто, однако, нет причин считать, что один элементарный исход чем-либо предпочтительнее другого. Тогда естественным способом ввести вероятность является:

,

где , и - число элементарных исходов, принадлежащих .

В частности, вероятность любого элементарного события:

[править] Пример

Рассмотрим эксперимент с бросанием уравновешенной монеты. Тогда естественным способом задать вероятностное пространство будет взять и определить вероятность следующим образом:

Пусть — вероятностное пространство. Функция , измеримая относительно и борелевской σ-алгебры на , называется случайной величиной.

Вероятностное поведение случайной величины полностью описывается её распределением.

[править] Простейшие обобщения

Случайная величина, вообще говоря, может принимать значения в любом измеримом пространстве. Тогда её чаще называют случайным вектором или случайным элементом. Например,

• Измеримая функция называется n-мерным случайным вектором (относительно борелевской σ-алгебры на ).
• Измеримая функция называется n-мерным комплексным случайным вектором (также относительно соответствующей борелевской σ-алгебры).
• Измеримая функция, отображающая вероятностное пространство в пространство подмножеств некоторого (конечного) множества, называется (конечным) случайным множеством.

При рассмотрении количества m появлений события A в n испытаниях Бернулли чаще всего нужно найти вероятность того, что m заключено между некоторыми значениями a и b. Так как при достаточно больших n промежуток [a,b] содержит большое число единиц, то непосредственное использование биномиального распределения

требует громоздких вычислений, так как нужно суммировать большое число определённых по этой формуле вероятностей.

Поэтому используют асимптотическое выражение для биномиального распределения при условии, что p фиксированно, а . Теорема Муавра-Лапласа утверждает, что таким асимптотическим выражением для биномиального распределения является нормальная функция.

[править] Формулировка

Если в схеме Бернулли n стремится к бесконечности, p (0 < p < 1) постоянно, величина ограничена равномерно по m и n , то

где , c > 0, c - постоянная.

Приближённую формулу

рекомендуется применять при n > 100 и npq > 20.

При рассмотрении количества m появлений события A в n испытаниях Бернулли чаще всего нужно найти вероятность того, что m заключено между некоторыми значениями a и b. Так как при достаточно больших n промежуток [a,b] содержит большое число единиц, то непосредственное использование биномиального распределения

требует громоздких вычислений, так как нужно суммировать большое число определённых по этой формуле вероятностей.

Поэтому используют асимптотическое выражение для биномиального распределения при условии, что p фиксированно, а . Теорема Муавра-Лапласа утверждает, что таким асимптотическим выражением для биномиального распределения является нормальная функция.

[править] Формулировка

Если в схеме Бернулли n стремится к бесконечности, p (0 < p < 1) постоянно, величина ограничена равномерно по m и n , то

где , c > 0, c - постоянная.

Приближённую формулу

рекомендуется применять при n > 100 и npq > 20.

Пусть дано вероятностное пространство , и на нём определена случайная величина X с распределением . Тогда функцией распределения случайной величины X называется функция , задаваемая формулой:

- импортное определение;

- определение, принятое в российской литературе.

[править] Свойства

• F_X не убывает на всей числовой прямой.
• F_X непрерывна справа.
• .
• .

• Распределение случайной величины однозначно определяет функцию распределения.
• Верно и обратное: если функция F(x) удовлетворяет четырём перечисленным выше свойствам, то существует вероятностное пространство и определённая на нём случайная величина, такая что F(x) является её функцией распределения.

• По определению непрерывности справа, функция F_X имеет правый предел F_X(x + ) в любой точке , и он совпадает со значением функции F_X(x) в этой точке.
• В силу неубывания, функция F_X также имеет и левый предел F_X(x − ) в любой точке , который может не совпадать со значением функции. Таким образом, функция F_X либо непрерывна в точке, либо имеет в ней разрыв первого рода.

[править] Тождества

Из свойств вероятности следует, что , таких что a < b:

• ;
• ;
• ;
• ;
• ;
• ;
• ;
• .

[править] Дискретные распределения

Если случайная величина X дискретна, то есть её распределение однозначно задаётся функцией вероятности

,

то функция распределения F_X этой случайной величины кусочно-постоянна и может быть записана как:

.

Эта функция непрерывна в любой точке , такой что , и имеет разрыв, равный p_i, в x = x_i.

[править] Непрерывные распределения

Распределение называется непрерывным, если такова его функция распределения F_X. В этом случае:

,

и

,

а следовательно формулы имеют вид:

,

где | a,b | означает любой интервал, открытый или закрытый, конечный или бесконечный.

[править] Абсолютно непрерывные распределения

Распределение называется абсолютно непрерывным, если существует неотрицательная почти всюду (относительно меры Лебега) функция f_X(x), такая что:

.

Функция f_X называется плотностью распределения. Известно, что функция абсолютно непрерывного распределения непрерывна, и, более того, если , то , и

.

[править] Вариации и обобщения

[править] Многомерные функции распределения

Пусть фиксированное вероятностное пространство, и — случайный вектор. Тогда распределение является вероятностной мерой на . Функция этого распределения задаётся по определению следующим образом:

,

где в данном случае обозначает декартово произведение множеств.

Свойства многомерных функций распределения аналогичны одномерному случаю. Также сохраняется взаимно-однозначное соответствие между распределениями на и многомерными функциями распределения. Однако, формулы для вычисления вероятностей существенно усложняются, и потому функции распределения редко используются для n > 1.

Пусть — случайная величина, определённая на некотором вероятностном пространстве. Тогда

где символ M обозначает математическое ожидание.

[править] Замечания

• В силу линейности математического ожидания справедлива формула:

• Дисперсия является вторым центральным моментом случайной величины;
• Дисперсия может быть бесконечной. См., например, распределение Коши.
• Дисперсия может быть вычислена с помощью производящей функции моментов U(t):

D[X] = U''(0) − U'²(0)

• Дисперсия целочисленной случайной величины может быть вычислена с помощью производящей функции последовательности.

[править] Свойства

• Дисперсия любой случайной величины неотрицательна:
• Если дисперсия случайной величины конечна, то конечно и её математическое ожидание;
• Если случайная величина равна константе, то её дисперсия равна нулю: D[a] = 0. Верно и обратное: если D[X] = 0, то X = M[X] почти всюду;
• Дисперсия суммы двух случайных величин равна:

, где – их ковариация;

• Для дисперсии произвольной линейной комбинации нескольких случайных величин имеет место равенство:

, где ;

• В частности, D[X₁ + ... + X_n] = D[X₁] + ... + D[X_n] для любых независимых или некоррелированных случайных величин, так как их ковариации равны нулю;

[править] Пример

Пусть случайная величина имеет стандартное непрерывное равномерное распределение на т. е. её плотность вероятности задана равенством

Тогда

и

Тогда

Пусть — случайная величина, определённая на некотором вероятностном пространстве. Тогда

где символ M обозначает математическое ожидание.

[править] Замечания

• В силу линейности математического ожидания справедлива формула:

• Дисперсия является вторым центральным моментом случайной величины;
• Дисперсия может быть бесконечной. См., например, распределение Коши.
• Дисперсия может быть вычислена с помощью производящей функции моментов U(t):

D[X] = U''(0) − U'²(0)

• Дисперсия целочисленной случайной величины может быть вычислена с помощью производящей функции последовательности.

[править] Свойства

• Дисперсия любой случайной величины неотрицательна:
• Если дисперсия случайной величины конечна, то конечно и её математическое ожидание;
• Если случайная величина равна константе, то её дисперсия равна нулю: D[a] = 0. Верно и обратное: если D[X] = 0, то X = M[X] почти всюду;
• Дисперсия суммы двух случайных величин равна:

, где – их ковариация;

• Для дисперсии произвольной линейной комбинации нескольких случайных величин имеет место равенство:

, где ;

• В частности, D[X₁ + ... + X_n] = D[X₁] + ... + D[X_n] для любых независимых или некоррелированных случайных величин, так как их ковариации равны нулю;

[править] Пример

Пусть случайная величина имеет стандартное непрерывное равномерное распределение на т. е. её плотность вероятности задана равенством

Тогда

и

Тогда

Пусть — фиксированное вероятностное пространство. Пусть суть два случайных события, причём . Тогда условной вероятностью события A при условии события B называется

.

[править] Замечания

• Прямо из определения очевидно следует, что

.

• Если , то изложенное определение условной вероятности неприменимо.
• Условная вероятность является вероятностью, то есть функция , заданная формулой

,

удовлетворяет всем аксиомам вероятностной меры.

[править] Пример

Если A,B — несовместимые события, то есть и , то

и

.

Пусть есть бесконечная последовательность одинаково распределённых и некоррелированных случайных величин , определённых на одном вероятностном пространстве . То есть их ковариация . Пусть . Обозначим S_n выборочное среднее первых n членов:

.

Тогда .

[править] Усиленный закон больших чисел

Пусть есть бесконечная последовательность независимых одинаково распределённых случайных величин , определённых на одном вероятностном пространстве . Пусть . Обозначим S_n выборочное среднее первых n членов:

.

Тогда почти наверное.

Классическая формулировка Ц.П.Т.

Пусть есть бесконечная последовательность независимых одинаково распределённых случайных величин, имеющих конечное математическое ожидание и дисперсию. Обозначим последние μ и σ², соответственно. Пусть . Тогда

по распределению при ,

где N(0,1) — нормальное распределение с нулевым математическим ожиданием и стандартным отклонением, равным единице. Обозначив символом выборочное среднее первых n величин, то есть , мы можем переписать результат центральной предельной теоремы в следующем виде:

по распределению при .

[править] Замечания

• Неформально говоря, классическая центральная предельная теорема утверждает, что сумма n независимых одинаково распределённых случайных величин имеет распределение, близкое к N(nμ,nσ²). Эквивалентно, имеет распределение близкое к N(μ,σ² / n).
• Так как функция распределения стандартного нормального распределения непрерывна, сходимость к этому распределению эквивалентна поточечной сходимости функций распределения к функции распределения стандартного нормального распределения. Положив , получаем , где Φ(x) — функция распределения стандартного нормального распределения.
• Центральная предельная теорема в классической формулировке доказывается методом характеристических функций (теорема Леви о непрерывности).
• Вообще говоря, из сходимости функций распределения не вытекает сходимость плотностей. Тем не менее в данном классическом случае имеет место.

[править] Локальная Ц.П.Т.

В предположениях классической формулировки, допустим в дополнение, что распределение случайных величин абсолютно непрерывно, то есть оно имеет плотность. Тогда распределение Z_n также абсолютно непрерывно, и более того,

при ,

где - плотность случайной величины Z_n, а в правой части стоит плотность стандартного нормального распределения.

[править] Некоторые обобщения

Результат классической центральной предельной теоремы справедлив для ситуаций гораздо более общих, чем полная независимость и одинаковая распределённость.

[править] Ц.П.Т. Линдеберга

Пусть независимые случайные величины определены на одном и том же вероятностном пространстве и имеют конечные математические ожидания и дисперсии: . Как и прежде построим частичные суммы . Тогда в частности, . Наконец, пусть выполняется условие Линдеберга:

Тогда

по распределению при .

[править] Ц.П.Т. Ляпунова

Пусть выполнены базовые предположения Ц.П.Т. Линдеберга. Пусть случайные величины {X_i} имеют конечный третий момент. Тогда определена последовательность

. Если предел

(условие Ляпунова),

то

по распределению при .

[править] Ц.П.Т. для мартингалов

Пусть процесс является мартингалом. Введём случайные процессы и τ_n следующим образом:

и

.

Тогда

по распределению при .