Всё для Учёбы — студенческий файлообменник
1 монета
pdf

Студенческий документ № 046164 из МГСУ НИУ (МГСУ-МИСИ)

Что было, а также чего не было, но что вполне могло бы быть прочитано в курсе лекций под названием

ТЕОРИЯ ВЕРОЯТНОСТЕЙ

Чернова Н.И.

- Знаете что, милый Арамис? - сказал д'Артаньян, ненавидевший стихи почти так же сильно, как латынь. - Добавьте к достоинству трудности достоинство краткости, и вы сможете быть уверены в том, что ваша поэма будет иметь никак не менее двух достоинств.

Содержание

Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

Глава 1. Классическая вероятностная схема . . . . . . . . . . . . 6

§1. Основные формулы комбинаторики . . . . . . . . . . . . . . . 6

§2. Элементарная теория вероятностей . . . . . . . . . . . . . . . 11

Глава 2. Геометрическая вероятность . . . . . . . . . . . . . . . . 18

§1. Определения и примеры . . . . . . . . . . . . . . . . . . . . . . 18

§2. Существование неизмеримых множеств . . . . . . . . . . . . . 20

Глава 3. Аксиоматика теории вероятностей . . . . . . . . . . . . 22

§1. Алгебра и сигма-алгебра событий . . . . . . . . . . . . . . . . 22

§2. Мера и вероятностная мера . . . . . . . . . . . . . . . . . . . . 27

Глава 4. Условная вероятность, независимость . . . . . . . . . . 33

§1. Условная вероятность . . . . . . . . . . . . . . . . . . . . . . . 33

§2. Независимость . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

§3. Формула полной вероятности . . . . . . . . . . . . . . . . . . . 36

§4. Формула Байеса . . . . . . . . . . . . . . . . . . . . . . . . . . 37

2 ОГЛАВЛЕНИЕ

Глава 5. Схема Бернулли . . . . . . . . . . . . . . . . . . . . . . . 39

§1. Распределение числа успехов в n испытаниях . . . . . . . . . . 39

§2. Номер первого успешного испытания . . . . . . . . . . . . . . 40

§3. Независимые испытания с несколькими исходами . . . . . . . 41

§4. Приближение гипергеометрического распределения биноми-

альным . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

§5. Теорема Пуассона для схемы Бернулли . . . . . . . . . . . . . 43

Глава 6. Случайные величины и их распределения . . . . . . . . 46

§1. Случайные величины . . . . . . . . . . . . . . . . . . . . . . . . 46

§2. Распределения случайных величин . . . . . . . . . . . . . . . . 49

§3. Функция распределения . . . . . . . . . . . . . . . . . . . . . . 53

§4. Примеры дискретных распределений . . . . . . . . . . . . . . . 53

§5. Примеры абсолютно непрерывных распределений . . . . . . . 55

§6. Свойства функций распределения . . . . . . . . . . . . . . . . 59

§7. Свойства нормального распределения . . . . . . . . . . . . . . 63

Глава 7. Преобразования случайных величин . . . . . . . . . . . 65

§1. Измеримость функций от случайных величин . . . . . . . . . . 65

§2. Распределения функций от случайных величин . . . . . . . . . 66

Глава 8. Многомерные распределения . . . . . . . . . . . . . . . 69

§1. Совместное распределение . . . . . . . . . . . . . . . . . . . . 69

§2. Типы многомерных распределений . . . . . . . . . . . . . . . . 70

§3. Примеры многомерных распределений . . . . . . . . . . . . . . 72

§4. Роль совместного распределения . . . . . . . . . . . . . . . . . 73

§5. Независимость случайных величин . . . . . . . . . . . . . . . . 74

§6. Функции от двух случайных величин . . . . . . . . . . . . . . . 76

§7. Примеры использования формулы свёртки . . . . . . . . . . . 78

Глава 9. Числовые характеристики распределений . . . . . . . . 81

§1. Математическое ожидание случайной величины . . . . . . . . 81

§2. Свойства математического ожидания . . . . . . . . . . . . . . 82

§3. Дисперсия и моменты старших порядков . . . . . . . . . . . . 84

§4. Свойства дисперсии . . . . . . . . . . . . . . . . . . . . . . . . 86

§5. Математические ожидания и дисперсии стандартных распре-

делений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

Глава 10. Числовые характеристики зависимости . . . . . . . . 91

§1. Ковариация двух случайных величин . . . . . . . . . . . . . . . 91

§2. Коэффициент корреляции . . . . . . . . . . . . . . . . . . . . . 93

ОГЛАВЛЕНИЕ

§3. Свойства коэффициента корреляции . . . . . . . . . . . . . . . 94

§4. Примеры . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

Глава 11. Куда и как сходятся последовательности случайных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

§1. Сходимости "почти наверное" и "по вероятности" . . . . . . . 99 §2. Неравенства Чебышёва . . . . . . . . . . . . . . . . . . . . . . 104

§3. Законы больших чисел . . . . . . . . . . . . . . . . . . . . . . . 106

§4. Примеры использования ЗБЧ Чебышёва . . . . . . . . . . . . 108

Глава 12. Центральная предельная теорема . . . . . . . . . . . . 110

§1. Как быстро среднее арифметическое сходится к математиче-

скому ожиданию? . . . . . . . . . . . . . . . . . . . . . . . . . 110 §2. Слабая сходимость . . . . . . . . . . . . . . . . . . . . . . . . . 111

§3. Центральная предельная теорема . . . . . . . . . . . . . . . . 114

§4. Предельная теорема Муавра - Лапласа . . . . . . . . . . . . 115

§5. Примеры использования ЦПТ . . . . . . . . . . . . . . . . . . 116

Глава 13. Характеристические функции . . . . . . . . . . . . . . 120

§1. Примеры вычисления . . . . . . . . . . . . . . . . . . . . . . . 120

§2. Свойства характеристических функций . . . . . . . . . . . . . 122

§3. Доказательство ЗБЧ Хинчина . . . . . . . . . . . . . . . . . . 125

§4. Доказательство центральной предельной теоремы . . . . . . . 126

Приложение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

Простые и непростые задачи . . . . . . . . . . . . . . . . . . . . . . . . 131

Предметный указатель . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

Литература . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

Введение

Студентам первого курса ЭФ читать введение строго воспрещается!

Учебное пособие практически дословно повторяет курс лекций по теории вероятностей, читаемый автором студентам первого курса отделения экономики экономического факультета НГУ.

Курс теории вероятностей продолжается далее полугодовым курсом математической статистики. Затем студентам предстоит полугодовой курс регрессионного анализа, полугодовой курс теории временных рядов (в рамках курса эконометрии), знакомство в ряде дальнейших курсов с основами теории игр и теории принятия решений.

Объём курса ограничен рамками не более чем пятнадцати лекций короткого весеннего семестра и слабой подготовленностью слушателей, за плечами которых к моменту начала изучения предмета имеется лишь один семестр математического анализа и линейной алгебры.

Несмотря на это, читаемый автором курс не избегает, в том числе, таких абсолютно не знакомых студентам абстрактных понятий, как сигма-алгебры и меры, и вообще стремится быть корректным, полным и доказательным, в отличие от чисто рецептурных курсов, читаемых на экономических факультетах и отделениях остальных вузов.

Такое содержание курса сложилось в последние пять-шесть лет, и автор пока не видит необходимости в упрощении материала. Оправданием сложности курса могут служить два обстоятельства: во-первых, постоянный семестровый контроль работы студентов приводит к тому, что более четверти слушателей усваивают материал полностью в течение семестра на отличном или близком к нему уровне. Ещё примерно половина студентов вполне справляется с материалом после дополнительных летних месяцев подготовки. Во-вторых, студенты первого курса, не будучи ещё расслаблены "лёгкими" предметами, способны воспринять как должное курс лекций практически любой (разумной) сложности и насыщенности.

Основная проблема, которую читатель отметит для себя в данном пособии, заключается в сжатости материала. Несмотря на стремление к стро-

ВВЕДЕНИЕ

гости изложения в целом, математическое ожидание излагается так, как это принято на нематематических факультетах - в дискретном и непрерывном случаях, без изложения общей теории интеграла Лебега. Не только недостаточный в сравнении с механико-математическим факультетом объём курса математического анализа тому причиной, но и глубокая уверенность автора, что во всём - в том числе и в уровне серьёзности материала - следует знать меру.

С нежеланием перегрузить студентов неподъёмным для их возраста и опыта материалом связано и отсутствие в курсе важной для экономистов темы про условные распределения и условные математические ожидания. В 2004/5 уч.г. этой теме была посвящена последняя лекция "для любителей", но в пособие она не вошла. И напротив, в тексте присутствует ряд утверждений и примеров, которые не входят обычно в курс лекций,- например, теорема 13, доказательство теоремы 5, пример 13.

Читателю, желающему освоить курс, стоит выполнять все содержащиеся в тексте упражнения и отвечать на заданные вопросы. В конце имеется список полезных задач по тем разделам курса, которые не вполне покрываются практическими занятиями, либо дополняющих (но не заменяющих) материал практических занятий.

Автор искренне признателен своим коллегам по кафедре теории вероятностей и математической статистики ММФ НГУ, в течение многих лет вынужденным терпеть рассказы автора о высоком уровне обучения математике на ЭФ. Автор снимает шляпу перед самоотверженным трудом своих друзей и ассистентов Е.А.Бакланова и В.В.Милосердова, по зову души и долгу службы этот уровень обеспечивающих за счёт своего времени, сил и нервов.

Н.И.Чернова

ГЛАВА 1 Классическая вероятностная схема

...Да, первые страницы рассказа обнаруживают, что я очень плохо думаю о публике. Я употребил обыкновенную хитрость романистов: начал повесть эффектными сценами, вырванными из средины или конца её, прикрыл их туманом. Ты, публика, добра, очень добра, а потому ты неразборчива и недогадлива. На тебя нельзя положиться, что ты с первых страниц можешь различить, будет ли содержание повести стоить того, чтобы прочесть её, у тебя плохое чутьё, оно нуждается в пособии, а пособий этих два: или имя автора, или эффектность манеры.

Н.Г.Чернышевский, Что делать?

§1. Основные формулы комбинаторики

В данном разделе мы займёмся подсчётом числа "шансов". О числе шансов говорят, когда возможно несколько результатов какого-либо действия (извлечение карты из колоды, подбрасывание кубика или монетки). Число шансов - это число способов проделать это действие или, что то же самое, число возможных результатов этого действия.

Теорема о перемножении шансов. Пусть одно действие можно проделать пятью способами, а другое - двумя. Каким числом способов можно проделать пару этих действий?

Теорема 1. Пусть множество A состоит из k элементов: A =

= {a1, ..., ak}, а множество B - из m элементов: B = {b1, ..., bm}. Тогда можно образовать ровно km пар (ai, bj), взяв первый элемент из множества A, а второй - из множества B.

Замечание 1. Можно сформулировать утверждение теоремы 1 так: если первый элемент можно выбрать k способами, а второй элемент -m способами, то пару элементов можно выбрать km способами.

Доказательство. С элементом a1 мы можем образовать m пар:

(a1, b1), (a1, b2), ..., (a1, bm). Столько же пар можно составить с элементом a2, столько же - с элементом a3 и с любым другим из k элементов

множества A. Т.е. всего возможно km пар, в которых первый элемент выбран из множества A, а второй - из множества B.

Упражнение. С помощью теоремы 1 доказать, что:

а) при подбрасывании трёх монет возможно 2 · 2 · 2 = 8 различных результатов;

б) бросая дважды игральную кость, получим 6 · 6 = 36 различных результатов;

в) трёхзначных чисел бывает 9 · 10 · 10 = 900;

г) трёхзначных чисел, все цифры которых различны, существует 9 · 9 · 8;

д) чётных трёхзначных чисел возможно 9 · 10 · 5;

Урны и шарики. Есть урна (ящик), содержащая n пронумерованных объектов (шаров). Мы выбираем из этой урны k шаров; результатом выбора является набор из k шаров. Нас интересует, сколькими способами можно выбрать k шаров из n, или сколько различных результатов может получиться. На этот вопрос нельзя дать однозначный ответ, пока мы не определимся: а) с тем, как организован выбор (можно ли шары возвращать в урну), и б) с тем, что понимается под различными результатами выбора.

Рассмотрим следующие возможные способы выбора.

1. Выбор с возвращением: каждый вынутый шар возвращается в урну, каждый следующий шар выбирается из полной урны. В полученном наборе из k номеров шаров могут встречаться одни и те же номера.

2. Выбор без возвращения: вынутые шары в урну не возвращаются, и в полученном наборе не могут встречаться одни и те же номера.

Условимся, какие результаты выбора (наборы из k номеров шаров) мы будем считать различными. Есть ровно две возможности.

1. Выбор с учётом порядка: два набора номеров шаров считаются различными, если они отличаются составом или порядком номеров.

Так, при выборе трёх шаров из урны, содержащей 5 шаров, наборы (1, 5, 2), (2, 5, 1) и (4, 4, 5) различны, если порядок учитывается.

2. Выбор без учёта порядка: два набора номеров шаров считаются различными, если они отличаются составом. Наборы, отличающиеся лишь порядком следования номеров, считаются одинаковыми.

Так, наборы (1, 5, 2) и (2, 5, 1) не различаются и образуют один и тот же результат выбора, если порядок не учитывается.

Подсчитаем, сколько возможно различных результатов для каждой из четырёх схем выбора (выбор с возвращением или без, и в каждом из этих случаев - с учётом порядка или без).

Упражнение. Перечислить все возможные результаты в каждой из четырёх схем при выборе двух шаров из четырёх.

Например, при выборе с возвращением и без учёта порядка: (1, 1), (1, 2), (1, 3), (1, 4), (2, 2), (2, 3), (2, 4), (3, 3), (3, 4), (4, 4).

Выбор без возвращения, с учётом порядка.

Теорема 2. Общее количество различных наборов при выборе k элементов из n без возвращения и с учётом порядка равняется

и называется числом размещений из n элементов по k элементов.

Доказательство. Первый шар можно выбрать n способами, его номер - любой из n возможных. При любом выборе первого шара есть n ? 1 способ выбрать второй шар. По теореме 1, число возможных пар

(номер первого шара, номер второго шара)

равно n(n ? 1). Для каждой такой пары есть n ? 2 способа выбрать третий шар. По теореме 1, число возможных троек

(номер первого шара, номер второго шара), номер третьего шара равно произведению числа пар n(n ? 1) и числа способов выбора третьего шара, т.е. равно n(n ? 1)(n ? 2). Продолжая рассуждения, получим, что общее число возможных наборов из k шаров равно n(n?1)·...·(n?k+1). В этом произведении k сомножителей последний множитель n ? k + 1 есть число способов выбора k-го шара, когда уже выбраны предыдущие.

Следствие 1. Если в множестве n элементов, то существует ровно n! перестановок этих элементов.

Доказательство. Перестановка - результат выбора без возвращения и с учётом порядка n элементов из n. Поэтому общее число перестановок равно!

Упражнение. Найти, сколько всего возможно различных результатов в следующих экспериментах:

а) из колоды в 36 карт без возвращения, с учётом порядка вынимают три карты;

б) Вася, Петя, Оля и Лена занимают какие-то четыре из десяти мест в классе;

в) из русского алфавита выбирают четыре разные буквы и составляют слово;

г) из различных цифр, не равных нулю, составляется трёхзначное число.

Выбор без возвращения и без учёта порядка.

Теорема 3. Общее количество различных наборов при выборе k элементов из n без возвращения и без учёта порядка равняется

и называется числом сочетаний из n элементов по k элементов.

Доказательство. Согласно следствию 1, k различных номеров шаров можно упорядочить k! способами. Поэтому из каждого набора, выбранного без возвращения и без учёта порядка, можно образовать k! наборов, отличающихся друг от друга порядком следования номеров. Т.е. при выборе без возвращения и с учётом порядка возможно в k! раз больше наборов, чем при выборе без учёта порядка. Поэтому число наборов при выборе без учёта порядка равно.

Упражнение. Найти, сколько всего возможно различных результатов в следующих экспериментах:

а) из колоды в 36 карт без возвращения, без учёта порядка вынимают три карты;

б) из русского алфавита выбрасывают четыре буквы.

Выбор с возвращением и с учётом порядка.

Теорема 4. Общее количество различных наборов при выборе k элементов из n с возвращением и с учётом порядка равняется nk.

Доказательство. Первый шар можно выбрать n способами. При каждом из этих способов второй шар можно выбрать также n способами, и так k раз. Общее число наборов равно n · n · ... · n = nk.

Упражнение. Найти, сколько всего возможно различных результатов в следующих экспериментах:

а) из колоды в 36 карт тянут три раза карту с учётом порядка и с возвращением;

б) пятизначное число составляется из одних нечётных цифр;

в) обезьяна напечатала на машинке слово из десяти букв.

Выбор с возвращением и без учёта порядка. Рассмотрим урну с двумя пронумерованными шарами и перечислим результаты выбора двух шариков из этой урны при выборе с возвращением.

с учётом без учёта порядка порядка (1, 1) (1, 1) (2, 2) (2, 2) (1, 2)

(2, 1) o (1, 2) Видим, что в схеме "без учёта порядка" получилось три различных результата, в отличие от четырёх результатов в схеме "с учётом порядка". Заметим также, что никаким делением на "число каких-нибудь перестановок", которое помогло избавиться от учёта порядка при выборе без возвращения, число 3 из числа 4 получить не удастся.

Теорема 5. Общее количество различных наборов при выборе k элементов из n с возвращением и без учёта порядка равняется

. Упражнение. Проверить, что при n = 2 и k = 2 получается ровно 3.

Доказательство. Рассмотрим подробно, чем отличаются друг от друга два разных результата такой схемы выбора. Нам не важен порядок номеров, т.е. мы учитываем только, сколько раз в нашем наборе из k номеров шаров появился каждый номер. Поэтому результат выбора можно представить набором чисел k1, k2, ..., kn, в котором ki - число появлений шара номер i в наборе, и k1 +...+kn = k. Числа ki принимают значения из множества N?{0}. Два результата выбора в схеме выбора с возвращением и без учёта порядка различаются, если соответствующие им наборы k1, k2, ..., kn не совпадают (здесь порядок следования элементов ki учитывается).

Представим себе другой эксперимент, имеющий точно такие же результаты, и посчитаем их количество. Есть n ящиков, в которых размещаются k шаров. Нас интересует только число шаров в каждом ящике. Результатом эксперимента снова является набор чисел k1, k2, ..., kn, где ki равно числу шаров в ящике с номером i, и k1 + ... + kn = k. Числа ki принимают натуральные значения или равны нулю.

А теперь изобразим результат такого размещения в виде схемы, в которой вертикальные линии обозначают перегородки между ящиками, а точки - находящиеся в ящиках шары:

| • • • | | • | • • | • • | | • |

Мы видим результат размещения девяти шаров по семи ящикам. Первый ящик содержит три шара, второй и шестой ящики пусты, третий ящик содержит один шар, в четвёртом и пятом ящиках лежит по два шара. Переложим один шар из первого ящика во второй и изобразим таким же образом ещё два результата размещения:

| • • | • | • | • • | • • | | • |

| | | | | | | • • • • • • • • • |

Видим, что все размещения можно получить, меняя между собой шары и перегородки, или расставляя k шаров на n?1+k местах. Число n?1+k получается так: у n ящиков есть ровно n + 1 перегородка, считая крайние, но из них перемещать можно лишь n?1 внутреннюю перегородку. Таким образом, имеется n?1+k мест, которые можно занять шарами либо внутренними перегородками. Перебрав все возможные способы расставить k шаров на этих n?1+k местах (заполняя оставшиеся места перегородками), переберем все нужные размещения.

Осталось заметить, что существует способов расставить k шаров на n ? 1 + k местах. Именно столько есть способов выбрать из n ? 1 + k номеров мест k номеров мест для шаров.

Упражнение.

а) Найти количество способов разложить натуральное число k в сумму n целых

неотрицательных слагаемых, если важен порядок следования этих слагаемых.

б) Найти число различных производных порядка k функции n переменных.

в) Найти число возможных результатов подбрасывания двух игральных костей, если кости считаются неразличимыми. То же самое для трёх игральных костей.

§2. Элементарная теория вероятностей

Предмет теории вероятностей. Теория вероятностей изучает закономерности, возникающие в случайных экспериментах. Случайным называют эксперимент, результат которого нельзя предсказать заранее. Невозможность предсказать результат отличает случайное явление от детерминированного.

Не все случайные явления (эксперименты) можно изучать методами теории вероятностей, а лишь те, которые могут быть воспроизведены в одних и тех же условиях. Случайность и хаос - не одно и то же. Оказывается, что и в случайных экспериментах наблюдаются некоторые закономерности, например свойство "статистической устойчивости": если A - некоторое событие, могущее произойти или не произойти в результате эксперимента, то доля n(A)/n экспериментов, в которых данное событие произошло, имеет тенденцию стабилизироваться с ростом общего числа экспериментов n, приближаясь к некоторому числу P(A). Это число служит объективной характеристикой "степени возможности" событию A произойти.

Следует помнить, что мы занимаемся математикой и имеем дело не с реальностью, а лишь с её математической моделью. Мы и будем изучать только математические модели, а приложение их к реальности оставим на долю математической и практической статистики.

Пространство элементарных исходов.

Определение 1. Пространством элементарных исходов ?

("омега") называется множество, содержащее все возможные результаты данного случайного эксперимента, из которых в эксперименте происходит ровно один. Элементы этого множества называют элементарными исходами и обозначают буквой ? ("омега").

Определение 2. Событиями мы будем называть подмножества множества ?. Говорят, что в результате эксперимента произошло событие A??, если в эксперименте произошел один из элементарных исходов, входящих в множество A.

Замечание 2. Вообще говоря, можно назвать событиями не обязательно любые подмножества множества ?, а лишь элементы некоторого набора подмножеств. О смысле такого ограничения мы поговорим позднее.

Пример 1. Один раз подбрасывается кубик - игральная кость. Рассмотрим пространство элементарных исходов ? = {1,2,3,4,5,6} = = { , }, элементарные исходы здесь соответствуют числу выпавших очков.

Примеры событий: A = {1,2} = { , } - выпало одно или два очка; - выпало нечётное число очков.

Пример 2. Два раза подбрасывается игральная кость. Или, что то же самое, один раз подбрасываются две игральные кости. Будем считать пространством элементарных исходов множество пар чисел (i,j), где i (сответственно, j) есть число очков, выпавших при первом (втором) подбрасывании: ? = {(i,j), где 1 6 i,j 6 6}.

Примеры событий:

A = {(1,1),(1,2),(1,3),(1,4),(1,5),(1,6)} - при первом подбрасывании выпало одно очко;

B = {(1,1),(2,1),(3,1),(4,1),(5,1),(6,1)} - при втором подбрасывании выпало одно очко;

C = {(1,1),(2,2),(3,3),(4,4),(5,5),(6,6)} - на костях выпало одинаковое число очков;

D = {(1,1),(1,3),(1,5),(3,1),(3,3),(3,5),(5,1),(5,3),(5,5)} - на обеих костях выпало нечётное число очков.

Пример 3. На поверхность стола бросается монета. Результатом эксперимента можно считать координату центра монеты. Пространство элементарных исходов - множество точек стола. Если нам не безразличен угол поворота монеты, то можно добавить к множеству положений центра величину этого угла. В этом случае ? есть множество пар {(x,?)}, где x ? R2 - точка стола и ? ? [0,2?) - угол поворота. Число элементарных исходов такого эксперимента несчётно.

Пример 4. Монета подбрасывается до тех пор, пока не выпадет вверх гербом. Пространство элементарных исходов состоит из бесконечного, но счётного числа исходов: ? = { г, рг, ррг, рррг, ррррг, рррррг, ...}, где р означает выпадение решки, а г - герба при одном подбрасывании.

Определение 3. 1. Достоверным называется событие, которое обязательно происходит в результате эксперимента, т.е. единственное событие, включающее все элементарные исходы - событие ?.

2. Невозможным называется событие, которое не может произойти в результате эксперимента, т.е. событие, не содержащее ни одного элементарного исхода ("пустое множество" ?). Заметим, что всегда ???.

Операции над событиями. В теории вероятностей существуют ровно те же операции над множествами, что и в теории множеств.

Определение 4. 1. Объединением A ? B событий A и B называется событие, состоящее в том, что произошло A?B либо A, либо B, либо оба события одновременно. На языке теории множеств A ? B есть множество, содержащее как элементарные исходы из множества A, так и элементарные исходы из множества B.

2. Пересечением A ? B событий A и B называется событие, состоящее в том, что произошли оба события A и B одновременно. На языке теории множеств A ? B есть множество, содержащее элементарные исходы, входящие в пересечение множеств A и B.

3. Противоположным (или дополнительным)

к событию A называется событие A = ?\A, состоящее в том, что событие A в результате эксперимента не про-

изошло. Т.е. множество A состоит из элементарных исходов, не входящих в A.

4. Дополнением A\B события B до A называется событие, состоящее в том, что произошло событие A, но не произошло B. Т.е. множество A\B содержит элементарные исходы, входящие в множество A, но не входящие в B.

Определение 5.

1. События A и B называют несовместными, если A ? B = ?.

2. События A1, ..., An называются попарно несовместными, если для любых i 6= j, где 1 6 i, j 6 n, события Ai и Aj несовместны.

3. Говорят, что событие A влечёт событие B, и пишут A?B, если всегда, как только происходит событие A, происходит и событие B. На языке теории множеств это означает, что любой элементарный исход, входящий в множество A, одновременно входит и в множество B, т.е. A содержится в B.

Вероятность на дискретном пространстве элементарных исходов. Пространство элементарных исходов назовём дискретным, если оно конечно или счётно: ? = {?1, ?2, ..., ?n, ...}.

Так, эксперименты из примеров 1, 2 и 4 (но не 3) приводят к дискретным пространствам элементарных исходов.

Замечание 3. Множество счётно, если существует взаимно-однозначное соответствие между этим множеством и множеством всех натуральных чисел. Счётными множествами являются множество натуральных чисел, множество целых чисел (доказать), множество рациональных чисел (доказать), множество чётных чисел и т.д. Множество конечно, если оно состоит из конечного числа элементов.

Чтобы определить вероятность любого события на дискретном пространстве элементарных исходов, достаточно присвоить вероятность каждому элементарному исходу. Тогда вероятность любого события определяется как сумма вероятностей входящих в него элементарных исходов.

Определение 6. Поставим каждому элементарному исходу ?i ? ? в соответствие число pi ? [0,1] так, что

X pi = 1.

?i?? Назовём число pi вероятностью элементарного исхода ?i. Вероятностью события A назовём число

P(A) = X pi, ?i?A

равное сумме вероятностей элементарных исходов, входящих в множество A. В случае A = ? положим P(A) = 0.

Замечание 4. Позднее, познакомившись с аксиоматикой теории вероятностей, мы зададим вероятности событий непосредственно, а не через вероятности элементарных исходов. Тем более, что сложением вероятностей элементарных исходов можно получить лишь вероятность события, состоящего не более чем из счётного числа элементарных исходов (иначе само понятие суммирования не определено). Но на дискретном пространстве элементарных исходов определить вероятности событий так, как это сделано в определении 6, всегда возможно.

Перечислим очевидные в случае дискретного пространства свойства вероятности, которые мы скоро докажем сразу в общем случае.

1. 0 6P(A) 6 1; P(?) = 1; P(A) = 1 ? P(A);

2. Если A и B несовместны, то P(A ? B) = P(A) + P(B); 3. В общем случае P(A ? B) = P(A) + P(B) ? P(A ? B);

4. Если A?B, то P(A) 6P(B).

Упражнение. Доказать свойства 1 - 4, пользуясь определением 6.

Рассмотрим частный случай такой вероятности - так называемую "классическую вероятность".

Классическое определение вероятности. Предположим, что мы имеем дело с пространством элементарных исходов, состоящим из конечного числа N элементов: ? = {?1,?2,...,?N}. Предположим, что из каких-либо соображений мы можем считать элементарные исходы равновозможными. Тогда вероятность любого из них принимается равной 1/N. Эти соображения не имеют отношения к математической модели и основаны на какой-либо симметрии в эксперименте (симметричная монета, хорошо перемешанная колода карт, правильная кость).

Если событие A = {?i1,...,?ik} состоит из k элементарных исходов, то вероятность этого события равняется отношению k /N:

P, где символом |A| обозначено число элементов конечного множества A.

Определение 7. Говорят, что эксперимент удовлетворяет "классическому определению вероятности", если пространство элементарных исходов состоит из конечного числа |?| = N равновозможных исходов. В этом случае вероятность любого события A вычисляется по формуле

P, называемой классическим определением вероятности.

Формулу P(A) = |A|/|?| читают так: "вероятность события A равна отношению числа исходов, благоприятствующих событию A, к общему числу исходов". Полезно сравнить это определение с классической формулировкой Якоба Бернулли1: "Вероятность есть степень достоверности и отличается от неё как часть от целого" (Ars Conjectandi, 1713 г.)

Мы видим, что вычисление вероятности в классической схеме сводится к подсчёту общего числа "шансов" и числа шансов, благоприятствующих событию. Число шансов считают с помощью формул комбинаторики.

Рассмотрим урновые схемы из параграфа 1. Будем исходить из предположения о том, что появление любого шара равновозможно. Тогда три схемы: с возвращением и с учётом порядка, без возвращения и с учётом порядка, а также без возвращения и без учёта порядка, удовлетворяют классическому определению вероятности. Общее число элементарных исходов в этих схемах подсчитано в теоремах 4, 2, 3 и равно соответственно,

. Четвёртая же схема - схема выбора с возвращением и без учёта порядка - имеет заведомо неравновозможные исходы.

Пример 5. Рассмотрим выбор двух шариков из двух или, что то же самое, дважды подбросим монету. Если учитывать порядок, то исходов получится четыре, и все они равновозможны, т.е. имеют вероятность по 1/4:

(герб, герб), (решка, решка), (решка, герб), (герб, решка).

Если порядок не учитывать, то следует объявить два последних исхода одним и тем же результатом эксперимента, и получить не четыре, а три исхода: (два герба), (две решки), (один герб и одна решка).

Первые два исхода имеют вероятности по 1/4, а последний - вероятность 1/4 + 1/4 = 1/2.

Упражнение. Посчитать число элементарных исходов в примере 2. Каким станет пространство элементарных исходов, если порядок костей не учитывать? Посчитать число элементарных исходов в таком пространстве (пользуясь теоремой 5 или прямым подсчётом). Убедиться, что их ровно. Равновозможны ли эти исходы? Посчитать вероятность каждого.

Гипергеометрическое распределение.

Пример 6. Из урны, в которой K белых и N?K чёрных шаров, наудачу и без возвращения вынимают n шаров, n 6 N. Термин "наудачу" означает, что появление любого набора из n шаров равновозможно. Найти вероятность того, что будет выбрано k белых и n ? k чёрных шаров.

Решение. При k > K или n ? k > N ? K искомая вероятность

равна нулю, так как соответствующее событие невозможно. Пусть k 6 K и n ? k 6 N ? K.

Результатом эксперимента является набор из n шаров. Можно не учитывать или учитывать порядок следования шаров. Вероятность не должна зависеть от способа подсчёта.

Выбор без учёта порядка. Общее число элементарных исходов есть число n-элементных подмножеств множества, состоящего из N элементов: |?| = CNn по теореме 3.

Обозначим через Ak событие, вероятность которого требуется найти. Событию Ak благоприятствует появление любого набора, содержащего k белых шаров и n?k чёрных. Число благоприятных исходов равно произведению (по теореме 1) числа способов выбрать k белых шаров из K и числа способов выбрать n ? k чёрных шаров из N ? K, т.е..

Вероятность события Ak равна

P. (1) Выбор с учётом порядка. Общее число элементарных исходов есть число способов разместить N элементов на n местах. По теореме 2

|?| = AnN = N(N ? 1) · ... · (N ? n + 1).

При подсчёте числа благоприятных исходов нужно учесть число способов выбрать k белых и n ? k чёрных шаров и число способов расположить эти шары среди n. Можно, скажем, посчитать число способов выбрать k мест среди n, равное Cnk, затем число способов разместить на этих k местах K белых шаров, равное AkK, и затем число способов разместить на оставшихся n?k местах N ?K чёрных шаров, равное. Перемножив (по-

чему?) эти числа, получим

, P. В рассмотренной задаче мы сопоставили каждому набору из k белых и n ? k чёрных шаров вероятность P(Ak) получить этот набор при выборе n шаров из урны, содержащей K белых и N ? K чёрных шаров.

Определение 8. Соответствие между числом k и вероятностью

P, где k таково, что 0 6 k 6 n, k 6 K и n ? k 6 N ? K, называется гипергеометрическим распределением.

Здесь мы в первый, но далеко не в последний раз встретились с термином "распределение" вероятностей. Это слово всегда обозначает некий способ разделить (распределить) общую единичную вероятность между какими-то точками или множествами на вещественной прямой.

В гипергеометрическом распределении единичная вероятность распределена между подходящими целыми числами k неравномерно. Каждому целому числу k сопоставлена своя вероятность P(Ak). На вещественной прямой можно единичную вероятность распределить по-разному. Этим одно распределение отличается от другого: тем, на каком множестве чисел "распределена" общая единичная вероятность, и тем, какие веса, или вероятности, присвоены отдельным точкам или частям этого множества.

Упражнение. Понять последний абзац.

Задание вероятностей на дискретном пространстве. Если пространство элементарных исходов счётно, но не конечно, нельзя всем элементарным исходам присвоить одинаковые вероятности (почему?). Приведём примеры того, какими могут быть вероятности на таком пространстве.

Пример 7. Пусть ? = N. Зададим вероятность элементарного исхода i ? N так: pi = 1/2i. Проверим, что набор таких вероятностей удовлетворяет определению 6. По формуле суммы бесконечной геометрической прогрессии с первым членом 1/2 и знаменателем 1/2 100.

Пример 9. На том же ? = N положим p1 = 0,3, p1372 = 0,7, остальные pi равны нулю. Читатель легко найдёт вероятность события A = = {1000, 1001, ..., 1500}??.

Пример 10. Пусть теперь ? = N ? {0}. Положимдля i =

= 0, 1, 2, ... Проверим, равна ли единице сумма вероятностей всех элементарных исходов. Собрав разложенную в ряд Тейлора экспоненту, получим:

. ГЛАВА 2

Геометрическая вероятность

Пусть будет поставлен следующий вопрос: если кто-нибудь стреляет наудачу, то какова вероятность, чтобы центр пули на пути своём прошел точно через центр того яблока, которое висит на этом дереве. Каждый должен признать, что многообразие всех возможных здесь случаев, отвечающих подобной h...i вероятности, будет бесконечно, откуда следует, что степень этой вероятности имеет величину, которая равна 1/?.

Б. Больцано, Парадоксы бесконечного

§1. Определения и примеры

Рассмотрим какую-нибудь область ? в Rm (на прямой, на плос-

объем, соответственно) конечна. Пусть случайный q $ кости, в пространстве). Предположим, что "мера" ? '(длина, площадь,

эксперимент состоит в том, что мы наудачу бросаем в эту область точку. Термин "наудачу" означает, что

не зависит от формы или расположения A внутри ?.% вероятность попадания точки в любую часть A?? A

Определение 9. Эксперимент удовлетворяет условиям "геометрического определения вероятности", если его исходы можно изобразить точками некоторой области ? в Rm так, что вероятность попадания точки в любую часть A?? не зависит от формы или расположения A внутри ?, а зависит лишь от меры области A и пропорциональна этой мере: µ(A)

P(A) = ,

µ(?) где µ(A) обозначает меру области A (длину, площадь, объем и т.д.).

Если для точки, брошенной в область ?, выполнены условия геометрического определения вероятности, то говорят, что точка равномерно распределена в области ?.

Пример 11. Точка наудачу бросается на отрезок [0, 1]. Вероятность ей попасть в точку 0,5 равна нулю, так как равна нулю мера множества, состоящего из одной точки ("длина точки"). Но попадание в точку 0,5 не является невозможным событием - это один из элементарных исходов эксперимента. Общее число элементарных исходов здесь бесконечно, но все они по-прежнему "равновозможны" - уже не в смысле классического определения вероятности, применить которое здесь нельзя из-за бесконечности числа исходов, а в смысле определения 9.

Задача о встрече.

Пример 12. Два лица X и Y условились встретиться в определённом месте между двумя и тремя часами дня. Пришедший первым ждет другого в течение 10 минут, после чего уходит. Чему равна вероятность встречи этих лиц, если каждый из них может прийти в любое время в течение указанного часа независимо от другого?

Решение. Будем считать интервал с 14 до 15 часов отрезком [0, 1] длиной в 1 час. Пусть ? ("кси") и ? ("эта") - моменты прихода X и Y - точки отрезка [0, 1]. Пространством элементарных исходов будет квадрат со стороной 1: ? = {(?,?)|0 6?6 1, 0 6?6 1} = [0, 1]?[0, 1]. Можно считать, что эксперимент сводится к бросанию точки наудачу в квадрат. При этом благоприятными исходами являются точки множества A:

A = {(?,?) | |? ? ?| 6 1/6}

(10 минут = 1/6 часа). Попадание в множество A наудачу брошенной в квадрат точки означает, что X и Y встретятся. Тогда вероятность встречи равна

µ(A) 1 ? (5/6)2 11

P(A) = = = . µ(?) 1 36

Задача Бюффона2.

Пример 13. На плоскости начерчены параллельные прямые, находящиеся друг от друга на расстоянии 2a. На плоскость наудачу брошена игла длины 2l 0,

n n 0 n=?? n=?? n=?? 0, если l(A0) = 0.

Полученное противоречие означает, что длина множества A0 просто не существует.

Итак, мы построили множество на отрезке, длина которого не существует (неизмеримое множество). Пользуясь геометрическим определением вероятности, мы не можем определить вероятность попадания точки в такое неизмеримое множество. А если не для всех подмножеств ? мы можем определить вероятности, следует сузить класс множеств, называемых "событиями", оставив в этом классе только те множества, вероятность которых определена.

В следующей главе мы займёмся, следуя Колмогорову4, построением аксиоматики теории вероятностей: познакомимся с понятиями ?-алгебры (или поля) событий, вероятностной меры, вероятностного пространства, а также докажем сформулированные в параграфе 2 главы 1 свойства вероятности.

ГЛАВА 3

Аксиоматика теории вероятностей

Математик должен знать меру, норму и предел

(фольклор ММФ НГУ)

§1. Алгебра и сигма-алгебра событий

Алгебра событий. Пусть ? - пространство элементарных исходов некоторого случайного эксперимента (т.е. непустое множество произвольной природы). Мы собираемся определить набор подмножеств ?, которые будут называться событиями, и затем задать вероятность как функцию, определённую только на множестве событий.

Итак, событиями мы будем называть не любые подмножества ?, а лишь элементы некоторого выделенного набора подмножеств ?. При этом необходимо позаботиться, чтобы этот набор подмножеств был замкнут относительно обычных операций над событиями, т.е. чтобы объединение, пересечение, дополнение событий снова давало событие. Сначала введём понятие алгебры событий.

Определение 10. Множество A, элементами которого являются подмножества множества ? (не обязательно все) называется алгеброй (алгеброй событий), если оно удовлетворяет следующим условиям:

(A1) ? ? A (алгебра событий содержит достоверное событие);

(A2) если A ? A, то A ? A (вместе с любым событием алгебра

содержит противоположное событие);

(A3) если A ? A и B ? A, то A ? B ? A (вместе с любыми двумя событиями алгебра содержит их объединение).

Из (A1) и (A2) следует, что пустое множество ? = ? также содержится в A. Из (A3) следует, что вместе с любым конечным набором событий алгебра содержит их объединение: для любого n > 2, для любых A1, ..., An ? A выполнено A1 ? ... ? An ? A. Вместо замкнутости относительно объединения можно требовать замкнутость относительно пересечения. Свойство 1. В определении 10 можно заменить (A3) на (A4):

(A4) если A ? A и B ? A, то A ? B ? A.

Доказательство. Докажем, что при выполнении (A1) и (A2) из (A3)

следует (A4). Если A, B ? A, то A ? A, B ? A по свойству (A2). Тогда

из (A3) следует, что A ? B ? A, и, по (A2), дополнение A ? B к этому множеству также принадлежит A. В силу формул двойственности, дополнение к объединению как раз и есть пересечение дополнений:

A ? B = A ? B ? A.

Аналогично доказывается, что при выполнении (A1) и (A2) из (A4) следует (A3), т.е. эти два свойства в определении взаимозаменяемы.

Пример 15. Пусть ? = {¦, ¦, ¦, ¦} - пространство элементарных исходов. Следующие наборы подмножеств ? являются алгебрами (проверьте это по определению):

1. A = {?, ?} = {{¦, ¦, ¦, ¦}, ?} - тривиальная алгебра.

2. A = {?, ?, {¦}, ? \ {¦}} = {{¦, ¦, ¦, ¦}, ?, {¦}, {¦, ¦, ¦}}.

3. A - произвольное подмножество ? (в предыдущем примере A = {¦}).

4. A = 2? - множество всех подмножеств ?.

Упражнение. Доказать, что если ? состоит из n элементов, то в множестве всех его подмножеств ровно 2n элементов.

Сигма-алгебра событий. В теории вероятностей часто возникает необходимость объединять счётные наборы событий и считать событием результат такого объединения. При этом свойства (A3) алгебры оказывается недостаточно: из него не вытекает, что объединение счётной последовательности множеств из алгебры снова принадлежит алгебре. Поэтому разумно наложить более суровые ограничения на класс событий.

Определение 11. Множество F, элементами которого являются подмножества множества ? (не обязательно все) называется ?-алгеброй (?алгеброй событий), если выполнены следующие условия:

(S1) ? ? F (?-алгебра событий содержит достоверное событие);

(S2) если A ? F, то A ? F (вместе с любым событием ?-алгебра содержит противоположное событие);

(S3) если A1, A2, ... ? F, то A1 ? A2 ? ... ? F (вместе с любым счётным набором событий ?-алгебра содержит их объединение).

Упражнение.

а) Доказать, что вместо (S1) достаточно предположить непустоту множества F.

б) Вывести из (S1) и (S2), что ? ? F.

Этого набора аксиом достаточно для замкнутости множества F относительно счётного числа любых других операций над событиями. В частности, аналогично свойству 1 проверяется следующее утверждение.

Свойство 2. В определении 11 можно заменить (S3) на (S4):

(S4) если A1, A2, ... ? F, то A1 ? A2 ? ... ? F.

Как показывает следующее свойство, всякая ?-алгебра есть алгебра.

Свойство 3. Если F-?-алгебра, то она удовлетворяет свойству (A3), т.е. для любых A ? F и B ? F выполняется A ? B ? F.

Доказательство. Превратим пару A, B в счётную последовательность событий так: A, B, B, B, B, ..., т.е. положим A1 = A, Ai = B при всех i > 2. Объединение A ? B совпадает с объединением всех множеств Ai из этой бесконечной последовательности. А так как F - ?-алгебра, то

. Упражнение. Докажите, что для любых A, B ? F выполнено A \ B ? F.

Итак, всякая ?-алгебра автоматически является алгеброй, но не наоборот. Приведём пример алгебры, не являющейся ?-алгеброй.

Пример 16. Пусть ? = R, и пусть A - множество, содержащее любые конечные подмножества R (т.е. состоящие из конечного числа точек, в том числе пустое) и их дополнения. В частности, множество {0, 2, ?} принадлежит A, множество (??, ?7,2) ? (?7,2, 5) ? (5, ?) принадлежит A.

Легко проверить, что множество A является алгеброй. Действительно, пустое множество и само ? = R там содержатся, дополнение к любому конечному подмножеству множества вещественных чисел содержится в A по определению, дополнение к множеству вида R\A для конечных A совпадает с A и также принадлежит A по определению. Свойство (A3) проверяется непосредственно: объединение любых конечных множеств снова конечно и поэтому принадлежит A. Объединение конечного множества с множеством вида R \ A, где A конечно, есть снова множество вида R \ B, где B конечно (или пусто). Объединение двух множеств R\A и R\B, являющихся дополнениями до R конечных множеств A и B, есть снова множество такого же вида.

Однако алгебра A не содержит ни одного счётного множества точек. Действительно, объединяя конечные множества в конечном числе, мы можем получить только конечное множество. Например, натуральный ряд N не принадлежит A. Поэтому A не является ?-алгеброй: для бесконечной, но счётной последовательности одноточечных множеств Ai = {i} из A их объединение N = A1 ? A2 ? ... не принадлежит A.

Все алгебры из примера 15 являются ?-алгебрами, поскольку содержат лишь конечное число элементов. Вообще, на конечном множестве ? понятия алгебры и ?-алгебры совпадают. Множество всех подмножеств ? является ?-алгеброй для любого ?.

Борелевская5 ?-алгебра в R. Приведём пример ?-алгебры, которая нам будет необходима в дальнейшем,- ?-алгебры борелевских множеств на вещественной прямой.

Борелевской сигма-алгеброй в R называется самая маленькая среди всех возможных ?-алгебр, содержащих любые интервалы на прямой. Разумеется, ?-алгебры, содержащие все интервалы, существуют. Например, множество всех подмножеств R - это ?-алгебра, и она содержит все интервалы. Что же такое "самая маленькая ?-алгебра" из нескольких данных? Обратимся к примерам.

Пример 17. Пусть ? = R - вещественная прямая. Рассмотрим некоторые наборы множеств, не являющиеся ?-алгебрами, и увидим, как их можно дополнить до ?-алгебр.

1. Множество A = {R, ?, [0, 1], {0}} не является ?-алгеброй,

так как, например, [0, 1] = R \ [0, 1] = (??, 0) ? (1, ?) 6? A. Самый маленький набор множеств, содержащий A и являющийся ?-алгеброй (минимальная ?-алгебра), получится, если включить в него всевозможные объединения, пересечения и дополнения множеств из A: F = {R, ?, [0, 1], {0}, (??, 0) ? (1, ?), (0, 1], (??, 0] ? (1, ?), (??, 0) ? (0, ?)}. Более точно:

Определение 12. Минимальной ?-алгеброй, содержащей набор множеств A, называется пересечение всех ?-алгебр, содержащих A.

Ещё раз напомним, что пересекать в определении 12 есть что: хотя бы одна ?-алгебра, содержащая данный набор множеств, всегда найдётся - это ?-алгебра всех подмножеств ? (в данном случае ? = R).

Упражнение. Доказать, что пересечение двух ?-алгебр, содержащих набор множеств A, снова является ?-алгеброй (невероятно!), содержащей A.

Упражнение. Найти минимальную ?-алгебру, содержащую следующий набор подмножеств R: A = {R, ?, [0, 1], {3}}.

2. Пусть множество A подмножеств вещественной прямой R состоит из всевозможных открытых интервалов (a, b), где a R ? {+?} называется мерой на

(?, F), если она удовлетворяет условиям:

(µ1) для любого множества A ? F его мера неотрицательна: µ(A) > 0;

(µ2) для любого счётного набора попарно непересекающихся множеств A1, A2, A3, ... ? F (т.е. такого, что Ai ? Aj = ? при всех i 6= j) мера их объединения равна сумме их мер:

µ ("счётная аддитивность" или "?-аддитивность" меры).

Упражнение. Зачем в свойстве (µ2) требуется, чтобы события не пересекались? Может ли какая-нибудь функция µ : F > R удовлетворять свойству µ(A ? B) = µ(A) + µ(B) при любых событиях A и B?

Упражнение. Указать область определения и область значений функции µ. Для каких A?? определено значение µ(A)?

Пример 18. Пусть ? = {a, b, c}, F = 2? - множество всех подмножеств ?. Зададим меру µ на F так: µ{a} = 3, µ{b} = 17, µ{c} = 1, µ{a, b} = 20, µ{a, c} = 4, µ{b, c} = 18, µ{a, b, c} = 21, µ(?) = 0. Для краткости записи мы вместо µ({a}) писали всюду µ{a}.

Пример 19. Пусть ? = N, F = 2N - множество всех подмножеств натурального ряда. Зададим меру µ на F так: µ(A) = |A| - число элементов в множестве A (µ(A) = ?, если множество A не является конечным).

6Henri Leon Lebesgue (28.06.1875? - 26.07.1941, France)

Пример 20 (мера Лебега6). Когда мы говорили о геометрической вероятности, мы использовали термин "мера области A в Rm ", имея в виду "длину" на прямой, "площадь" на плоскости, "объем" в трёхмерном пространстве. Являются ли все эти "длины-площади-объемы" настоящими мерами в смысле определения 14? Мы решим этот вопрос для прямой, оставляя плоскость и пространство большей размерности читателю.

Замечание 6. Если вам уже расхотелось читать дальше, сообщаем: мерой Лебега в задачниках и учебниках называют как раз "длину-площадь-объем", так что всё в порядке, дальнейшее до п.2 можно смело пропустить.

Рассмотрим вещественную прямую с ?-алгеброй борелевских множеств. Эта ?-алгебра, по определению, есть наименьшая ?-алгебра, содержащая любые интервалы. Для каждого интервала (a, b)?R число b ? a назовём длиной интервала (a, b).

Мы не станем доказывать следующее утверждение:

Лемма 1. Существует единственная мера ? на (R, B(R)), значение которой на любом интервале равно его длине: ?(a, b) = = b ? a. Эта мера называется мерой Лебега.

Замечание 7. Это утверждение является следствием теоремы Каратеодори6 о продолжении меры с алгебры на ?-алгебру, применительно к (R,B(R)).

Нам пригодится свойство, которым обладает любая мера. Это свойство непрерывности меры иногда называют аксиомой непрерывности, имея в виду, что ею можно заменить (µ2) в определении 14.

Лемма 2 (свойство непрерывности меры). Пусть дана убывающая последовательность множеств из F

такая, что µ(B1) ?

Доказательство. Обозначим через Cn кольца: Cn =

= Bn \ Bn+1. Множества B, C1, C2, C3, ... попарно не пересекаются. Тогда из представлений

вытекают, в силу аксиомы (µ2), соответствующие равенства и для мер:

µ, µ.

? Первая сумма Pµ(Ci) в силу условия µ(B1) ?. Поэтому

µ. В полезности этого свойства легко убедиться упражнениями.

Упражнение. Используя аксиому непрерывности меры для убывающей последовательности множеств Bn = (x ? 1/n, x + 1/n), доказать, что мера Лебега одноточечного подмножества {x} вещественной прямой равна нулю: ?{x} = 0. Используя этот факт, доказать, что ?(N) = 0, ?(Z) = 0, ?(Q) = 0, ?(a, b) = ?[a, b].

Замечание 8. В отсутствие предположения µ(B1) 1), заставляющего меры вложенных множеств быть конечными, свойство µ(B) = lim µ(Bn) может не выполняться.

n>? Например, зададим меру на B(R) так: µ(B) = 0, если B не более чем счётно, иначе µ(B) = ?. Тогда для множеств Bn = (x ? 1/n, x + 1/n) имеем:

? B = \ Bn = {x}, µ(Bn) = ? 6> µ(B) = 0.

n=1 И вот наконец мы в состоянии определить понятие вероятности.

Вероятность как нормированная мера.

Определение 15. Пусть ? - непустое множество и F - ?-алгебра его подмножеств. Мера µ : F > R называется нормированной, если µ(?) = 1. Другое название нормированной меры - вероятность или вероятностная мера.

То же самое ещё раз и подробно:

Определение 16. Пусть ? - пространство элементарных исходов, F - ?-алгебра его подмножеств (событий). Вероятностью или вероятностной мерой на (?,F) называется функция P : F > R, обладающая свойствами:

(P1) для любого события A ? F выполняется неравенство P(A) > 0;

(P2) для любого счётного набора попарно несовместных событий A1, A2, A3, ... ? F имеет место равенство

P); (P3) вероятность достоверного события равна единице: P(?) = 1.

Свойства (P1) - (P3) называют аксиомами вероятности.

Определение 17. Тройка h?,F,Pi, в которой ? - пространство элементарных исходов, F - ?-алгебра его подмножеств и P - вероятностная мера на F, называется вероятностным пространством.

Докажем свойства вероятности, вытекающие из аксиом. Ниже мы не будем всякий раз оговаривать, что имеем дело только с событиями.

Свойство 0. P(?) = 0.

B События Ai = ?, где i > 1, попарно несовместны, и их объединение есть также пустое множество. По аксиоме (P2),

P. Это возможно только в случае P(?) = 0.

Аксиома счётной аддитивности вероятности (P2) тем более верна для конечного набора попарно несовместных событий.

Свойство 1. Для любого конечного набора попарно несовместных событий A1, ..., An ? F имеет место равенство

P. i=1 i=1 B Положим Ai = ? при любом i > n. Вероятности этих событий, по свойству 0, равны нулю. События A1, ..., An, ?, ?, ?, ... попарно несовместны, и по аксиоме (P2),

P.

Сразу несколько следствий можно получить из этого свойства.

Свойство 2. Для любого события A выполнено: P(A) = 1 ? P(A).

B Поскольку A ? A = ?, и события A и A несовместны, из аксиомы

(P3) и свойства 1 получим P(A) + P(A) = P(?) = 1.

Свойство 3. Если A?B, то P(B \ A) = P(B) ? P(A).

B Представим B в виде объединения двух несовместных событий: B = = A ? (B \ A). По свойству 1, P(B) = P(A) + P(B \ A).

Сразу же заметим, что по аксиоме (P1) выражение в правой части равенства P(B) = P(A) + P(B \ A) больше либо равно P(A), что доказывает следующее свойство монотонности вероятности.

Свойство 4. Если A?B, то P(A) 6P(B).

Свойство 5. Для любого события A выполнено: 0 6P(A) 6 1. B P(A) > 0 по (P1). А так как A??, то P(A) 6P(?) = 1.

Свойство 6. Всегда P(A ? B) = P(A) + P(B) ? P(A ? B).

B Имеем A?B ?B, поэтому P(B\(A?B)) = P(B)?P(A?B) по свойству 3. Но A?B = A?(B \(A?B)), причём A и B \(A?B) несовместны. Снова пользуясь свойством 1, получим:

P(A?B) = P(A)+P(B \(A?B)) = P(A)+P(B)?P(A?B).

31 Из этого свойства и аксиомы (P1) следуют два полезных свойства.

Свойство 8 читатель докажет с помощью свойства 7. Свойство 7. Всегда P(A ? B) 6P(A) + P(B).

n Свойство 8. Совершенно всегда P.

Следующее свойство называют формулой включения и исключения. Она оказывается весьма полезной в случае, когда для вычисления вероятности некоторого события A нельзя разбить это событие на удобные попарно несовместные события, но удаётся разбить событие A на простые составляющие, которые, однако, совместны.

Свойство 9. Для любого конечного набора событий A1, ..., An имеет место равенство:

n P(A1 ? ... ? An) = XP(Ai) ? XP(AiAj) +

i=1 i ?. Решение. Пусть событие Ai, i = 1, ..., n, означает, что i-е письмо попало в свой конверт. Тогда

A = {хотя бы одно письмо попало в свой конверт} = A1 ? ... ? An.

Так как события A1, ..., An совместны, придётся использовать формулу (2). По классическому определению вероятности вычислим вероятности всех событий Ai и их пересечений. Элементарными исходами будут всевозможные перестановки (размещения) n писем по n конвертам. Их общее число есть |?| = n!, и событию Ai благоприятны (n?1)! из них, а именно любые перестановки всех писем, кроме i-го, лежащего в своём конверте. Поэтому P(Ai) = (n?1)!/n! = 1/n для всех i. Совершенно так же получим, что при любых i 6= j

P. Вероятность пересечения любых трёх событий равна

P. Аналогично посчитаем вероятности пересечений любого другого числа событий, в том числе P(A1 ...An) = 1/n!

Вычислим количество слагаемых в каждой сумме в формуле (2). Например, в сумме по 1 6 i ?

Упражнение. Выписать разложение e?1 в ряд Тейлора и убедиться в том, что P(A) ?> 1 ? e?1 при n > ?.

ГЛАВА 4

Условная вероятность, независимость

Здесь является вопрос, возбуждённый несколькими философами, относительно влияния прошлого на вероятность будущего.

П.Лаплас, Опыт философии теории вероятностей

§1. Условная вероятность

Пример 22. Игральная кость подбрасывается один раз. Известно, что выпало более трёх очков. Какова при этом вероятность того, что выпало чётное число очков?

Зная, что выпало более трёх очков, мы можем сузить множество всех возможных элементарных исходов до трёх одинаково вероятных исходов: ? = {4,5,6}, из которых событию A = {выпало чётное число очков} благоприятствуют ровно два: A = {4,6}. Поэтому P(A) = 2/3.

Посмотрим на вопрос с точки зрения первоначального эксперимента. Пространство элементарных исходов при одном подбрасывании кубика состоит из шести точек: ? = {1,2,3,4,5,6}. Слова "известно, что выпало более трёх очков" означают, что в эксперименте произошло событие B = = {4,5,6}. Слова "какова при этом вероятность того, что выпало чётное число очков?" означают, что нас интересует, в какой доле случаев при осуществлении B происходит и A. Вероятность события A, вычисленную в предположении, что нечто о результате эксперимента уже известно (событие B произошло), мы будем обозначать через P(A|B).

Мы хотим найти, какую часть составляют исходы, благоприятствующие A внутри B (т.е. одновременно A и B), среди исходов, благоприятствующих B.

P. Мы пришли к выражению, которое можно считать определением условной вероятности.

Определение 18. Условной вероятностью события A при условии, что произошло событие B, называется число

P(A ? B)

P(A|B) = . P(B)

Условная вероятность определена только в случае, когда P(B) > 0.

Это определение бывает полезно использовать не для вычисления условной вероятности, а для последовательного вычисления вероятности нескольким событиям случиться одновременно, если известны соответствующие условные вероятности. А именно, справедливы следующие "теоремы умножения вероятностей".

Теорема 6. Если P(B) > 0 и P(A) > 0, то

P(A ? B) = P(B)P(A|B) = P(A)P(B |A).

Теорема 7. Для любых событий A1, ..., An верно равенство:

P(A1 ...An) = P(A1)P(A2 |A1)P(A3 |A1A2) · ... · P(An |A1 ...An?1), если все участвующие в нём условные вероятности определены.

Упражнение. Доказать теорему 7 методом математической индукции.

Упражнение. Доказать, что все условные вероятности в теореме 7 определены тогда и только тогда, когда P(A1 ...An?1) > 0.

§2. Независимость

Определение 19. События A и B называются независимыми, если P(A ? B) = P(A)P(B).

Пример 23. 1. Точка с координатами ?, ? бросается наудачу в единичный квадрат со сторонами, параллельными осям координат. Доказать, что для любых x, y ? R события A = {? 0. Тогда события A и B независимы тогда и только тогда, когда P(A|B) = P(A).

Если P(A) > 0, то события A и B независимы тогда и только тогда, когда P(B |A) = P(B).

Упражнение. Доказать, пользуясь определением условной вероятности.

Свойство 5. Пусть события A и B несовместны. Тогда независимыми они будут только в том случае, если P(A) = 0 или P(B) = 0.

Это свойство (а вы его доказали?) означает, что в невырожденном случае (когда вероятности событий положительны) несовместные события не могут быть независимыми. Зависимость между ними - просто

причинно-следственная: если A ? B = ?, то A?B, т.е. при выполнении A событие B не происходит. Это свойство можно сформулировать иначе: в невырожденном случае независимые события просто обязаны пересекаться, т.е. быть совместными.

Упражнение. Доказать с помощью свойства монотонности вероятности, что событие A, вероятность которого равна нулю или единице, не зависит ни от какого события B, в том числе и от самого себя.

Свойство 6. Если события A и B независимы, то независимы и со-

бытия A и B, A и B, A и B.

Доказательство. Так как A = (A ? B) ? (A ? B), и события A ? B и

A ? B несовместны, то P(A) = P(A ? B) + P(A ? B). Поэтому P(A ? B) = = P(A) ? P(A ? B) = P(A) ? P(A)P(B) = P(A)(1 ? P(B)) = P(A)P(B).

Вывести отсюда остальные утверждения.

Если у нас не два, а большее число событий, выполнение только одного равенства P(A1 ? ... ? An) = P(A1) · ... · P(An) вовсе не означает независимости этих событий. Например, при таком равенстве события A1 и A2 вполне могут оказаться зависимыми.

Пример 24. Пусть 0 0 для всех i и H1 ? H2 ? ... = ?, называется полной группой событий или разбиением пространства ?.

События H1,H2,..., образующие полную группу событий, часто называют гипотезами. При подходящем выборе гипотез для произвольного события A могут быть сравнительно просто вычислены P(A|Hi) (вероятность событию A произойти при выполнении "гипотезы" Hi) и собственно P(Hi) (вероятность выполнения "гипотезы" Hi). Как, используя эти данные, посчитать вероятность события A?

Теорема 8 (формула полной вероятности). Пусть дана полная группа событий H1, H2, ... Тогда вероятность любого события A может быть вычислена по формуле:

? P(A) = XP(Hi)P(A|Hi).

i=1 Доказательство. Заметим, что

, и события (A ? H1), (A ? H2), ... попарно несовместны. Поэтому

P. Во втором равенстве мы использовали ?-аддитивность вероятностной меры (а что это?), а в третьем - теорему 6 умножения вероятностей.

§4. Формула Байеса8

Теорема 9 (формула Байеса). Пусть H1,H2,... - полная группа событий, и A - некоторое событие, вероятность которого положительна. Тогда условная вероятность того, что имело место событие Hk, если в результате эксперимента наблюдалось событие A, может быть вычислена по формуле:

P. Доказательство. По определению условной вероятности,

P. P(A) PP(Hi)P(A|Hi)

i=1 Пример 27. Вернёмся к примеру 26. Изделие выбирается наудачу из всей произведённой продукции. Рассмотрим три гипотезы: Hi = = {изделие изготовлено i-м заводом}, i = 1,2,3. Вероятности этих событий даны: P(H1) = 0,25, P(H2) = 0,35, P(H3) = 0,4.

Пусть A = {изделие оказалось бракованным}. Даны также условные вероятности P(A|H1) = 0,05, P(A|H2) = 0,03, P(A|H3) = 0,04.

Убедитесь, что полученные нами в примере 26 вероятности совпадают с вероятностями, вычисленными по формуле полной вероятности и по фор-

муле Байеса.

Пример 28. Два стрелка подбрасывают монетку и выбирают, кто из них стреляет по мишени (одной пулей). Первый стрелок попадает по мишени с вероятностью 1, второй стрелок - с вероятностью 0,00001. Можно сделать два предположения об эксперименте: H1 = {стреляет 1-й стрелок} и H2 = {стреляет 2-й стрелок}. Априорные (a'priori - "до опыта") вероятности этих гипотез одинаковы: P(H1) = P(H2) = 1/2.

Рассмотрим событие A = {пуля попала в мишень}. Известно, что

P(A|H1) = 1, P(A|H2) = 0,00001.

Поэтому вероятность пуле попасть в мишень

P(A) = 1/2 · 1 + 1/2 · 0,00001.

Предположим, что событие A произошло. Какова теперь апостериорная (a'posteriori - "после опыта") вероятность каждой из гипотез Hi? Очевидно, что первая из этих гипотез много вероятнее второй (а именно, в 100000 раз). Действительно,

P, P. ГЛАВА 5

Схема Бернулли

На дне глубокого сосуда лежат спокойно n шаров. Поочередно их оттуда таскают двое дураков.

Сия работа им приятна, они таскают t минут, И, вынув шар, его обратно тотчас немедленно кладут.

Ввиду занятия такого, сколь вероятность велика,

Что первый был глупей второго, когда шаров он вынул k?

Фольклор, СПбГУ

§1. Распределение числа успехов в n испытаниях

Определение 22. Схемой Бернулли называется последовательность независимых в совокупности испытаний, в каждом из которых возможны лишь два исхода - "успех" и "неудача", при этом успех в одном испытании происходит с вероятностью p ? (0,1), а неудача - с вероятностью q = 1 ? p.

Под независимостью в совокупности испытаний понимается независимость в совокупности любых событий, относящихся к разным испытаниям. В испытаниях схемы Бернулли, когда с одним испытанием можно связать только два взаимоисключающих события, независимость в совокупности испытаний означает, что при любом n независимы в совокупности события A1 = {успех в первом испытании}, ..., An = {успех в n-ом испытании}. Эти события принадлежат одному и тому же пространству элементарных исходов, полученному декартовым произведением бесконечного числа двухэлементных множеств {у,н}:

? = {(a1, a2, ...) | ai ? {у,н}}.

Здесь буквами "у" и "н" обозначены успешный и неудачный результаты испытаний соответственно.

Обозначим через ?n число успехов, случившихся в n испытаниях схемы Бернулли. Эта величина может принимать целые значения от нуля до n в зависимости от результата n испытаний. Например, если все n испытаний завершились неудачей, то величина ?n равна нулю.

Теорема 10 (формула Бернулли). Для любого k = 0, 1, ..., n имеет место равенство:

P. Доказательство. Событие A = {?n = k} означает, что в n испытаниях схемы Бернулли произошло ровно k успехов. Рассмотрим один из благоприятствующих событию A элементарных исходов:

, k n?k

когда первые k испытаний завершились успехом, остальные неудачей. Поскольку испытания независимы, вероятность такого элементарного исхода равна pk(1 ? p)n?k. Другие благоприятствующие событию A элементарные исходы отличаются лишь расположением k успехов на n местах. Есть ровно Cnk способов расположить k успехов на n местах. Поэтому событие A состоит из Cnk элементарных исходов, вероятность каждого из которых также равна pk(1 ? p)n?k.

Определение 23. Набор чисел называется биномиальным распределением вероятностей.

§2. Номер первого успешного испытания

Рассмотрим схему Бернулли с вероятностью успеха p в одном испытании. Введём величину ? со значениями 1, 2, 3, ..., равную номеру первого успешного испытания.

Теорема 11. Вероятность того, что первый успех произойдёт в испытании с номером k ? N = {1,2,3,...}, равна P(? = k) = pqk?1.

Доказательство. Вероятность первым k?1 испытаниям завершиться неудачей, а последнему - успехом, равна

P(? = k) = P(н, ..., н, у) = pqk?1.

Определение 24. Набор чисел {pqk?1, k = 1, 2, 3, ...} называется геометрическим распределением вероятностей.

Геометрическое распределение вероятностей обладает интересным свойством, которое можно назвать свойством "нестарения".

Теорема 12. Пусть P(? = k) = pqk?1 для любого k ? N. Тогда для любых неотрицательных целых n и k имеет место равенство:

P(? > n + k | ? > n) = P(? > k).

Если, например, считать величину ? временем безотказной работы (измеряемым целым числом часов) некоторого устройства, то данному равенству можно придать следующее звучание: вероятность работающему устройству проработать ещё сколько-то часов не зависит от того момента, когда мы начали отсчёт времени, или от того, сколько уже работает устройство. Общепринятое название этого свойства - свойство "отсутствия последействия".

Доказательство. По определению условной вероятности,

P(? > n + k, ? > n) P(? > n + k)

P(? > n + k |? > n) = = . (7)

P(? > n) P(? > n)

Последнее равенство следует из того, что событие {? > n+k} влечёт событие {? > n}, поэтому пересечение этих событий есть {? > n + k}. Найдём для целого m > 0 вероятность P(? > m):

P. Можно получить P(? > m) и ещё проще: событие {? > m} означает в точности, что в схеме Бернулли первые m испытаний завершились "неудачами", т.е. его вероятность равна qm. Возвращаясь к (7), получим

P.

§3. Независимые испытания с несколькими исходами

Рассмотрим следующий пример, когда из двух очень похожих вопросов на один можно ответить, пользуясь формулой Бернулли, а для другого этой формулы оказывается недостаточно.

Пример 29. Игральная кость подбрасывается пятнадцать раз. Найти вероятности следующих событий: а) выпадет ровно десять троек; б) выпадет ровно десять троек и три единицы.

Решение. а) Есть пятнадцать испытаний схемы Бернулли с вероятностью успеха 1/6 (здесь успех - выпадение тройки). Вероятность десяти успехов в пятнадцати испытаниях равна

P . б) Здесь каждое испытание имеет три, а не два исхода: выпадение тройки, выпадение единицы, выпадение остальных граней. Воспользоваться формулой для числа успехов в схеме Бернулли не удаётся - перед нами уже не схема Бернулли.

Осталось изобрести формулу для подсчёта вероятности каждому исходу в нескольких независимых испытаниях выпасть нужное число раз, если в одном испытании возможно не два, а более исходов.

Пусть в одном испытании возможны m исходов: 1, 2, ..., m, и исход i в одном испытании случается с вероятностью pi, где p1 + ... + pm = 1.

Обозначим через P(n1, ..., nm) искомую вероятность того, что в n = = n1 + ... + nm независимых испытаниях исход 1 появился n1 раз, исход 2 - n2 раз, и т.д., исход m - nm раз.

Теорема 13. Для любого n и любых целых n1 > 0, ..., nm > 0 таких, что n1 + ... + nm = n, верна формула:

. Доказательство. Рассмотрим один элементарный исход, благоприятствующий выпадению n1 единиц, n2 двоек, ..., nm раз m-ок:

. Это результат n экспериментов, когда все нужные исходы появились в некотором заранее заданом порядке. Вероятность такого результата n независимых испытаний равна.

Остальные благоприятные исходы отличаются лишь расположением чисел 1, 2, ..., m на n местах. Число таких исходов равно числу способов расставить на n местах n1 единиц, n2 двоек, ..., nm чисел m, т.е.

.

Теперь мы можем вернуться к примеру 29(б) и выписать ответ: так как вероятности выпадения тройки и единицы равны по 1/6, а вероятность третьего исхода (выпали любые другие грани) равна 4/6, то вероятность получить десять троек, три единицы и ещё два других очка равна

. §4. Приближение гипергеометрического

распределения биномиальным

Рассмотрим урну, содержащую N шаров, из которых K шаров - белые, а оставшиеся N ? K шаров - чёрные. Из урны наудачу (без возвращения) выбираются n шаров. Вероятность PN,K(n, k) того, что будет выбрано ровно k белых и n ? k чёрных шаров, находится по формуле (см. определение 8 гипергеометрического распределения вероятностей):

. Если число шаров в урне очень велико, то извлечение одного, двух, трёх шаров почти не меняет пропорцию белых и чёрных шаров в урне, так что вероятности PN,K(n, k) не очень отличаются от вероятностей в процедуре выбора с возвращением:

P . Сформулируем и докажем нашу первую предельную теорему.

Теорема 14. Если N > ? и K > ? так, что K/N > p ? (0,1), то для любых фиксированных n и 0 6 k 6 n

. Доказательство. Перепишем PN,K(n, k) следующим образом:

. И в числителе, и в знаменателе дроби - произведение фиксированного числа n сомножителей, поэтому и дробь есть произведение n сомножителей. Каждый из первых k сомножителей имеет вид (K ?a)/(N ?b) при некоторых фиксированных a и b и стремится к p при K/N > p. Каждый из оставшихся n ? k сомножителей имеет вид (N ? K ? a)/(N ? b) и стремится к 1?p при K/N > p. Окончательно имеем

при §5. Теорема Пуассона9 для схемы Бернулли

Предположим, нам нужна вероятность получить не менее семи успехов в тысяче испытаний схемы Бернулли с вероятностью успеха 0,003. Вероятность этого события равна любому из следующих выражений, вычислить которые довольно сложно:

. Сформулируем теорему о приближённом вычислении вероятности какого-либо числа успехов в большом числе испытаний схемы Бернулли с маленькой вероятностью успеха. Термин "большое число" должен означать n > ?. Если при этом p = pn 6> 0, то, очевидно, вероятность получить любое конечное число успехов при растущем числе испытаний стремится к нулю. Необходимо чтобы вероятность успеха p = pn стремилась к нулю одновременно с ростом числа испытаний. Но от испытания к испытанию вероятность успеха меняться не может (см. определение схемы Бернулли). Поэтому нам придётся рассмотреть так называемую "схему серий": если испытание одно, то вероятность успеха в нём равна p1, если испытаний два, то вероятность успеха в каждом - p2, и т.д. Если испытаний n, то в каждом из них вероятность успеха равна pn. Вероятность успеха меняется не внутри одной серии испытаний, а от серии к серии, когда меняется общее число испытаний.

Теорема 15 (теорема Пуассона). Пусть n > ? и pn > 0 так, что npn > ? > 0. Тогда для любого k > 0 вероятность получить k успехов в n испытаниях схемы Бернулли с вероятностью успеха pn стремится к величине ?k e?? /k!:

. Доказательство. Положим ?n = n · pn > ? > 0. Тогда pn = ?n/n и

В соотношении (8) мы воспользовались тем, что и замечательным пределом (1 ? ?n/n)n > e??. Докажем последнее свойство:

. Определение 25. Набор чиселназывается распределением Пуассона с параметром ? > 0.

По теореме 15 можно приближённо посчитать вероятность получить не менее семи успехов в тысяче испытаний схемы Бернулли с вероятностью успеха 0,003, с вычисления которой мы начали. Поскольку n = 1000 "велико", а pn = 0,003 "мало", то, взяв ? = npn = 3, можно записать приближённое равенство

= табличное значение ?3(7) ? 0,034. (9)

Осталось решить, а достаточно ли n = 103 велико, а pn = 0,003 мало, чтобы заменить точную вероятность P(?n = k) на приближённое значение ?ke?? /k! Для этого нужно уметь оценивать разницу между этими двумя вероятностями.

Следующую очень полезную теорему мы, исключительно из экономии времени, доказывать не станем.

Теорема 16 (уточнённая теорема Пуассона). Пусть A - произвольное множество целых неотрицательных чисел, ?n - число успехов в n испытаниях схемы Бернулли с вероятностью успеха p, и пусть ? = np. Cправедливо неравенство:

. Таким образом, теорема 16 предоставляет нам возможность самим решать, достаточно ли n велико, а p мало, руководствуясь полученной величиной погрешности. Какова же погрешность в формуле (9)? Взяв A = = {0, 1, ..., 6}, имеем:

Можно утверждать, что искомая вероятность заключена в границах

(0,034 ? 0,009, 0,034 + 0,009) = (0,025, 0,043).

На самом деле можно уточнить оценку в теореме 16. Например, можно доказать, что погрешность даже меньше, чем min(p, np2). В нашем примере это втрое уменьшает оценку для погрешности - 0,003 вместо 0,009, уточняя границы для истинной вероятности: (0,031, 0,037).

ГЛАВА 6

Случайные величины и их распределения

Абстрагировать - это, по-видимому, значит переходить к сути дела. Это значит освобождаться от случайных черт и сосредотачивать внимание на особо важных свойствах.

M.Кац, Статистическая независимость в теории вероятностей, анализе и теории чисел

§1. Случайные величины

Мы уже видели, что для многих экспериментов нет никаких различий в подсчёте вероятностей событий, тогда как элементарные исходы в этих экспериментах очень различаются. Но нас и должны интересовать именно вероятности событий, а не структура пространства элементарных исходов. Поэтому пора во всех таких "похожих" экспериментах вместо самых разных элементарных исходов использовать, например, числа. Иначе говоря, каждому элементарному исходу поставить в соответствие некоторое вещественное число, и работать только с числами. Пусть задано вероятностное пространство h?,F,Pi.

Определение 26. Функция ? : ? > R называется случайной величиной, если для любого борелевского множества B ? B(R) множество ??1(B) является событием, т.е. принадлежит ?-алгебре F.

Множество ??1(B) = {? | ?(?) ? B}, состоящее из тех элементарных исходов ?, для которых ?(?) принадлежит B, называется полным прообразом множества B.

Замечание 10. Вообще, пусть функция f действует из множества X в множество Y , и заданы ?-алгебры F и G подмножеств X и Y соответственно. Функция f называется измеримой, если для любого множества B ? G его полный прообраз f?1(B) принадлежит F.

Замечание 11. Читатель, не желающий забивать себе голову абстракциями, связанными с ?-алгебрами событий и с измеримостью, может смело считать, что любое множество элементарных исходов есть событие, и, следовательно, случайная величина есть произвольная функция из ? в R. Неприятностей на практике это не влечёт, так что всё дальнейшее в этом параграфе можно пропустить.

Теперь, избавившись от нелюбопытных читателей, попробуем понять, зачем случайной величине нужна измеримость.

Если задана случайная величина ?, нам может потребоваться вычислить вероятности вида P(? = 5) = P{? | ?(?) = 5}, P(? ? [?3, 7]), P(? > 3,2), P(? R называется случайной величиной, если для любых вещественных a 1. Но F - ?-алгебра, поэтому

. Мы доказали, что A - ?-алгебра и содержит все интервалы на прямой. Но B(R) - наименьшая из ?-алгебр, содержащих все интервалы на прямой. Следовательно, A содержит все множества из B(R): B(R)?A.

Приведём примеры измеримых и неизмеримых функций.

Пример 30. Подбрасываем кубик. Пусть ? = {1, 2, 3, 4, 5, 6}, и две функции из ? в R заданы так: ?(?) = ?, ?(?) = ?2. Пока не задана ?-алгебра F, нельзя говорить об измеримости. Функция, измеримая относительно какой-то ?-алгебры F, может не быть таковой для другой F.

1. Если F есть множество всех подмножеств ?, то ? и ? являются случайными величинами, поскольку любое множество элементарных исходов принадлежит F, в том числе и {? | ?(?) ? B} или {? | ?(?) ? B}. Можно записать соответствие между значениями случайных величин ? и ? и вероятностями принимать эти значения в виде "таблицы распределения вероятностей" или, коротко, "таблицы распределения":

? 1 2 3 4 5 6 P 1

6 1 6 1

6 1 6 1 6 1 6

? 1 4 9 16 25 36 P 1

6 1 6 1 6 1 6 1

6 1 6 Здесь P.

2. Пусть ?-алгебра событий F состоит из четырёх множеств:

F, т.е. событием является, кроме достоверного и невозможного событий, выпадение чётного или нечётного числа очков. Убедимся, что при такой сравнительно бедной ?-алгебре ни ?, ни ? не являются случайными величинами, поскольку они неизмеримы. Возьмём, скажем, B = {4}. Видим, что {? | ?(?) = 4} = {4} 6? F и {? | ?(?) = 4} = {2} 6? F.

Упражнение.

а) Какие функции измеримы относительно F?

б) Доказать, что ? и ? не являются случайными величинами, если F = {?, ?}.

в) Доказать, что относительно тривиальной ?-алгебры измеримы только функции

вида ?(?) = c (постоянные).

Пример 31. Пусть ? = [0, 2?], F = B(R) ? [0, 2?] - сигма-алгебра борелевских подмножеств отрезка [0, 2?], P(·) = ?(·) - мера Лебега на F и A - неизмеримое множество Витали, построенное нами в примере 14.

Функция

( 1, если ? ? A,

?(?) = IA(?) = 0, если ? 6? A

не является случайной величиной, поскольку, например, прообраз единицы ??1({1}) = {? | ?(?) = 1} = A не принадлежит F. И вероятность для ? попасть в единицу P(? = 1) = ?(A) просто не существует.

Познакомимся с важным понятием - "распределение" случайной величины и опишем различные типы распределений случайных величин.

§2. Распределения случайных величин

Определение 28. Распределением случайной величины ? называется вероятностная мера µ(B) = P(? ? B) на множестве борелевских подмножеств R.

Можно представлять себе распределение случайной величины ? как соответствие между множествами B ? B(R) и вероятностями P(? ? B).

Распределения случайных величин суть основные объекты изучения в теории вероятностей. Мы не будем, как правило, интересоваться тем, из какого множества действует функция и каким именно элементарным исходам сопоставляет свои возможные значения. Нас будет интересовать лишь, с какой вероятностью эти значения принимаются. Приведём несколько примеров совершенно разных случайных величин, имеющих одно и то же распределение (одинаково распределённых).

Пример 32.

1. Один раз бросается правильная монета. Пространство ? состоит из двух элементарных исходов - герб и решка. В качестве ?-алгебры рассмотрим множество всех подмножеств ?. Вероятность зададим как в классической схеме. Построим две случайные величины ? и ? так: положим ?(?) = 1, если ? = герб, и ?(?) = 0, если ? = решка; ?(?) = 0, если ? = герб, и ?(?) = 1, если ? = решка.

Очевидно, что для любого множества B ?R вероятности принадлежать B для ? и ? одинаковы. Тем не менее ни для одного элементарного исхода ? значения ?(?) и ?(?) не совпадают. Т.е. ? и ? одинаково распределены, но не одинаковы как функции.

2. Точка наудачу бросается на отрезок [0, 1]. В этом случае ? есть отрезок [0, 1] с ?-алгеброй борелевских подмножеств [0, 1] и мерой Лебега в качестве вероятности. Предлагаю читателю убедиться, что две совершенно разные функции: ?(?) = ? и ?(?) = 1 ? ? (расстояния до упавшей точки от левого и от правого концов отрезка соответственно) обладают одинаковыми вероятностями принимать значения внутри любых борелевских множеств B. Вероятности эти равны мере Лебега пересечения множеств B и [0, 1]. Таким образом, эти случайные величины снова одинаково распределены, но не одинаковы: их значения совпадают лишь при одном элементарном исходе ? = 0,5 (нарисовать графики функций ?(?) и ?(?)).

3. На том же отрезке [0, 1] построим две функции: ?(?) = 0 при всех ?; ?(?) = 0 при всех ?, кроме ? = 0,5, а в точке ? = 0,5 положим ?(?) = ?17.

Поскольку мера Лебега точки (она же - вероятность) равна нулю, распределения величин ? и ? одинаковы. Теперь ?(?) и ?(?) снова не совпадают как функции, но отличаются их значения лишь на множестве нулевой вероятности - только в точке ? = 0,5. В этом случае говорят, что ? и ? совпадают "почти наверное": P(? = ?) = 1.

Опишем различные типы распределений случайных величин. Вся вероятностная масса может быть сосредоточена в нескольких точках прямой, может быть "размазана" по некоторому интервалу или по всей прямой. В зависимости от типа множества, на котором сосредоточена вся единичная вероятностная масса, распределения делят на дискретные, абсолютно непрерывные, сингулярные и их смеси.

Определение 29. Cлучайная величина ? имеет дискретное распределение, если существует конечный или счётный набор чисел {a1, a2, ...} такой, что

. Итак, случайная величина ? имеет дискретное распределение, если она принимает не более чем счётное число значений. Значения эти иначе называют атомами: ? имеет атом в точке x, если P(? = x) > 0.

Если случайная величина ? имеет дискретное распределение, то для лю-

бого B ?R

P(? ? B) = XP(? = ai).

ai?B Дискретное распределение удобно задавать следующей таблицей, в которой pi = P(? = ai):

? a1 a2 a3 ... P p1 p2 p3 ... Определение 30. Cлучайная величина ? имеет абсолютно непрерывное распределение, если существует неотрицательная функция f?(x) такая, что для любого борелевского множества B имеет место равенство:

P(? ? B) = Z f?(x)dx.

B Функцию f?(x) называют плотностью распределения величины ?.

Замечание 12. Интеграл выше есть интеграл Лебега, а не Римана. Вполне достаточно, если читатель, не знакомый с интегралом Лебега, будет представлять его себе просто как площадь под графиком подынтегральной функции над множеством B. При этом площадь над множеством B, имеющим нулевую меру Лебега, равна нулю. Заметим, что любая функция, отличающаяся от функции f?(x) лишь в конечном или счётном числе точек (или на множестве нулевой меры Лебега), будет являться плотностью того же распределения, так как интеграл не изменится от изменения подынтегральной функции на множестве меры нуль.

Теорема 17. Плотность распределения обладает свойствами:

(f1) f?(x) > 0 для любого x; (f2) Z f?(t)dt = 1. ?

?? Доказательство. (f1) выполнено по определению плотности, (f2) также следует из определения:

P(? ? R) = 1 = Z f?(x) dx.

R Эти два свойства полностью характеризуют класс плотностей:

Теорема 18. Если функция f обладает свойствами (f1) и (f2), то существует вероятностное пространство и случайная величина ? на нём, для которой f является плотностью распределения.

Доказательство. Пусть ? есть область, заключенная между осью абсцисс и графиком функции f. Площадь области ? равна единице по свойству (f2). Пусть F - множество борелевских подмножеств ?, а P - мера Лебега (площадь) на множествах из F. И пусть случайная величина ? есть абсцисса точки, наудачу брошенной в эту область. Тогда для любого B ? B(R) выполнено:

Здесь область DB есть криволинейная трапеция под графиком плотности, с основанием B. По определению, равенство (10) означает, что функция f является плотностью распределения случайной величины ?.

Свойство 7. Если случайная величина ? имеет абсолютно непрерывное распределение, то P(? = x) = 0 для любого x ? R.

Доказательство сразу следует из определения 30 и замечания 12, так как интеграл по области интегрирования, состоящей из одной точки, равен нулю.

Можно выделить ещё один особый класс распределений, сосредоточенных, в отличие от абсолютно непрерывных распределений, на множестве нулевой меры Лебега, но не имеющих, в отличие от дискретных, атома ни в одной точке этого множества.

Определение 31. Говорят, что случайная величина ? имеет сингулярное распределение, если существует борелевское множество B с нулевой лебеговой мерой ?(B) = 0 такое, что P(? ? B) = 1, но при этом P(? = x) = 0 для любой точки x ? B.

Можно отметить следующее свойство сингулярных распределений. Множество B, на котором сосредоточено всё распределение, не может состоять из конечного или счётного числа точек. Действительно, если B конечно или счётно, то P(? ? B) = PP(? = xi), где суммирование ведётся по всем xi ? B. Последняя сумма равна нулю как сумма счётного числа нулей, что противоречит предположению P(? ? B) = 1.

Таким образом, любое сингулярное распределение сосредоточено на несчётном множестве с нулевой мерой Лебега. Примером такого множества может служить канторовское совершенное множество, а примером такого распределения - лестница Кантора (выяснить, что это такое!).

Наконец, распределение может быть выпуклой линейной комбинацией дискретного, абсолютно непрерывного и сингулярного распределений.

Определение 32. Говорят, что случайная величина ? имеет смешанное распределение, если найдутся такие случайные величины ?1, ?2 и ?3 - с дискретным, абсолютно непрерывным и сингулярным распределениями соответственно (или такие три распределения), и числа p1, p2, p3 ? [0, 1), p1 + p2 + p3 = 1, что для любого B ? B(R) имеет место равенство:

P(? ? B) = p1P(?1 ? B) + p2P(?2 ? B) + p3P(?3 ? B).

По заданным на одном вероятностном пространстве случайным величинам ?1, ?2, ?3 и числам p1+p2+p3 = 1 можно построить случайную величину со смешанным распределением так: пусть ? - случайная величина с дискретным распределением на том же вероятностном пространстве такая, что P(? = k) = pk для k = 1, 2, 3, и при любом k и любом B ? B(R) события {? = k} и {?k ? B} независимы.

Построим случайную величину ? так: ?(?) = ?k(?), если ?(?) = k, где k = 1, 2, 3. Её распределение найдём по формуле полной вероятности:

P(? ? B) = P(?1 ? B, ? = 1) + P(?2 ? B, ? = 2) + P(?3 ? B, ? = 3).

В силу независимости событий под знаком каждой из вероятностей,

P(? ? B) = p1P(?1 ? B) + p2P(?2 ? B) + p3P(?3 ? B).

Никаких других видов распределений, кроме перечисленных выше, не существует (доказано Лебегом).

§3. Функция распределения

Описание распределения набором вероятностей P(? ? B) не очень удобно: слишком много существует борелевских множеств. Мы описали дискретные распределения таблицей распределения, абсолютно непрерывные - плотностью распределения. Попробуем поискать какой-нибудь универсальный способ описать любое возможное распределение.

Можно поставить вопрос иначе: распределение есть набор вероятностей попадания в любые борелевские множества на прямой. Нельзя ли обойтись знанием вероятностей попадания в какой-нибудь меньший набор множеств на прямой? Борелевская ?-алгебра B(R) порождается интервалами (равно как и лучами (??, x)), поэтому можно ограничиться только вероятностями попадания в такие лучи для всех x ? R. А уже с их помощью можно будет определить и вероятность попасть в любое борелевское множество.

Замечание 13. Можно с таким же успехом ограничиться набором вероятностей попадания в интервалы (??, x], или в (x, ?), или в [x, ?).

Определение 33. Функцией распределения случайной величины ? называется функция F? : R > [0, 1], при каждом x ? R равная вероятности случайной величине ? принимать значения, меньшие x:

F?(x) = P(? c. r

? 0 1 P 1 ? p p Распределение Бернулли. Говорят, что случайная величина ? имеет распределение Бернулли с параметром p, и пишут: ??= Bp, если ? принимает значения 1 и 0 с вероятностями p и 1?p соответственно. Случайная величина ? с таким распределением равна числу успехов в одном испытании схемы Бернулли с вероятностью успеха p: ни одного успеха или один успех. Таблица распределения ? имеет вид:.

1 1?p 6F?(x) b r - Функция распределения случайной величины ? такова: ? p b

??0, x 6 0; F?(x) = P(? 1. r p

0 1 x

Биномиальное распределение. Говорят, что случайная величина ? имеет биномиальное распределение с параметрами n ? N и p ? (0, 1), и пишут: ??= Bn,p, если ? принимает значения k = 0, 1, ..., n с вероятностями

P. Случайная величина с таким распределением имеет смысл числа успехов в n испытаниях схемы Бернулли с вероятностью успеха p. Таблица распределения ? имеет вид:

? 0 1 ... k ... n P (1 ? p)n np(1 ? p)n?1 ... ... pn .

Распределение Бернулли совпадает с распределением B1,p.

Геометрическое распределение. Говорят, что случайная величина ? имеет геометрическое распределение с параметром p ? (0, 1), и пишут ? ?= Gp, если ? принимает значения k = 1, 2, 3, ... с вероятностями P(? = k) = p(1?p)k?1. Случайная величина с таким распределением имеет смысл номера первого успешного испытания в схеме Бернулли с вероятностью успеха p. Таблица распределения ? имеет вид:

? 1 2 ... k ... P p p(1 ? p) ... p(1 ? p)k?1 ... .

Распределение Пуассона. Говорят, что случайная величина ? имеет распределение Пуассона с параметром ?, где ? > 0, и пишут: ??= ??, если

k ? принимает значения k = 0, 1, 2, ... с вероятностями P.

Таблицу распределения ? читатель может нарисовать самостоятельно.

Гипергеометрическое распределение. Говорят, что случайная величина ? имеет гипергеометрическое распределение с параметрами n, N и K, где K 6 N, n 6 N, если ? принимает целые значения k такие, что

0 6 k 6 K, 0 6 n?k 6 N?K, с вероятностями P.

Случайная величина с таким распределением имеет смысл числа белых шаров среди n шаров, выбранных наудачу и без возвращения из урны, содержащей K белых шаров и N ? K не белых.

Упражнение. Построить графики функций распределения для распределения Пуассона, биномиального и геометрического распределения.

§5. Примеры абсолютно непрерывных распределений

Равномерное распределение. Говорят, что ? имеет равномерное распределение на отрезке [a, b], и пишут: ??= Ua,b, если плотность распределения ? постоянна на отрезке [a, b] и равна нулю вне него:

f?(x)

, если x ? [a, b],

если x 6? [a, b].

b x Очевидно, что площадь под графиком этой функции равна единице и f?(x) > 0. Поэтому f?(x) является плотностью распределения.

Случайная величина ??= Ua,b имеет смысл координаты точки, выбранной наудачу на отрезке [a, b]. Вычислим по определению 30 функцию распределения случайной величины ?:

Получим следующую непрерывную функцию распределения:

если x b. a b x

Показательное распределение. Говорят, что ? имеет показательное (экспоненциальное) распределение с параметром ? > 0, и пишут: ??= E?, если ? имеет следующую плотность распределения:

( 0, если x 0.

Функция распределения случайной величины ? непрерывна:

( 0, если x 0.

Показательное распределение является единственным абсолютно непрерывным распределением, для которого выполнено свойство "нестарения" (и в этом смысле оно является непрерывным аналогом дискретного геометрического распределения).

Теорема 19. Пусть ??= E?. Тогда для любых x, y > 0

P(? > x + y | ? > x) = P(? > y). (11)

Упражнение. Доказатьтеорему 19.Доказатьдалее,чтоеслинеотрицательная случайная величина ? с абсолютно непрерывным распределением обладает свойством (11) при любых x, y > 0, то она имеет показательное распределение с некоторым параметром ?.

Нормальное распределение. Говорят, что ? имеет нормальное (гауссовское11) распределение с параметрами a и ?2, где a ? R, ? > 0, и пишут: ??= Na,?2, если ? имеет следующую плотность распределения:

Убедимся, что f?(x) является плотностью распределения. Так как f?(x) > 0 для всех x ? R, то свойство (f1) выполнено. Проверим (f2):

= где через I обозначен табличный интеграл (интеграл Пуассона12)

Z .

?? 11Johann Carl Friedrich Gauss (30.04.1777 - 23.02.1855, Germany) 12 Этот интеграл вычисляется так:

?Z? ?Z? ?Z??Z? Далее полярная замена переменных: x = r cos?, y = r sin?, dxdy = r dr d?, x2 + y2 = r2:

. Нормальное распределение N0,1 с параметрами a = 0 и ?2 = 1 называется стандартным нормальным распределением. Плотность стандартного нормального распределения равна.

Ввиду особой роли нормального распределения в теории вероятностей (мы ещё узнаем о ней) существует даже специальное обозначение ?a,?2(x) для функции распределения нормального закона Na,?2. Из курса математического анализа читателю известно, что первообразная функции e?x2 не может быть выражена через элементарные функции. Поэтому функцию ?a,?2(x) можно записать лишь в виде интеграла:

Функция ?0,1(x) табулирована, т.е. её значения при различных вещественных x вычислены. Их можно найти в соответствующих таблицах.

Гамма-распределение. Говорят, что ? имеет гамма-распределение с параметрами ? > 0, ? > 0, и пишут: ??= ??,?, если ? имеет следующую плотность распределения:

( 0, если x 6 0, f?(x) = c · x??1e??x, если x > 0,

где постоянная c вычисляется из свойства (f2) плотности так:

, откуда c = ?? /?(?). Здесь через ?(?) обозначен интеграл

, называемый гамма-функцией Эйлера10; ?(k) = (k ? 1)! при целых поло-v

жительных k, ?(1) = 1. Замена в интеграле Пуассона даст ?(1/2) = ?.

Полезно отметить, что показательное распределение есть частный случай гамма-распределения: E? = ??,1.

Упражнение. Нарисовать график плотности распределения ??,? при ? 1, отметить на этом графике точки экстремума, точки перегиба и иные особенности графика.

Функцию распределения гамма-распределения можно записать, вообще говоря, только в виде интеграла:

Но при целых значениях параметра ? интегрированием по частям этот интеграл можно превратить в сумму:

. (12)

Упражнение. Доказать первое из равенств (12) при целых значениях ?. Доказать следующее забавное равенство: F?(x) = P(?>?), где ??= ??x.

Распределение Коши. Говорят, что ? имеет распределение Коши11с параметрами a ? R, ? > 0, и пишут: ??= Ca,?, если ? имеет следующую плотность распределения:

для любого x ? R.

Плотность распределения Коши симметрична относительно прямой x = = a и похожа на плотность нормального распределения, но имеет более толстые "хвосты" на ±?. Функция распределения случайной величины ? с распределением Коши равна при всех x.

Распределение Парето. Говорят, что ? имеет распределение Парето12с параметром ? > 0, если ? имеет следующие плотность и функцию распре-

деления:

, если x > 1,, если x > 1, если x 0.

С другими абсолютно непрерывными распределениями (хи-квадрат Пирсона, распределениями Стьюдента, Фишера, Колмогорова, Лапласа)? мы познакомимся при изучении математической статистики. С распределениями Вейбулла, логарифмически нормальным и некоторыми другими читатель познакомится в дальнейших курсах.

§6. Свойства функций распределения

Общие свойства функций распределения. Функцией распределения случайной величины ? мы назвали функцию F?(x) = P(? ?? x>+?

(F3) она в любой точке непрерывна слева:

. Доказательство свойства (F1). Для любых чисел x1 ??

= 0, lim F?(x) = 1 и. Для этого в каждом случае x>+?

достаточно найти предел по какой-нибудь подпоследовательности {xn}, так как существование предела влечёт совпадение всех частичных пределов.

Докажем, что F?(?n) > 0 при n > ?. Рассмотрим вложенную убывающую последовательность событий Bn = {? 1.

Пересечение B всех этих событий состоит из тех и только тех ?, для которых ?(?) меньше любого вещественного числа. Но для любого элементарного исхода ? значение ?(?) вещественно, и не может быть меньше всех вещественных чисел. Иначе говоря, пересечение событий Bn не содержит элементарных исходов, т.е. B = TBn = ?. По свойству непрерывности меры, F?(?n) = P(Bn) > P(B) = 0 при n > ?.

Точно так же докажем остальные свойства.

Покажем, что F?(n) > 1 при n > ?, т.е. 1?F?(n) = P(? > n) > 0. Обозначим через Bn событие Bn = {?> n}. События Bn вложены:

для любых n > 1,

а пересечение B этих событий снова пусто - оно означает, что ? больше любого вещественного числа. По свойству непрерывности меры, 1?F?(n) =

= P(Bn) > P(B) = 0 при n > ?.

Доказательство свойства (F3). Достаточно доказать, что F?(x0 ? ? 1/n) > F?(x0) при n > ?. Иначе говоря, доказать сходимость к нулю следующей разности:

. Упражнение. Обозначьте событие {x0 ? 1/n 6 ? [0,1] удовлетворяет свойствам (F1)-(F3), то F есть функция распределения некоторой случайной величины ?, т.е. найдётся вероятностное пространство h?,F,Pi и случайная величина ? на нём такая, что F(x) ? F?(x).

Эту теорему мы доказывать не станем. Хотя её можно попробовать доказать конструктивно - предъявив то вероятностное пространство (проще всего отрезок ? = [0,1] с ?-алгеброй борелевских множеств и мерой Лебега) и ту случайную величину, о существовании которых идёт речь.

Упражнение. Непременно попробуйте сделать это! Например, можно попробовать, не подойдёт ли ?(?) = sup{x : F(x) 0

P(|?| 0 имеем:

P(|?| 3?) = 0,0027 (совсем мало).

Доказательство. Перейдём к противоположному событию:

P . Но величина ? = (? ? a)/? имеет стандартное нормальное распределение, и можно использовать свойство 11: 1 ? P(|?| R такова, что g(?) - случайная величина, то нужно уметь находить распределение g(?) по распределению ?. Эта проблема возникает, например, при моделировании случайных величин с заданным распределением. Датчик случайных чисел может генерировать лишь значения случайных величин с равномерным распределением. А если нам необходимы значения показательно распределённой случайной величины, нужно знать, какое преобразование применить, чтобы из равномерного распределения получить показательное.

§1. Измеримость функций от случайных величин

Вопрос об измеримости g(?) решает следующая теорема.

Теорема 22. Пусть ?- случайная величина, а g : R > R- борелевская (измеримая по Борелю) функция, т.е. такая, что для всякого борелевского множества B его прообраз g?1(B) есть снова борелевское множество. Тогда g(?) - случайная величина.

Доказательство. Проверим, что прообраз любого борелевского множества при отображении g(?) : ? > R является событием. Возьмём произвольное B ? B(R) и положим B1 = g?1(B). Множество B1 борелевское, так как функция g измерима по Борелю. Найдём (g(?))?1(B):

{? | g(?(?)) ? B} = {? | ?(?) ? g?1(B) = B1} = ??1(B1) ? F, поскольку B1 ? B(R) и ? - случайная величина.

Борелевскими являются все привычные нам функции. Функцией, неизмеримой по Борелю, будет, например, индикаторная функция неизмеримого множества Витали. Вообще говоря, неизмеримые функции суть объекты экзотические, в обычной жизни не встречающиеся.

§2. Распределения функций от случайных величин

Линейные и монотонные преобразования. Если ? имеет дискретное распределение, то для любой борелевской функции g величина g(?) также имеет дискретное распределение, и таблица её распределения находится просто по определению. Поэтому мы будем рассматривать преобразования случайных величин с абсолютно непрерывными распределениями.

Пусть случайная величина ? имеет функцию распределения F?(x) и плотность распределения f?(x). Построим с помощью борелевской функции g : R > R случайную величину ? = g(?). Требуется найти функцию распределения и, если существует, плотность распределения величины ?.

Замечание 16. Плотность распределения случайной величины ? = g(?) существует далеко не при любых функциях g. Так, если функция g кусочно-постоянна, то ? имеет дискретное распределение, и плотность её распределения не существует.

Упражнение. Привести пример плотности распределения случайной величины ? и непрерывной функции g таких, что ? = g(?) имеет:

а) дискретное распределение; б) невырожденное дискретное распределение.

Плотность распределения величины ? = g(?) заведомо существует, если, например, функция g (строго) монотонна. В общем случае мы не можем просто продифференцировать функцию распределения, поскольку не знаем, существует ли плотность. Следует доказать, что распределение абсолютно непрерывно. Но доказывая это, мы попутно найдём и плотность распределения. Действительно, у нас есть следующий путь доказательства абсолютной непрерывности распределения. Если, согласно равенству (14), можно для любого x представить функцию распределения величины ? в виде

x F?(x) = Z h(y) dy, где h(y) > 0,

?? то плотность распределения величины ? существует и равна подынтегральной функции: f?(x) = h(x). Другой путь - продифференцировать функцию распределения и убедиться, что производная является плотностью распределения, т.е. обладает свойствами (f1) и (f2).

Теорема 23. Пусть ? имеет функцию распределения F?(x) и плотность распределения f?(x), и постоянная a отлична от нуля. Тогда случайная величина ? = a? + b имеет плотность распределения

. Доказательство. Пусть сначала a > 0.

x?b /a

67 Сделаем замену переменной в последнем интеграле. Переменную t заменим на новую переменную y так: t = (y ? b)/a. Тогда dt = dy /a, верхняя граница области интегрирования t = (x ? b)/a перейдёт в y = x, нижняя t = ?? перейдёт в y = ??. Получим

Функция под интегралом - плотность распределения f?(y) случайной величины ? = a? + b при a > 0. Пусть теперь a R монотонна. Тогда случайная величина ? = g(?) имеет плотность распределения

. Здесь g?1 - функция, обратная к- её производная.

Упражнение. Доказать теорему 24.

Из теоремы 23 следуют уже знакомые нам утверждения:

Следствие 4. Если ? ?= N0,1, то ? = ?? + a ?= Na,?2.

Доказательство. Действительно,

. Следствие 5. Если ? ?= Na,?2, то (? ? a)/? ?= N0,1.

Следствие 6. Если ? ?= U0,1, то a? + b ?= Ub,a+b при a > 0.

Следствие 7. Если ? ?= E?, то ?? ?= E1.

Квантильное преобразование.

Теорема 25. Пусть функция распределения F(x) = F?(x) непрерывна. Тогда случайная величина ? = F(?) имеет равномерное на отрезке [0, 1] распределение.

Доказательство. Найдём функцию распределения случайной величины ?. Заметим, что всегда 0 6 ? 6 1. Предположим сначала, что функция F всюду возрастает. Тогда она обратима, и поэтому

?0, если x 6 0,

?? F?(x) = P(F(?) 1.

Но P, т.е. ??= U0,1.

Если функция F не является всюду возрастающей, то у неё есть участки постоянства. В этом случае просто обозначим через F?1(x) самую левую точку из замкнутого множества {t|F(t) = x} прообразов точки x ? (0, 1). При таком понимании "обратной" функции равенства (15) остаются справедливыми вместе с равенством Pдля любого x ? (0, 1).

Теорему 25 можно использовать для построения случайных величин с заданным распределением по равномерно распределённой случайной величине (например, по результату датчика случайных чисел). Следующее утверждение верно не только для непрерывных, но для любых функций распределения F. Обозначим через F?1(x) точную нижнюю грань множества тех t, для которых F(t) > x:

F?1(x) = inf{t|F(t) > x}.

Для непрерывной функции F это определение "обратной функции" совпадает с введённым в доказательстве теоремы 25.

Теорема 26. Пусть ? ?= U0,1, а F - произвольная функция распределения. Тогда случайная величина ? = F?1(?) ("квантильное преобразование" над ?) имеет функцию распределения F.

Следствие 8. Пусть ? ?= U0,1. Верны соотношения:

, . Упражнение. Доказать теорему 26 и следствие 8, а также продолжить список соотношений. Как получить случайную величину с распределением Парето? А с нормальным распределением? (Указание: так её никто не получает).

ГЛАВА 8

Многомерные распределения

Не следует множить сущности сверх необходимости.

Принцип "бритва У.Оккама"

§1. Совместное распределение

Пусть случайные величины ?1, ..., ?n заданы на одном вероятностном пространстве h?, F, Pi.

Определение 34. Функция

F?1,...,?n(x1, ..., xn) = P(?1 ??

ствует двойной предел.

(F3) Функция F?1,?2(x1, x2) по каждой координате вектора (x1, x2) непрерывна слева.

(F4) Чтобы по функции совместного распределения восстановить функции распределения ?1 и ?2 в отдельности, следует устремить мешающую переменную к +?: lim F?1,?2(x1, x2) = F?2(x2), lim F?1,?2(x1, x2) = F?1(x1). (16) x1>+? x2>+?

Доказательство всех этих свойств совершенно аналогично одномерному случаю. Но теперь свойств (F0)-(F3) не хватает для описания класса функций совместного распределения. Т.е. выполнение этих свойств для некоторой функции F : R2 > R не гарантирует, что эта функция является функцией распределения некоторого случайного вектора.

Упражнение. Доказать, что функция

( 0, если x1 6 0 или x2 6 0 или x1 + x2 6 1;

F(x1, x2) = 1, если одновременно x1 > 0, x2 > 0, x1 + x2 > 1.

удовлетворяет всем свойствам (F0)-(F3), но не является функцией распределения никакого вектора (?1, ?2) хотя бы потому, что, найдись такой вектор, найдётся и прямоугольник [a1, b1)?[a2, b2), "вероятность" попасть в который (вычисленная с помощью этой "функции распределения") отрицательна:

P(a1 6?1 0 для любых x1, x2 ? R;

(f2) Нормированность: ZZ f?1,?2(x1, x2)dx1 dx2 = 1.

R2 Справедливо и обратное: любая функция, обладающая этими свойствами, является плотностью некоторого совместного распределения. Доказательство этого факта ничем не отличается от одномерного случая.

По функции совместного распределения его плотность находится как смешанная частная производная:

для почти всех (x1, x2).

Из существования плотностей ?1 и ?2 не следует абсолютная непрерывность совместного распределения этих случайных величин. Например, вектор (?,?) принимает значения только на диагонали в R2 и уже поэтому не имеет плотности совместного распределения (его совместное распределение сингулярно). Обратное же свойство, как показывает следующая теорема, всегда верно: если совместное распределение абсолютно непрерывно, то и частные распределения тоже таковы.

Теорема 27. Если случайные величины ?1 и ?2 имеют абсолютно непрерывное совместное распределение с плотностью f(x1, x2), то ?1 и ?2 в отдельности также имеют абсолютно непрерывное распределение с плотностями:

? ? f?1(s1) = Z f(s1, s2)ds2; f?2(s2) = Z f(s1, s2)ds1.

?? ??

Для n > 2 плотности случайных величин ?1, ..., ?n по плотности их совместного распределения f(x1, ..., xn) находятся интегрированием функции f по всем "лишним" координатам.

Доказательство. Например, в силу равенств (16),

. Аналогично устанавливается и справедливость второго равенства.

§3. Примеры многомерных распределений

Приведём два наиболее употребительных примера абсолютно непрерывных многомерных распределений.

Равномерное распределение. Пусть S ?Rn - борелевское множество с конечной лебеговой мерой ?(S). Говорят, что вектор (?1, ..., ?n) имеет равномерное распределение в области S, если плотность совместного распределения f?1,...,?n(x1, ..., xn) постоянна в области S и равна нулю вне этой области:

, если (x1, ..., xn) ? S,

?1,...,?n 1 n (17)

?0, если (x1, ..., xn) 6? S.

Убедимся, что эта функция является плотностью распределения: Zn Z .

R S Как и в одномерном случае, вектор (?1, ..., ?n) с равномерным распределением в области S есть просто вектор координат точки, брошенной наудачу в область S.

Многомерное нормальное распределение. Пусть ? > 0 - положительно определённая симметричная матрица (n?n), матрица ??1 - обратная к ?, и~a ? Rn - n-мерный вектор-столбец. Транспонированный вектор мы будем обозначать так:~aT = (a1, ..., an).

Говорят, что вектор (?1, ..., ?n) имеет многомерное нормальное распределение N~a,? с вектором средних ~a и матрицей ковариаций ?, если плотность совместного распределения f?1,...,?n(x1, ..., xn) равна

. Мы не будем проверять, что эта функция является плотностью совместного распределения, поскольку для этого требуется умение заменять переменные в многомерном интеграле. Выражение (~x?~a)T??1(~x?~a) в показателе экспоненты является квадратичной формой от переменных (xi ? ai): действительно, для матрицы B = ??1 с элементами bij

. Подробно с многомерным нормальным распределением мы познакомимся в курсе математической статистики, и там же выясним, что означают слова "с вектором средних~a и матрицей ковариаций ?".

В частном случае, когда ? - диагональная матрица с элементами на диагонали, совместная плотность превращается в произведение плотностей нормальных случайных величин:

Скоро мы увидим, что это равенство означает независимость случайных величин ?1, ..., ?n.

§4. Роль совместного распределения

Если нам известно совместное распределение двух или нескольких случайных величин, становится возможным отыскать распределение суммы, разности, произведения, частного, иных функций от этих случайных величин. Заметим (но не будем доказывать), что применение к набору случайных величин многих привычных нам функций не выводит нас из класса случайных величин. Интересующийся читатель может попробовать доказать, например, что сумма двух случайных величин есть снова случайная величина.

Следующие два простых примера показывают, что знания только частных распределений двух случайных величин недостаточно для отыскания распределения, например, суммы этих величин. Для этого необходимо знать их совместное распределение. Распределение суммы (и любой иной функции) не определяется, вообще говоря, распределениями слагаемых: при одних и тех же распределениях слагаемых распределение суммы может быть разным в зависимости от совместного распределения слагаемых.

Пример 33. Рассмотрим две случайные величины ? и ? с одним и тем же распределением Бернулли с параметром p = 1/2 и следующей таблицей совместного распределения: для 0 6 r 6 1/2 положим

P(? = 0, ? = 0) = r, P

P P(? = 1, ? = 1) = r,

Если r = 0, то P(? + ? = 1) = P(? = 0, ? = 1) + P(? = 1, ? = 0) = 1,

т.е. распределение ? + ? вырождено в точке 1.

Если r = 1/2, то P(?+? = 0) = P(?+? = 2) = 1/2, т.е. ?+? имеет невырожденное дискретное распределение, принимая значения 0 и 2 с равными вероятностями.

Взяв r = 1/4, получим P(? + ? = 0) = 1/4, P(? + ? = 2) = 1/4 и P(? + +? = 1) = 1/2, т.е. ?+? имеет биномиальное распределение с параметрами 2 и 1/2.

Если взять r = 1/3, получим уже P(?+? = 0) = 1/3, P(?+? = 1) = 1/3 и P(? + ? = 2) = 1/3, т.е. ? + ? принимает значения 1, 2 и 3 с равными вероятностями (это н е биномиальное распределение).

Ещё раз отметим, что частные распределения ? и ? от r не зависят. Распределение суммы меняется вместе с совместным распределением ? и ? при неизменных частных распределениях величин ? и ?.

Пример 34. Пусть случайная величина ? имеет стандартное нормальное распределение.

Возьмём ? = ??. Тогда ? тоже имеет стандартное нормальное распределение, а сумма ? + ? = 0 имеет вырожденное распределение.

Возьмём теперь ? = ?. Тогда сумма ? + ? = 2? имеет уже не вырожденное, а нормальное распределение N0,4 (проверить!).

Распределение функции от нескольких случайных величин может определяться их частными распределениями, если, например, потребовать независимости этих случайных величин. В этом случае совместное распределение также полностью определяется частными распределениями (а именно, как их произведение).

§5. Независимость случайных величин

Определение 37. Случайные величины ?1, ..., ?n называют независимыми (в совокупности), если для любого набора борелевских множеств B1, ..., Bn ? B(R) имеет место равенство:

P(?1 ? B1, ..., ?n ? Bn) = P(?1 ? B1) · ... · P(?n ? Bn).

Определение 38. Случайные величины ?1, ..., ?n называют попарно независимыми, если независимы любые две из них.

Оба этих определения годятся не только для конечного набора случайных величин, но и для их бесконечной последовательности.

Замечание 17. Независимость случайных величин в совокупности влечёт попарную независимость. Достаточно в определении независимости в качестве нескольких борелевских множеств взять числовую прямую R.

Пример 35. Вспомним пример Бернштейна 25. Свяжем с событиями A, B и C случайные величины ?1, ?2 и ?3 - индикаторы этих событий. Например, ?1 = 1, если A произошло, и ?1 = 0, если A не произошло. Случайные величины ?1, ?2 и ?3 независимы попарно (проверить), но зависимы в совокупности:

P, P.

Попарная независимость случайных величин встречается редко. Поэтому всюду, где мы будем употреблять термин "независимы", будет подразумеваться независимость в совокупности.

Определение независимости можно сформулировать в терминах функций распределения:

Определение 39. Случайные величины ?1, ..., ?n независимы (в совокупности), если для любых x1, ..., xn имеет место равенство:

F?1,...,?n(x1, ..., xn) = F?1(x1) · ... · F?n(xn).

Для случайных величин с дискретным распределением эквивалентное определение независимости выглядит так:

Определение 40. Случайные величины ?1, ..., ?n с дискретным распределением независимы (в совокупности), если для любых чисел a1, ..., an имеет место равенство:

P(?1 = a1, ..., ?n = an) = P(?1 = a1) · ... · P(?n = an).

Упражнение. Доказать, что из независимости в смысле определения 37 следует независимость в смысле определения 39 (доказательство в обратную сторону см. в § 4 гл. 3 учебника А.А.Боровкова "Теория вероятностей").

Упражнение. Доказать, что для случайных величин с дискретным распределением определения 37 и 40 эквивалентны.

Для случайных величин с абсолютно непрерывным совместным распределением определение независимости можно сформулировать так:

Определение 41. Случайные величины ?1, ..., ?n с абсолютно непрерывным совместным распределением независимы (в совокупности), если плотность совместного распределения равна произведению плотностей случайных величин ?1, ..., ?n, т.е. для любых x1, ..., xn имеет место равенство: f?1,...,?n(x1, ..., xn) = f?1(x1) · ... · f?n(xn).

Замечание 18. Плотность распределения определяется с точностью до её значений на множестве нулевой лебеговой меры (распределение не меняется от изменения плотности на множестве нулевой меры). Поэтому равенство плотности совместного распределения и произведения плотностей можно понимать тоже как равенство "почти всюду".

Доказательство. Докажем эквивалентность определений 39 и 41. По теореме 27, если совместное распределение ?1, ..., ?n абсолютно непрерывно, то и в отдельности ?1, ..., ?n также имеют абсолютно непрерывные распределения. Пусть случайные величины ?1, ..., ?n независимы в смысле определения 39, т.е. для любых x1, ..., xn

F?1,...,?n(x1, ..., xn) = F?1(x1) · ... · F?n(xn).

Но функция совместного распределения равна

, а произведение функций распределения записывается произведением интегралов, или одним n-мерным интегралом:

F?1(x1) · ... · F?n(xn) = Z1f?1(s1)ds1 · ... · Z f?n(sn)dsn = x xn

?? ??

= Z1 ... Z f?1(s1) ... f?n(sn) ds1 ... dsn = I2. x xn

?? ?? Равенство интегралов I1 = I2 при всех значениях x1, ..., xn влечёт, после дифференцирования по x1, ..., xn, равенство подынтегральных выражений почти всюду (дифференцировать можно почти всюду), т.е. независимость в смысле определения 41. Для доказательства в обратную сторону можно использовать те же равенства, но в обратном порядке.

§6. Функции от двух случайных величин

Пусть ?1 и ?2 - случайные величины с плотностью совместного распределения f?1,?2(x1, x2), и задана борелевская функция g : R2 > R. Требуется найти функцию (а если существует, то и плотность) распределения случайной величины ? = g(?1,?2).

Пользуясь тем, что вероятность случайному вектору попасть в некоторую область можно вычислить как объем под графиком плотности распределения вектора над этой областью, сформулируем утверждение.

Теорема 28. Пусть x ? R, и область Dx ?R2 состоит из точек (x1, x2) таких, что g(x1, x2) 0.

Тогда по формуле свёртки плотность суммы Sk = ?1 + ... + ?k равна

Так как f?k(x ? u) = 0 при x ? u x, то плотность под интегралом отлична от нуля, только если переменная интегрирования изменяется в пределах 0 6 u 6 x при x > 0. При x 6 0 подынтегральная функция, а вместе с ней и плотность fSk(x), равна нулю. При x > 0 имеем:

. Поэтому Sk ?= ??,k, что и требовалось доказать.

Пример 37. Равномерное распределение не является устойчивым относительно суммирования. Найдём функцию и плотность распределения суммы двух независимых случайных величин с одинаковым равномерным на отрезке [0, 1] распределением, но не по формуле свёртки, а используя геометрическую вероятность.

Пусть ?1, ?2 ?= U0,1 - независимые случайные величины. Пару (?1, ?2) можно считать координатой точки, брошенной наудачу в единичный квадрат. Тогда F?1+?2(x) = P(?1 + ?2 R

?Pg(ak)P(? = ak), если распределение ? дискретно;

? Eg(?) = если распределение ? абсолютно непрерывно.

Доказательство. Мы докажем это свойство (как и почти все дальнейшие) только для дискретного распределения. Пусть g(?) принимает значения c1, c2, ... с вероятностями

P(g(?) = cm) = X P(? = ak).

k:g(ak)=cm Тогда

Eg(?) = XcmP(g(?) = cm) = Xcm X P(? = ak) =

m m k:g(ak)=cm = X X g(ak)P(? = ak) = Xg(ak)P(? = ak).

m k:g(ak)=cm k Следствие 10. Математическое ожидание ? существует тогда и только тогда, когда E|?| R можно доказать свойство, аналогичное (E1) (сделать это). Воспользуемся этим свойством для g(x, y) = x + y:

E(? + ?) = X(xk + yn)P(? = xk, ? = yn) =

k,n = Xxk XP(? = xk, ? = yn) + Xyn XP(? = xk, ? = yn) =

k n n k = Xxk P(? = xk) + Xyn P(? = yn) = E? + E?.

k n E5. Если ?> 0 п.н., т.е. если P(?> 0) = 1, то E?> 0.

Упражнение. Доказать для дискретного и для абсолютно непрерывного распределений.

Замечание 19. Сокращение "п.н." читается как "почти наверное" и означает "с вероятностью 1". По определению, математическое ожидание - это числовая характеристика распределения. Распределение же не изменится от изменения случайной величины на множестве нулевой вероятности. Поэтому, например, даже если ?(?) > 0 не при всех ?, а на множестве единичной вероятности, математическое ожидание ? всё равно неотрицательно.

E6. Если ?> 0 п.н., и при этом E? = 0, то ? = 0 п.н., т.е. P(? = 0) = 1.

Доказательство. Это свойство мы докажем, заранее предполагая, что ? имеет дискретное распределение с неотрицательными значениями ai > 0. Равенство E? = Paipi = 0 означает, что все слагаемые в этой сумме равны нулю, т.е. все вероятности pi нулевые, кроме вероятности, соответствующей значению ai = 0.

Из свойств (E5) и (E6) вытекает множество полезных утверждений:

Следствие 11. Если ?6? п.н., то E?6E?.

Следствие 12. Если ?6? п.н., но E? = E?, то ? = ? п.н.

Следствие 13. Если a 6?6 b п.н., то a 6E?6 b.

E7. Математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий: если ? и ? независимы и их математические ожидания существуют, то E(??) = E?E?.

Доказательство. В дискретном случае:

E(??) = X(xk yn)P(? = xk, ? = yn) =

k,n = Xxk P(? = xk) Xyn P(? = yn) = E?E?.

k n Замечание 20. Обратное утверждение к свойству (E7) неверно: из равенства E(??) = E?E? не следует независимость величин ? и ?.

Пример 40. Пусть ? принимает значения 0 и ±1 с вероятностями по 1/3 каждое, и ? = ?2. Это зависимые случайные величины:

P. Однако E? = 0 и E(??) = E(?3) = 0, поэтому E(??) = E?E?.

Пример 41. Пусть ??= U0,2?, и пусть ? = cos? и ? = sin? - заведомо зависимые случайные величины (доказать). Но математическое ожидание их произведения равно произведению их математических ожиданий из-за симметричности распределений ?, ? и ?? относительно нуля. Действительно, по свойству (E1) имеем:

Z 2? 2? E, E Z ,

2? E Z . §3. Дисперсия и моменты старших порядков

Определение 44. Пусть E|?|k 0 случайной величины ?, то существуют и её моменты порядка s, 0 1, и |x|s 6 1 при |x| 6 1. Из этого неравенства следует, что |?(?)|s 6 |?(?)|t + 1 для всех ?. Но следствие 11 позволяет из неравенства для случайных величин получить такое же неравенство для их математических ожиданий:

E|?|s 6E|?|t + 1.

Момент порядка t существует, т.е. E|?|t R выпукла ("выпукла вниз", т.е. её надграфик есть выпуклое множество). Тогда для любой случайной величины ? с конечным первым моментом верно неравенство: Eg(?) > g(E?).

Доказательство. Нам понадобится следующее свойство.

Лемма 8. Пусть функция g выпукла. Тогда для всякого y найдётся число c(y) такое, что при всех x

g(x) > g(y) + c(y)(x ? y).

Это свойство очевидно и означает, что график выпуклой функции лежит полностью выше любой из касательных к этому графику.

Возьмём в условиях леммы y = E?, x = ?. Тогда

g(?) > g(E?) + c(E?)(? ? E?).

Вычислим математическое ожидание обеих частей неравенства. Так как E(? ? E?) = 0, и неравенство между математическими ожиданиями сохраняется по следствию 11, то Eg(?) > g(E?).

Следующее неравенство связывает моменты разных порядков.

Следствие 14. Если E|?|t 0. Дисперсия обращается в нуль лишь для вырожденного распределения: если D? = 0, то ? = const п.н., и наоборот.

Доказательство. Дисперсия есть математическое ожидание почти наверное неотрицательной случайной величины (? ? E?)2, и неотрицательность дисперсии следует из свойства (E5).

По свойству (E6), если D? = 0, то (? ? E?)2 = 0 п.н., т.е. ? = E? п.н. И наоборот: если ? = c п.н., то D? = E(c ? Ec)2 = 0.

D4. Дисперсия не зависит от сдвига случайной величины на постоянную: D(? + c) = D?.

Упражнение. Доказать.

D5. Если ? и ? независимы, то D(? + ?) = D? + D?. Доказательство. Действительно,

D(? + ?) = E(? + ?)2 ? (E(? + ?))2 =

= E?2 + E?2 + 2E(??) ? (E?)2 ? (E?)2 ? 2E?E? = D? + D?,

так как математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий.

Замечание 21. См. замечание 20.

Следствие 15. Если ? и ? независимы, то

D(? ? ?) = D(? + ?) = D? + D?.

Доказательство. Из свойств (D5) и (D2) получим:

D(? ? ?) = D(? + (??)) = D? + D(??) = D? + (?1)2D? = D? + D?.

Следствие 16. Для произвольных случайных величин ? и ? с конечными вторыми моментами имеет место равенство:

D. D6. Минимум среднеквадратического отклонения случайной величины ? от точек вещественной прямой есть среднеквадратическое отклонение ? от своего математического ожидания: D? = E(? ? E?)2 = minE(? ? a)2.

a Доказательство. Сравним величину E(? ? a)2 с дисперсией: E

, и последнее неравенство превращается в равенство лишь при a = E?.

§5. Математические ожидания и дисперсии стандартных распределений

Пример 44 (вырожденное распределение Ic). Математическое ожидание и дисперсию этого распределения мы знаем из свойств (E2) и (D3): Ec = c, Dc = 0.

Пример 45 (распределение Бернулли Bp ). Вычислим два момента и дисперсию: E? = 1 · p + 0 · q = p; E?2 = 12 · p + 02 · q = p; D? = E?2 ? (E?)2 = p ? p2 = pq.

Пример 46 (биномиальное распределение Bn,p ). Используем свойство устойчивости биномиального распределения относительно суммирования - лемму 4 (стр. 79). Возьмём на каком-нибудь вероятностном пространстве n независимых случайных величин ?1, ..., ?n с распределением Бернулли Bp = B1,p. Тогда их сумма Sn = ?1 + ... + ?n имеет распределение Bn,p, и по свойству (E4) имеем:

E А поскольку ?i независимы, и дисперсия каждой равна pq, то

n DSn = XD?i = nD?1 = npq.

i=1 Итак, E? = np, D? = npq для ??= Bn,p.

Пример 47 (геометрическое распределение Gp). Вычислим математическое ожидание ?:

E . Вычислим так называемый "второй факториальный момент" ?:

E Найдём дисперсию через второй факториальный момент:

D . Пример 48 (распределение Пуассона ??). Вычислим математическое ожидание ?:

E Моменты более высоких порядков легко находятся через факториальные моменты E?[m] = E?(? ? 1)...(? ? m + 1) порядка m. Так, второй факториальный момент ? равен

E . Поэтому E?2 = E?(? ? 1) + E? = ?2 + ? и D? = E?2 ? (E?)2 = ?.

Пример 49 (равномерное распределение Ua,b). Вычислим первые два момента:

? b E; E. Дисперсия равна D? = E?2 ? (E?)2 = (b ? a)2/12.

Пример 50 (стандартное нормальное распределение N0,1). Математическое ожидание этого распределения существует в силу конечности E|?|:

E. Математическое ожидание ? равно

? ? E, так как под сходящимся интегралом стоит нечётная функция. Далее,

E Поэтому D? = E?2 ? (E?)2 = 1 ? 0 = 1.

Пример 51 (нормальное распределение Na,?2). Если ? ?= Na,?2, то ? = (? ? a)/? ?= N0,1. Мы только что вычислили E? = 0, D? = 1.

Тогда (над каждым равенством подписать, каким свойствам оно обязано)

E? = E(?? + a) = ?E? + a = a; D? = D(?? + a) = ?2D? = ?2.

Пример 52 (показательное распределение E?). Найдём для произвольного k ? N момент порядка k.

E. В последнем равенстве мы воспользовались гамма-функцией Эйлера:

! Тогда E, E, D.

Пример 53 (стандартное распределение Коши C0,1). Математическое ожидание распределения Коши не существует, так как расходится интеграл

E. Расходится он из-за того, что подынтегральная функция ведёт себя на бесконечности как 1/x. Поэтому не существуют ни дисперсия, ни моменты более высоких порядков этого распределения. То же самое можно сказать про распределение Коши Ca,?.

Пример 54 (распределение Парето). У распределения Парето существуют только моменты порядка t 0.

Упражнение. Посчитать момент порядка t 0, и некоррелированы, если ?(?, ?) = 0.

Смысл знака ?(?, ?) хорошо виден в случае ?(?, ?) = ±1. Тогда знак ? равен знаку a в равенстве ? = a? + b п.н. Так, ?(?, ?) = 1 означает, что чем больше ?, тем больше и ?. Напротив, ?(?, ?) = ?1 означает, что чем больше ?, тем меньше ?. Похожим образом можно трактовать знак коэффициента корреляции и в случае, когда |?(?, ?)| ?, и пишут: ?n > ? п.н., если P{? : ?n(?) > ?(?) при n > ?} = 1. Иначе говоря, если ?n(?) > ?(?) при n > ? для всех ? ? ?, кроме, возможно, ? ? A, где A - событие, имеющее нулевую вероятность.

Заметим сразу: определение сходимости "почти наверное" требует знания того, как устроены отображения ? 7> ?n(?). В задачах же теории вероятностей, как правило, известны не сами случайные величины, а лишь их распределения.

Можем ли мы, обладая только информацией о распределениях, говорить о какой-либо сходимости последовательности случайных величин {?n} к случайной величине ??

Можно, например, потребовать, чтобы вероятность тех элементарных исходов ?, для которых ?n(?) не попадает в "?-окрестность" числа ?(?), уменьшалась до нуля с ростом n. Такая сходимость в функциональном анализе называется сходимостью "по мере", а в теории вероятностей - сходимостью "по вероятности".

Определение 50. Говорят, что последовательность случайных величин {?n} сходится п о в е р о я т н о с т и к случайной величине ? при

p n > ?, и пишут: ?n ?> ?, если для любого ? > 0

P(|?n ? ?| > ?) > 0 при n > ? (или P(|?n ? ?| 1 при n > ?).

Пример 60. Рассмотрим последовательность ?1, ?2, ..., в которой все величины имеют разные распределения: величина ?n принимает значения

0 и n7 с вероятностями P . Докажем, что эта последовательность сходится по вероятности к нулю.

Зафиксируем произвольное ? > 0. Для всех n, начиная с некоторого n0 такого, что , верно равенство P(?n > ?) = P(?n = n7) = 1/n.

Поэтому

P при n > ?.

Итак, случайные величины ?n с ростом n могут принимать всё большие и? большие значения, но со всё меньшей и меньшей вероятностью.?

Например, последовательность {?n} можно задать на вероятностном пространстве h?, F, Pi = h[0, 1], B([0, 1]), ?i так:

А именно, положим ?n(?) = 0 для ? ? [0, 1 ? 1/n] и ?n(?) = n7 для ? ? (1 ? 1/n, 1]. Заметим, что сходимость по вероятности имеет место совершенно независимо от того, как именно заданы случайные величины на ?, поскольку определяется лишь их распределениями.

Замечание 24. Иное дело - сходимость "почти наверное". Если, скажем, задать случайные величины как показано на графиках, то сходимость "почти наверное" будет иметь место. Действительно, для всякого ? ? [0, 1) найдётся такое n0, что ? ? [0,1 ? 1/n0], и поэтому для всех n > n0 все ?n(?) равны нулю.

Можно попробовать задать случайные величины ?n на [0, 1] как-нибудь иначе, чтобы не было сходимости почти наверное. Для этого нужно заставить отрезок длины 1/n, на котором ?n(?) = n7, "бегать" по отрезку [0, 1], чтобы любая точка ? ? [0, 1] попадала внутрь этого отрезка бесконечное число раз, и, тем самым, для любого ? существовала подпоследовательность ?nk(?) > ?.

Однако заметим, что если вероятности P(?n = n7) сходятся к нулю достаточно быстро (например, равны 1/n2 - чтобы ряд из них сходился), то сходимость п.н. к нулю всегда имеет место (см. теорему 2 §1 гл.6 на стр. 134 учебника А.А.Боровкова "Теория вероятностей").

Сходимость по вероятности не обязательно сопровождается сходимо-

p

стью математических ожиданий или моментов других порядков: из ?n ?> ? не следует, что E?n > E?. Действительно, в примере 60 имеет место p 6 6> E? = 0. При этом вообще послесходимость ?n ?> ? = 0, но E?n = n довательность E?n неограниченно возрастает.

А если вместо значения n7 взять n (с той же вероятностью 1/n), то получим E?n = 1 6> E? = 0. Но теперь хотя бы предел у последовательности математических ожиданий конечен. v

Если же ?n принимает значенияv 0 и n с теми же вероятностями, что и

в примере 60, то E?n = 1/ n > E? = 0, но уже вторые моменты сходиться ко второму моменту ? не будут: E.

Сходимость по вероятности обладает обычными свойствами пределов числовых последовательностей - например, такими:

p p

Свойство 16. Если ?n ?> ? и ?n ?> ?, то:

p p 1. ?n + ?n ?> ? + ?; 2. ?n · ?n ?> ? · ?.

Доказательство. При первом прочтении его можно пропустить.

1. В доказательстве мы будем пользоваться свойством монотонности вероятности: если из события A следует событие B (A влечёт B), то вероятность A не превосходит вероятности B: если A?B, то P(A) 6P(B).

Остановимся и ответим на следующие "глупые вопросы". Верно ли, что: а) модуль суммы не превосходит суммы модулей?

б) если a > b и c > a, то c > b?

в) если a + b > 2, то хоть одно из чисел a, b больше единицы?

г) вероятность объединения событий не превосходит суммы их вероятностей?

д) вероятность пересечения событий не превосходит вероятности каждого?

Если на все вопросы вы ответили "да", можно двигаться дальше. Если не на все - ваш контрпример ошибочен. Если вы вообще не поняли, о чём это, лучше вернуться к началу курса.

Докажем, что для сходимости по вероятности предел суммы равен сумме пределов. Зафиксируем ? > 0. Требуется доказать, что P(|?n + ?n ? ? ? ?| > ?) > 0 при n > ?. Но (ср. с вопросами выше):

(а)

|?n + ?n ? ? ? ?| 6 |?n ? ?| + |?n ? ?|,

поэтому {|?n+?n????| > ?} ?(б) {|?n??|+|?n??| > ?} ?(в) {|?n??| > ?/2}?{|?n??| > ?/2}.

Тогда по свойству монотонности вероятности

P(|?n + ?n ? ? ? ?| > ?) 6 P |?n ? ?| > ?/2 или

(г) 6 P(|?n ? ?| > ?/2) + P(|?n ? ?| > ?/2) > 0

p p при n > ? в силу того, что ?n ?> ? и ?n ?> ?.

2. Для доказательства второго утверждения нам понадобится, кроме положительных ответов на "глупые вопросы" (а)-(д), следующее "хорошее свойство": для любой случайной величины ?, согласно свойству (F2) функций распределения, вероятность P(|?| > M) стремится к нулю при M > ?.

Представим |?n?n ? ??| как |(?n ? ?)(?n ? ?) + ?(?n ? ?) + ?(?n ? ?)|. Затем получим из (а) и монотонности вероятности, что

P(|?n?n ? ??| > ?) 6 P(|?n ? ?||?n ? ?| > ?/3) + P(|?||?n ? ?| > ?/3) + + P(|?||?n ? ?| > ?/3).

Подумайте, что делать с первым слагаемым в правой части, а мы пока рассмотрим второе слагаемое (третье ничем принципиально от второго не отличается). Обозначим через An = {|?||?n ? ?| > ?/3} событие под знаком второй вероятности. Зафиксируем некоторое M > 0 и разобьем событие An по полной группе событий

B = {|?| > M} и B = {|?| ?/3 и |?| ?/3. Получаем:

P. Осталось для любого фиксированного M > 0 устремить n к бесконечности, полу-

чив для верхнего предела оценку lim P(An) 6P(|?| > M), после чего мы можем

n>? устремить к бесконечности M, пользуясь "хорошим свойством".

Сходимость по вероятности, так же как и любая другая сходимость, не портится под действием непрерывной функции.

Свойство 17.

p p 1. Если ?n ?> ? и g(x) - непрерывная функция, то g(?n) ?> g(?).

p p 2. Если ?n ?> c и g(x) непрерывна в точке c, то g(?n) ?> g(c).

Доказательство. Простое доказательство первого утверждения можно предложить в двух случаях, которыми мы и ограничимся: если ? = c = = const (и тогда достаточно, чтобы g была непрерывна в точке c) или если функция g равномерно непрерывна (а что это значит?).

И в том, и в другом случае для любого ? > 0 найдётся такое ? > 0, что для любого ?, удовлетворяющего условию |?n(?) ? ?(?)| 0, вероятность первого события стремится к единице по определению сходимости по вероятности:

. Следовательно, вероятность второго события также стремится к единице.

Предлагаю поразмышлять над тем, как доказывать первую часть свойства 17 в общем случае.

Сходимость "почти наверное" сильнее сходимости по вероятности.

p Свойство 18. Если ?n > ? п.н., то ?n ?> ?.

Доказательство. При первом прочтении его можно пропустить. Ограничимся для простоты случаем, когда ?n(?) > ?(?) для любого ? ? ?.

Зафиксируем ? ? ?. По определению предела, ?n(?) > ?(?) при n > ?, если для всякого ? > 0 найдётся N = N(?,?) > 0 такое, что для всех n > N выполняется неравенство |?n(?) ? ?(?)| 1).

Итак, событие A = {n > N(?,?)} влечёт событие B = {|?n(?) ? ?(?)| ?

по свойству (F2) функций распределения. Тогда и P

стремится к единице. В силу произвольности выбора ?, это означает сходимость

p ?n ?> ?.

Осталось только проверить, является ли A = {n > N(?,?)} событием, т.е. является ли при каждом ? функция N(?,?) измеримым отображением из ? в N (случайной величиной). Для этого достаточно установить, что {N(?,?) = n}- событие. Имеем при n > 1:

? , поскольку |?k(?) ? ?(?)|- случайная величина. При n = 0 первый сомножитель {|?n(?)??(?)| > ?}просто отсутствует.Итак, {N(?,?) = n} ? F, чтои требовалось доказать.

Чтобы доказывать сходимость по вероятности, требуется уметь вычислять P(|?n ? ?| > ?) при больших n. Но для этого нужно знать распределение ?n, что не всегда возможно. Скажем, ?n может быть суммой (или ещё хуже!) нескольких других случайных величин, распределения которых не устойчивы по суммированию, и вычислить распределение их суммы по формуле свертки или как-то ещё будет слишком сложно.

Если бы мы имели неравенства, позволяющие оценить P(|?n ? ?| > ?) сверху чем-либо, что мы умеем устремлять к нулю и что проще вычисляется, то сходимость по вероятности мы получили бы по свойству зажатой последовательности: 0 6P(...) 6 ... > 0. Итак, неравенства Чебышёва14.

§2. Неравенства Чебышёва

Все неравенства в этом параграфе принято относить к одному классу "неравенств Чебышёва". Следующее неравенство часто называют собственно неравенством Чебышёва, хотя в такой форме оно появилось впервые, видимо, в работах Маркова15.

Теорема 32 (неравенство Маркова). Если E|?| 0

P . Доказательство. Нам потребуется следующее понятие.

Определение 51. Назовём индикатором события A случайную величину I(A), равную единице, если событие A произошло, и нулю, если A не произошло.

По определению, величина I(A) имеет распределение Бернулли с параметром p = P(I(A) = 1) = P(A), и её математическое ожидание равно вероятности успеха p = P(A). Индикаторы прямого и противоположного

событий связаны равенством I(A) + I(A) = 1. Поэтому

|?| = |?| · I(|?| x) > |?| · I(|?| > x) > x · I(|?| > x).

Тогда E. (21)

Осталось разделить обе части неравенства (21) на положительное x.

Следующее неравенство мы будем называть обобщённым неравенством Чебышёва.

Следствие 17 (обобщённое неравенство Чебышёва). Пусть функция g не убывает и неотрицательна на R. Если Eg(?) 0

P. Доказательство. Для x > 0 неравенство |? ? E?| > x равносильно неравенству (? ? E?)2 > x2, поэтому

P.

В качестве следствия получим так называемое "правило трёх сигм", которое означает, что вероятность случайной величине отличаться от своего математического ожидания более чем на три корня из дисперсии, мала. Разумеется, для каждого распределения величина этой вероятности своя: для нормального распределения, например, 0,0027 - см. свойство 12. Мы получим верную для всех распределений с конечной дисперсией оценку сверху для вероятности случайной величине отличаться от своего математического ожидания более чем на три корня из дисперсии.

Следствие 19. Если E?2 ?. (22)

Законами больших чисел принято называть утверждения о том, при каких условиях последовательность случайных величин удовлетворяет закону больших чисел.

Выясним сначала, когда выполнен ЗБЧ для последовательности независимых и одинаково распределённых случайных величин.

Теорема 33 (ЗБЧ Чебышёва). Для л ю б о й последовательности ?1, ?2, ... попарно независимых и одинаково распределённых случайных величин с конечным вторым моментом E имеет место сходимость:

. (23)

Заметим, что если величины одинаково распределены, то их математические ожидания одинаковы (и равны, например, E?1), поэтому свойство (22) можно записать в виде (23).

ЗБЧ утверждает, что среднее арифметическое большого числа случайных слагаемых "стабилизируется" с ростом этого числа. Как бы сильно каждая случайная величина не отклонялась от своего среднего значения, при суммировании эти отклонения "взаимно гасятся", так что среднее арифметическое приближается к постоянной величине.

В дальнейшем мы увидим, что требование конечности второго момента (или дисперсии) связано исключительно со способом доказательства, и что утверждение останется верным, если требовать существования только первого момента.

Доказательство. Обозначим через Sn = ?1 + ... + ?n сумму первых n случайных величин. Из линейности математического ожидания получим:

E. Пусть ? > 0. Воспользуемся неравенством Чебышёва (следствие 18):

D P

nD?1 D?1 = 2?2 = n?2 > 0 при n > ?, (24) n

так как D?1 0 при n > ?;

а) если DSn = o(n

б) если ?1, ?2, ... независимы и D?1 + ... + D?n = o(n2), т.е. если

D?1 + ... + D?n > 0 при n > ?; n2

в) если ?1, ?2, ... независимы, одинаково распределены и имеют

конечную дисперсию (ЗБЧ Чебышёва).

Теорема Маркова утверждает, что ЗБЧ выполнен, если дисперсия суммы n слагаемых растёт не слишком быстро с ростом n.

Сильная зависимость слагаемых приводит обычно к невыполнению ЗБЧ. Если, например, D?1 6= 0 и ?n ? ?1, то Sn = n?1, и свойство (23) не выполнено (убедиться в этом!). В этом случае не выполнено и условие (а) теоремы Маркова: DSn = D(n?1) = cn2. Для одинаково распределённых слагаемых дисперсия суммы ещё быстрее расти уже не может.

Следующее утверждение мы докажем чуть позже. Сравните его условия с условиями ЗБЧ Чебышёва.

Теорема 35 (ЗБЧ Хинчина20). Для любой последовательности ?1, ?2, ... независимых (в совокупности) и одинаково распределённых случайных величин с конечным п е р в ы м моментом E|?1| 0

P. Доказательство. Заметим, что ?n(A) есть сумма независимых, одинаково распределённых случайных величин, имеющих распределение Бернулли с параметром p = P(A) (индикаторов того, что в соответствующем испытании произошло A): ?n(A) = ?1 + ... + ?n, где

( 1, если A произошло в i-м испытании;

?i = Ii(A) = 0, если A не произошло в i-м испытании;

и E?1 = P(A) = p, D?1 = p(1?p). Осталось воспользоваться ЗБЧ в форме Чебышёва и неравенством (25).

§4. Примеры использования ЗБЧ Чебышёва

Пример 61. Монета подбрасывается 10000 раз. Оценим вероятность того, что частота выпадения герба отличается от 1/2 на 0,01 или более.

Пусть ?1,...,?n - независимые случайные величины, каждая из которых имеет распределение Бернулли с параметром p = 1/2 и равна единице, если при соответствующем подбрасывании выпал герб, и нулю иначе. Нужно оценить P, где - число выпадений герба. Поскольку D?1 = 1/2 · 1/2 = 1/4, искомая оценка сверху

20Александр Яковлевич Хинчин (19.07.1894 - 18.11.1959)

выглядит так:

P. Итак, неравенство Чебышёва позволяет заключить, что в среднем не более чем в четверти случаев при 10000 подбрасываниях монеты частота выпадения герба будет отличаться от 1/2 на одну сотую или больше. Мы увидим, насколько это грубая оценка, когда познакомимся с ц е н т р а л ь н о й п р е д е л ь н о й т е о р е м о й.

Пример 62. Пусть ?1,?2,... - случайные величины, дисперсии которых ограничены одной и той же постоянной C, а ковариации любых двух ?i и ?j (i 6= j), не являющихся соседними в последовательности, равны нулю.

Удовлетворяет ли эта последовательность ЗБЧ?

Воспользуемся подходящим неравенством в (24) и свойством 14:

P; Dcov(?i, ?j). (26)

Но при i F?(x) при n > ?.

Итак, слабая сходимость - это сходимость функций распределения во всех точках непрерывности предельной функции распределения.

Замечание 26. Необходимо заметить, что запись ?n ? ? удобна, но не всегда разумна: если "предельную" величину ? заменить на другую величину ? с тем же распределением, ничего не изменится: в том же смысле ?n ? ?. Поэтому слабая сходимость всё же не есть сходимость случайных величин, и ею нельзя оперировать как сходимостями п.н. и по вероятности, для которых предельная случайная величина единственна (с точностью до значений на множестве нулевой вероятности).

Поэтому в определении 53 часто говорят и пишут так: ?n слабо сходится к распределению F, т.е. ?n ? F, либо даже так: распределения ?n слабо сходятся к распределению F: F?n ? F.

Следующее свойство очевидно. Если нет - нужно вернуться к разделу 6 и вспомнить, что такое функция распределения.

Свойство 19. Если ?n ? ?, и функция распределения F? непрерывна в точках a и b, то P(?n ? (a, b)) > P(? ? (a, b)). Наоборот, если во всех точках a и b непрерывности функции распределения F? имеет место сходимость P(?n ? (a, b)) > P(? ? (a, b)), то ?n ? ?.

Вместо открытого интервала (a, b) можно взять [a, b], (a, b] или [a, b).

Следующее свойство уточняет отношения между сходимостями.

p Свойство 20. 1. Если ?n ?> ?, то ?n ? ?.

p 2. Если ?n ? c = const, то ?n ?> c.

Итак, сходимость по вероятности влечёт слабую сходимость. Обратное утверждение в общем случае смысла не имеет (см. замечание 26). Однако из слабой сходимости к постоянной вытекает сходимость по вероятности. Доказательство. Свойство (1) мы докажем чуть позже.

Докажем (2): слабая сходимость к постояннной влечёт сходимость по вероятности. Пусть ?n ? c, т.е.

; , x > c

при любом x, являющемся точкой непрерывности предельной функции Fc(x), т.е. при всех x 6= c.

Возьмём произвольное ? > 0 и докажем, что P(|?n ? c| 1:

P(?? P(c ? ?/2 6?n Fc(c + ?) ? Fc(c ? ?/2) = 1 ? 0 = 1,

поскольку в точках c+? и c??/2 функция Fc непрерывна, и, следовательно, имеет место сходимость последовательностей F?n(c + ?) к Fc(c + ?) = 1 и F?n(c ? ?/2) к Fc(c ? ?/2) = 0.

Осталось заметить, что P(|?n ? c| 1.

Следующее свойство приводит пример операций, которые можно применять к слабо сходящимся последовательностям - домножать их на последовательности, сходящиеся по вероятности к постоянным величинам.

Замечание 27. Желание написать "если ?n ? ? и ?n ? ?, то ?n +?n ? ?+?" сразу проходит, стоит перевести это "свойство" на язык функций распределения и задуматься - что такое "функция распределения суммы ? + ?", когда вместо них можно брать любые другие ?? и ?? с теми же распределениями, как угодно зависимые. Иное дело - когда одно из предельных распределений вырождено. Тогда функция распределения суммы или произведения определена однозначно.

p Свойство 21. 1. Если ?n ?> c = const и ?n ? ?, то ?n · ?n ? c?.

p 2. Если ?n ?> c = const и ?n ? ?, то ?n + ?n ? c + ?.

Доказательство. Нелюбознательный читатель может пропустить это доказательство, вернувшись к нему при втором прочтении.

Заметим вначале, что если ?n ? ?, то c?n ? c? и c + ?n ? c + ? (доказать). Поэтому достаточно доказать первое утверждение свойства 21 при c = 1, а второе утверждение - при c = 0.

Рассмотрим второе утверждение, оставив первое любознательному читателю.

p Пусть ?n ?> 0 и ?n ? ?. Докажем, что тогда ?n + ?n ? ?.

Пусть x0 - точка непрерывности функции распределения F?(x). Требуется доказать, что имеет место сходимость F?n+?n(x0) > F?(x0). Зафиксируем достаточно маленькое ? > 0 такое, что F?(x) непрерывна в точках x0 ± ?.

Cобытия H1 = {|?n| > ?} и H2 = {|?n| ?),

и последняя вероятность может быть выбором n сделана сколь угодно малой. Для P2, с одной стороны,

P2 = P(?n + ?n ?? и ?n + ?n P(? + ?n

> P(? + ?n ?) = P(?n ?).

Здесь первое неравенство объясняется включением

{? + ?n P(A) ? P(B).

Мы получили оценки снизу и сверху для P1 + P2, т.е. для F?n+?n(x0):

P(?n ?) 6 F?n+?n(x0) 6P(|?n| > ?) + P(?n ?) 6 F?n+?n(x0) 6P(|?n| > ?) + F?n(x0 + ?).

Устремляя n к бесконечности, и вспоминая, что x0±?- точки непрерывности функции распределения F?, получим

F?(x0 ? ?) 6 limF?n+?n(x0) 6 limF?n+?n(x0) 6 F?(x0 + ?). (27)

У любой функции распределения не более чем счётное множество точек разрыва. Поэтому можно выбрать такую уменьшающуюся до нуля последовательность ?, что в точках x0 ± ? функция распределения F? будет непрерывной, и, следовательно, останутся верны неравенства (27). Переходя к пределу по такой последовательности ? > 0 и помня, что x0 - точка непрерывности функции F?, получим, что нижний и верхний пределы F?n+?n(x0) при n > ? совпадают и равны F?(x0).

Доказательство утверждения (1) из свойства 20. В качестве простого следствия из только что доказанного второго утверждения свой-

p ства 21 покажем, что сходимость ?n ?> ? по вероятности влечёт слабую сходимость ?n ? ?.

Представим ?n в виде суммы ?n = (?n??)+?. Здесь последовательность ?n ? ? по вероятности стремится к нулю, а "последовательность" ? слабо сходится к ?. Поэтому их сумма слабо сходится к ?.

Получим ещё одно следствие из свойства 21. Для удобства ссылок назовём следующее утверждение "теоремой о двойном пределе".

Теорема 37. Пусть ?n ? ?, причём функция распределения случайной величины ? непрерывна всюду, и пусть xn > x0 ? [??,?] - числовая последовательность. Тогда F?n(xn) > F?(x0).

В формулировке теоремы мы, краткости ради, использовали запись F?(±?), которую следует понимать так: F?(??) = 0, F?(+?) = 1. Доказательство. Если x0 ? R, то утверждение теоремы сразу следует

p из свойства 21. Действительно, из xn > x0 следует, что xn ?> x0. К тому же ?n ? ?. Тогда утверждение (2) свойства 21 позволяет заключить, что ?n ? xn ? ? ? x0. Функция распределения F??x0(x) отличается от F?(x) лишь сдвигом и тоже непрерывна всюду, поэтому имеет место сходимость функций распределения в любой точке. В частности, в точке x = 0 имеет место сходимость при n > ?

F?n(xn) = P(?n?xn F??x0(0) = P(??x0 F?(??) = 0.

По определению, xn > ?? с ростом n, если для всякого M > 0 найдётся номер N такой, что для всех n > N выполнено неравенство: xn 6 ?M. В силу монотонности функций распределения, 0 6 F?n(xn) 6 F?n(?M). В точке ?M, как и в любой иной точке, имеет место сходимость функций распределения F?n(?M) > F?(?M). Выбором M величина F?(?M) может быть сделана сколь угодно близкой к нулю. Тем самым верхний предел последовательности F?n(xn) оказывается зажат между нулём и сколь угодно малой величиной, т.е. равняется нулю.

Случай x0 = +? проверяется аналогично.

Несколько содержательных примеров слабой сходимости мы рассмотрим в следующей главе. Но основной источник слабо сходящихся последовательностей и необычайно мощное и универсальное средство для асимптотического анализа распределений сумм независимых и одинаково распределённых случайных величин предоставляет нам центральная предельная теорема.

§3. Центральная предельная теорема

Мы будем называть следующее утверждение "ЦПТ Ляпунова17 ", но сформулируем и докажем теорему Ляпунова только в частном случае - для последовательности независимых и одинаково распределённых случайных величин. Как и ранее, через Sn обозначена сумма первых n случайных величин в последовательности: Sn = ?1 + ... + ?n.

Теорема 38 (ЦПТ Ляпунова). Пусть ?1,?2,... - независимые и одинаково распределённые случайные величины с конечной и ненулевой дисперсией: 0 ? имеет место сходи-

мость P; б) если ?- произвольная случайная величина со стандартным нормальным распределением, то

N0,D?1.

Замечание 28. Еще раз напомним, что функция распределения стандартного нормального закона ищется либо по соответствующей таблице в справочнике, либо с помощью какого-либо программного обеспечения, но никак не путем нахождения первообразной.

Мы докажем ЦПТ и ЗБЧ в форме Хинчина несколькими главами позднее. Нам потребуется для этого познакомиться с мощным математическим инструментом, который в математике обычно называют "преобразованиями Фурье", а в теории вероятностей - "характеристическими функциями".

§4. Предельная теорема Муавра - Лапласа

Получим в качестве следствия из ЦПТ предельную теорему Муавра18 - Лапласа19. Подобно ЗБЧ Бернулли, теорема Муавра - Лапласа имеет дело со схемой Бернулли.

Теорема 39 (предельная теорема Муавра - Лапласа). Пусть событие A может произойти в любом из n независимых испытаний с одной и той же вероятностью p и пусть ?n(A) - число осуществлений события A в n испытаниях. Тогда

при n > ?,

т.е. для любых вещественных x ?

P, но уже P.

Пример 64. Пусть ?1, ?2, ... - независимые и одинаково распределённые случайные величины с конечной и ненулевой дисперсией ?2 = D?1, Sn = ?1 + ··· + ?n - сумма первых n случайных величин. При каких c имеет или не имеет место сходимость

P)? Решение. Согласно ЗБЧ, последовательность Sn/n сходится по вероятности, а, следовательно, и слабо, к E?1.

Слабая сходимость означает, что последовательность функций распределения Fn(c) = P(Sn/n P(E?1 ?

lim;

n>? . Указание. Каждый из интегралов равен значению в некоторой точке функции распределения суммы независимых случайных величин с каким-то показательным распределением. Вспомнить, что такое гамма-распределение и "устойчивость относительно суммирования".

Пример 65. Пусть ?1, ?2, ... - последовательность независимых и одинаково распределённых случайных величин с конечной дисперсией

D?1 = ?2 > 0. Докажем, что для любых вещественных чисел a ?

Преобразуем событие под знаком вероятности:

P. v По ЦПТ последовательность (Sn ? nE?1)/(? n) слабо сходится к стандартному нормальному распределению. Предельная функция распределения всюду непрерывна, и можно применять теорему 37.

Если E?1 > 0, то стремятся к ??

с ростом n. Если E?1 +? и yn > +?. Если же E?1 = 0, то xn > 0 и yn > 0 при n > ?. По теореме 37,

P = 0,

поскольку при любой величине E?1 значения ?0,1(x) в точках limxn и limyn совпадают (либо оба равны нулю, либо оба равны единице, либо 1/2).

Упражнение. Верно ли утверждение данного примера, если ?2 = 0, т.е. если ?1 имеет вырожденное в точке c распределение? Рассмотрите отдельно случаи c = 0 и c 6= 0.

ГЛАВА 13

Характеристические функции

Я напрямик спросил, какую пользу можно извлечь от изучения его работ о покере. "Примерно такую же, как от чтения персидской поэзии",- ответил фон Нейман.

Д.Мак-Дональд, Игра называется бизнес

v В этой главе i = ?1 - мнимая единица, t - вещественная переменная, eit = cost + isint - формула Эйлера, E(? + i?) = E? + iE? - способ вычисления математического ожидания комплекснозначной случайной величины ? + i?, если математические ожидания её действительной (?) и мнимой (?) частей существуют.

Как всегда, модулем комплексного числа z = x + iy называется |z| =

= px2 + y2, так что .

Определение 54. Функция ??(t) = Eeit? вещественной переменной t называется характеристической функцией случайной величины ?.

§1. Примеры вычисления

Пример 66. Пусть случайная величина ? имеет распределение Бернулли с параметром p. Её характеристическая функция равна ??(t) = Eeit? = eit·0 P(? = 0) + eit·1 P(? = 1) = 1 ? p + peit.

Пример 67. Пусть случайная величина ? имеет биномиальное распределение с параметрами n и p. Её характеристическая функция равна

Последнее равенство есть бином Ньютона.

Пример 68. Пусть случайная величина ? имеет распределение Пуассона с параметром ?. Её характеристическая функция равна

. Пример 69. Пусть случайная величина ? имеет показательное распределение с параметром ? > 0. Её характеристическая функция равна

поскольку при x > +? модуль величины e?x(??it) = e??xeitx стремится к нулю: .

Пример 70. Пусть случайная величина ? имеет гамма-распределение с параметрами ? и ?. Её характеристическая функция равна

?Z ?Z

. Интеграл мы вычислили с помощью гамма-функции: замена y = x(? ? it)

даёт . Пример 71. Пусть случайная величина ? имеет стандартное нормальное распределение. Её характеристическая функция равна

При интегрировании мы выделили полный квадрат в показателе экспоненты и вспомнили, чему равен интеграл по R от функции

(а чему он равен?).

Самое время остановиться и спросить: "Ну и что? Зачем нам эти функции и какой от них прок?" Приглашаю читателя познакомиться с замечательными свойствами характеристических функций.

§2. Свойства характеристических функций (Ф1). Характеристическая функция всегда существует:

. Доказательство. Воспользуемся свойством D? > 0, равносильным неравенству E:

6 E.

(Ф2). По характеристической функции однозначно восстанавливается распределение (функция распределения, плотность или таблица распределения). Т.е. если две случайные величины имеют одинаковые характеристические функции, то и распределения этих величин совпадают.

Формулы, с помощью которых по характеристической функции восстанавливается распределение, в анализе называют формулами "обратного преобразования Фурье". Например, если модуль характеристической функции интегрируем на всей прямой, то у случайной величины есть плотность распределения, и она находится по формуле

Ни одна из формул обратного преобразования Фурье нам не понадобится.

(Ф3). Характеристическая функция случайной величины a + b? связана с характеристической функцией случайной величины ? равенством:

?a+b?(t) = Eeit(a+b?) = eitaEei(tb)? = eita ??(tb).

Пример 72. Вычислим характеристическую функцию случайной величины ?, имеющей нормальное распределение с параметрами a и ?2. Мы знаем, что у "стандартизованной" случайной величины ? = (??a)/? характеристическая функция равна ??(t) = e?t2/2. Тогда характеристическая функция величины ? = a + ?? равна

??(t) = ?a+??(t) = eita ??(t?) = eita e?(t?)2/2.

(Ф4). Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых: если случайные величины ? и ? независимы, то, по свойству (E7) математических ожиданий,

??+?(t) = Eeit(?+?) = Eeit?Eeit? = ??(t)??(t).

Замечание 30. Чтобы характеристическая функция суммы n случайных величин распадалась в произведение их характеристических функций, попарной независимости слагаемых не хватит. То же самое можно сказать про свойство (E7) математических ожиданий.

Замечательным свойством (Ф4) мы сразу же воспользуемся, как обещали, для доказательства леммы 5, утверждающей устойчивость нормального распределения относительно суммирования.

Доказательство леммы 5. Пусть независимы. Характеристическая функция суммы ? + ? равна

. Видим, что характеристическая функция суммы есть характеристическая функция нормального распределения с параметрами . Следовательно, по свойству (Ф2).

Доказательство лемм 3, 4, 7. Докажем свойства устойчивости по суммированию биномиального распределения, распределения Пуассона и гамма-распределения, используя характеристические функции из примеров 66- 70.

Для независимых случайных величин с распределениями Пуассона ?? и ?µ характеристическая функция суммы

равна характеристической функции распределения Пуассона ??+µ.

Для независимых случайных величин с биномиальными распределениями Bn,p и Bm,p характеристическая функция суммы

равна характеристической функции биномиального распределения с параметрами n + m и p.

Для n независимых (в совокупности) случайных величин с показательным распределением E? характеристическая функция суммы

равна характеристической функции гамма-распределения ??,n. (Ф5.) Пусть существует момент порядка k ? N случайной величины ?, т.е. E|?|k i характеристических функций со сходимостью в каждой точке. "Непрерывность" этого соответствия - в том, что пределу в одном классе относительно заданной в этом классе сходимости соответствует предел в другом классе относительно сходимости, заданной в этом другом классе.

Осталось воспользоваться теоремой о непрерывном соответствии и доказать ЗБЧ в форме Хинчина и ЦПТ.

§3. Доказательство ЗБЧ Хинчина

Пусть ?1, ?2, ... - последовательность независимых в совокупности и одинаково распределённых случайных величин с конечным первым моментом E|?1| ?a(t) = Eeita = eita.

Найдём характеристическую функцию случайной величины Sn/n. Пользуясь свойствами (Ф3) и (Ф4), получим

. Вспомним, что первый момент ?1 существует, поэтому свойство (Ф6) позволяет разложить ??1(t) в ряд Тейлора в окрестности нуля:

??1(t) = 1 + it E?1 + o(|t|) = 1 + ita + o(|t|).

В точке t/n, соответственно,

. При n > ?, пользуясь "замечательным пределом" , получим

, что и требовалось доказать. §4. Доказательство центральной предельной теоремы

Пусть ?1, ?2, ... - последовательность независимых в совокупности и одинаково распределённых случайных величин с конечной и ненулевой дисперсией. Обозначим через a математическое ожидание E?1 и через ?2 - дисперсию D?1. Требуется доказать, что

. Введём "стандартизованные" случайные величины ?i = (?i ? a)/? - независимые случайные величины с нулевыми математическими ожиданиями и единичными дисперсиями (проверить). Пусть Zn есть их суммаv Zn =

= ?1 + ··· + ?n = (Sn ? na)/?. Требуется доказать, чтоv Zn/ n ? N0,1.

Характеристическая функция величины Zn/ n равна

. (28) Характеристическую функцию случайной величины ?1 можно разложить в ряд Тейлора, в коэффициентах которого использовать известные моменты

E?1 = 0, E?21 = D?1 = 1. Получим

. v

Подставим это разложение, взятое в точке t/ n, в равенство (28) и устремим n к бесконечности. Ещё раз воспользуемся замечательным пределом.

при n > ?. В пределе получили характеристическую функцию стандартного нормального распределения. По теореме о непрерывном соответствии можно сделать вывод о слабой сходимости

. Попробуйте теперь сами:

Упражнение. Пусть при любом ? > 0 случайная величина ?? имеет распределение Пуассона с параметром ?. Используя теорему о непрерывном соответствии,v доказать, что случайные величины (?? ??)/ ? слабо сходятся к стандартному нормальному распределению при ? > ?. Характеристическая функция случайной величины ?? вычислена в примере 68.

Приложение

В этом разделе, который никогда не будет прочитан на лекциях, поскольку эта тема подробно разбирается на практических занятиях, мы поговорим о максимуме и минимуме из n случайных величин. Вдумчивый читатель уже догадался, что ничего общего с клубом "Максимин" ЭФ НГУ эта тема не имеет. Нам необходимо уметь обращаться с минимумом и максимумом из нескольких случайных величин хотя бы потому, что при изучении математической статистики мы не раз о них вспомним.

Пусть случайные величины ?1, ?2, ... независимы в совокупности и одинаково распределены, F?1(x) - их общая функция распределения.

Определение № N. Случайную величину ?n = max{?1, ..., ?n} назовём максимумом, а случайную величину ?n = min{?1, ..., ?n} - минимумом из n случайных величин ?1, ..., ?n.

Замечание № N. Заметим, что ?n(?) = max{?1(?), ..., ?n(?)}, т.е. ?n на каждом элементарном исходе совпадает с одной из ?i, 1 6 i 6 n, но ни с одной из них не совпадает при всех ? (если величины независимы).

Упражнение № N. Доказать, что вероятность максимуму из первых n независимых и одинаково распределённых случайных величин, имеющих абсолютно непрерывное распределение, равняться первой из них, равно как и любой другой, есть 1/n:

P. Для доказательства воспользоваться соображениями симметрии, разбив пространство ? на несколько равновероятных событий вида {?1 > ?2, ..., ?1 > ?n} и несколько событий нулевой вероятности, включающих возможные равенства. Вспомнить, с какой вероятностью две (или больше) из ?1, ..., ?n совпадают (нарисовать событие {?1 = ?2} на плоскости).

Теорема № N. Функции распределения случайных величин ?n = max{?1, ..., ?n} и ?n = min{?1, ..., ?n} равны соответственно

и .

Доказательство. Найдём функцию распределения F?n(x). Максимум из n величин меньше x тогда и только тогда, когда каждая из этих величин меньше x. Поэтому событие {?n x, ..., ?n > x = 1 ? P ?1 > x · ... · P ?n > x =

= 1 ? P ?1 > xn = 1 ? 1 ? F?1(x)n.

Пример № N. Пусть случайные величины ?1, ?2, ... независимы в совокупности и имеют равномерное распределение на отрезке [0, 1]. Докажем, что последовательность случайных величин ?1 = ?1, ?2 = = max{?1, ?2}, ?3 = max{?1, ?2, ?3}, ... сходится по вероятности к правому концу отрезка - к единице. Можно произнести это утверждение так: "максимум из первых n случайных величин с ростом n сходится к единице по вероятности". Есть как минимум два способа доказательства.

Способ 1. По определению. Зафиксируем произвольное число ? > 0. Заметим, что ?n 6 1, поскольку это максимум из случайных величин, принимающих значения на отрезке [0, 1] п.н. Поэтому

P. Для того, чтобы установить сходимость последней вероятности к нулю, можно её либо найти, либо оценить с помощью неравенства Маркова. Сделаем и то, и другое.

(А) Найдём эту вероятность.

P . Для равномерного распределения на отрезке [0, 1]

, , ??1, x > 1;

А если ещё заметить, что 1 ? ? ?.

ПРИЛОЖЕНИЕ 129

(Б) Оценим вероятность сверху. Поскольку 1??n > 0 п.н. и ? > 0, то по неравенству Маркова

P . (29) Найдём плотность распределения ?n и математическое ожидание E?n:

0; x 6 1 1; E.

Подставляя математическое ожидание в неравенство (29), получим

P при n > ?.

Способ 2. Используем связь со слабой сходимостью. Сходимость по вероятности к постоянной равносильна слабой сходимости (свойство 20). Докажем, что ?n слабо сходится к единице. Требуется доказать, что функция распределения F?n(x) сходится к F1(x) = P(1 F1(x) = 0 при n > ?. При любом 0 6 x F1(x) = 0 при n > ?. При любом x > 1 имеем: F?n(x) = 1 > F1(x) = 1. И только при x = 1 сходимости нет: F?n(1) = 1, тогда как F1(1) = 0. Но сходимости в точке x = 1 и не требуется - в этой точке предельная функция распределения терпит разрыв:

( 0, x 6 1; F1(x) =

1, x > 1; Таким образом, ?n слабо сходится к единице, и, следовательно, сходится к ней же по вероятности.

Упражнение № N+1. Доказать (способами (1А), (1Б) и (2), что, в условиях примера (N), последовательность ?1, ?2, ?3, ... сходится по вероятности к нулю (мы будем говорить "минимум из первых n случайных величин с ростом n сходится к нулю по вероятности").

Красивых задач, связанных с максимумом и минимумом, слишком много. Предлагаю вам решить, например, следующие:

ПРИЛОЖЕНИЕ

Пусть случайные величины ?1, ?2, ... независимы в совокупности и имеют равномерное распределение на отрезке [a, b], ?n = max{?1, ..., ?n}, ?n = min{?1, ..., ?n}. Доказать, что:

1) последовательность n(b ? ?n)/(b ? a) при n > ? слабо сходится к показательному распределению с параметром 1;

2) точно так же себя ведёт последовательность n(?n ? a)/(b ? a);

3) это не удивительно, поскольку случайные величины b ? ?n и ?n ? a одинаково распределены;

4) посчитав вероятность P, можно легко найти функцию совместного распределения случайных величин ?n, ?n, и с её помощью, например, доказать зависимость этих величин. Зависимость, впрочем, и так очевидна, достаточно рассмотреть пустое пересечение двух событий {?n (a + b)/2}, вероятность которых положительна.

Простые и непростые задачи

1. Построить какую-нибудь вероятность на множестве натуральных чисел как на дискретном пространстве элементарных исходов.

2. Вероятность события A равна нулю. Верно ли, что тогда A - невозможное событие?

3. Являются ли события "выпал герб при первом броске монеты" и "выпал герб при втором броске монеты" несовместными?

4. Пусть ? = {1,2,3,4}. Является ли алгеброй набор множеств

? 5. Задать какую-нибудь алгебру на множестве ? = {0,1,...,10}.

6. Пусть ? = {1,2}. На множестве 2? задана функция: µ{1,2} = = 3, µ{1} = 1, µ{2} = 1. Является ли µ мерой?

7. Задать какую-нибудь вероятностную меру на множестве всех подмножеств множества ? = {0,1,...,10}.

8. Является ли ?-алгеброй декартово произведение B(R) ? B(R) двух борелевских ?-алгебр?

9. Принадлежит ли множество Q рациональных чисел ?-алгебре, порождённой множеством всех одноточечных подмножеств R?

10. На борелевской ?-алгебре в R задана функция: µ(B) = 1 для любого

B. Является ли µ вероятностной мерой?

11. Пусть функция µ на множестве 2R задана так: µ(B) = 1, если 0 ? B, и µ(B) = 0, если 0 ?6 B. Является ли функция µ мерой на множестве всех подмножеств R?

12. Привести пример какой-нибудь меры, отличной от меры Лебега, на ?-алгебре B(R) борелевских множеств на прямой.

См. определения 28, 29, 30 и т.д.

13. Доказать, что если P(Ai) = 0 для всех i = 1, 2, ..., то

P и P. См. свойства вероятности 4 (стр. 30) и 7 (стр. 31).

ЗАДАЧИ 14. Доказать, что если P(Ai) = 1 для всех i = 1, 2, ..., то

Pи P. =1 См. свойства вероятности 4 (стр. 30) и 7 (стр. 31).

15. Найти количество всех 2005-значных чисел, в записи которых используются все цифры от 1 до 9, но никакие соседние цифры в записи этих чисел не совпадают.

См. формулу включения-исключения (стр. 31).

16. Найти вероятность того, что при раздаче колоды в 52 карты четверым игрокам поровну хотя бы у одного из игроков соберутся все карты одной масти.

См. формулу включения-исключения (стр. 31).

17. Доказать, что {4} является борелевским множеством.

18. Доказать, что [1, 2] является борелевским множеством.

19. Доказать, что канторовское совершенное множество является борелевским множеством.

См. определения 13 и 11.

20. Могут ли два независимых события образовать полную группу событий?

21. Из полной колоды карт вынимают одну. Будут ли независимыми события "вынутая карта - король" и "вынутая карта - туз"?

22. Что означает независимость в совокупности событий A, B, C и D?

23. Следует ли из равенства

P(A ? B ? C) = P(A)P(B)P(C)

независимость событий A, B и C в совокупности?

24. Следует ли из того же равенства попарная независимость A, B, C?

25. Пусть h?,F,Pi = h[0, 1],B([0, 1]),?i, где ? - мера Лебега. Построить на этом вероятностном пространстве три случайных величины с равномерными на [0, 1] распределениями.

26. Пусть ? = [0, 1], F = 2?, ?(?) = ?. Задать вероятностную меру P так, чтобы функция ? оказалась случайной величиной с вырожденным распределением.

27. Пусть ? = [0, 1], F = 2?, ?(?) = ?. Задать вероятностную меру P так, чтобы функция ? оказалась случайной величиной с распределением Бернулли.

28. Привести пример вероятностного пространства и на нем трёх независимых попарно, но зависимых в совокупности случайных величин.

ЗАДАЧИ 133

29. Доказать, что случайная величина с вырожденным распределением независима с любой другой случайной величиной.

30. Пусть случайная величина ? имеет стандартное нормальное распределение, а случайная величина ? равна знаку ?. Проверить, независимы ли случайные величины |?| и ?.

31. Доказать, что из независимости в совокупности n случайных величин следует их попарная независимость.

32. Доказать, что случайные величины ? и ? независимы тогда и только тогда, когда для любых двух борелевских функций f и g независимы случайные величины f(?) и g(?).

33. Может ли какое-нибудь из стандартных дискретных распределений быть устойчивым относительно: а) умножения на некоторую постоянную?

б) умножения на произвольную постоянную? в) произвольного линейного преобразования?

Здесь устойчивость - сохранение того же вида распределения.

34. Какие из стандартных абсолютно-непрерывных распределений устойчивы относительно: а) умножения на некоторую постоянную? б) умножения на произвольную постоянную? в) произвольного линейного преобразования?

35. Привести пример случайных величин ? и ? с одинаковым нормальным распределением, сумма которых имеет вырожденное распределение.

36. Привести пример случайных величин ? и ? с пуассоновскими распределениями, сумма которых имеет распределение, отличное от пуассоновского.

37. Привести пример случайных величин ? и ? с пуассоновскими распределениями с параметрами ? 6= µ, сумма которых имеет распределение, отличное от пуассоновского.

См. пример 55.

38. Пусть ??= N1,9 и ??= N1,1 - независимые случайные величины. Какое распределение имеет ? ? ??

39. Когда возможно равенство E|?| = 0?

40. Пусть четвёртый момент случайной величины ? конечен, и имеет место равенство E?2 = E?3 = E?4. Доказать, что

P(? = 0) + P(? = 1) = 1.

Распределение Бернулли, и только оно, обладает свойством ?2 = ?.

41. Привести пример случайной величины с дискретным распределением, у которой существует первый момент, но не существует дисперсия.

42. Сравнить E(?4) и (E?)4.

ЗАДАЧИ

43. Привести пример случайной величины с абсолютно непрерывным распределением, у которой существует второй момент, но не существует третий.

44. Привести пример случайных величин ? и ? таких, что E(? + ?) существует, но ни E?, ни E? не существуют.

45. Привести пример случайных величин ? и ? таких, что E? и E? существуют, но не существует E(??).

46. Привести пример одинаково распределённых случайных величин ?, ? и ? таких, что все три величины ? + ?, ? + ? и ? + ? имеют различные распределения.

Достаточно, если каждая будет принимать три значения.

47. Привести пример одинаково распределённых случайных величин ? и ? таких, что величины и имеют разные распределения.

48. Привести пример, показывающий что для одинаково распределённых случайных величин ? и ? не обязательно E, даже если эти математические ожидания существуют.

49. Привести пример, показывающий, что следующее утверждение неверно: "Для любых унимодальных распределений медиана всегда лежит между математическим ожиданием и модой".

Попробуйте распределение с плотностью f?(t) = p?e?t при t 0, где 0 0, ? > 0- параметры.

50. Привести пример того, что в ЗБЧ Хинчина существенно условие независимости.

51. Проверить, имеет ли место сходимость к нулю по вероятности для последовательности ?1, ?2, ... независимых случайных величин со стандартным распределением Коши.

52. Пусть ?1, ?2, ... - последовательность независимых и одинаково распределённых случайных величин с невырожденным распределением. Доказать, что не существует случайной величины ?, к которой данная последовательность сходилась бы по вероятности. Сходится ли эта последовательность по распределению?

53. Доказать, что в условиях ЦПТ последовательность не сходится по вероятности ни к какой случайной величине.

Рассмотрите отдельно и вместе сумму первых и следующих n слагаемых.

Предметный указатель

Абсолютно непрерывное распределение, 50 совместное распределение, 71

Алгебра, 22 тривиальная, 23

Атом, 50 Бернулли закон больших чисел, 108

распределение, 53 схема, 39 формула, 40

Берри - Эссеена неравенство, 117

Биномиальное распределение, 40, 54 дисперсия, 88

математическое ожидание, 88

характеристическая функция, 120

Борелевская ?-алгебра, 25 функция, 65

Бюффона задача об игле, 19

Вероятности аксиомы, 29 свойства, 30

Вероятностное пространство, 29

Вероятность, 29 апостериорная, 38

априорная, 38 геометрическая, 18 классическая, 14 условная, 34

Вложенные шары, 28

Выбор без возвращения, 7, 8 без учёта порядка, 7-9 с возвращением, 7, 9 с учётом порядка, 7-9

Вырожденное распределение, 53 дисперсия, 87 математическое ожидание, 87

Гамма-распределение, 57 характеристическая функция, 121

Гамма-функция Эйлера, 57

Гаусса распределение, 56

Геометрическая вероятность, 18

Геометрическое распределение, 40, 54 дисперсия, 88 математическое ожидание, 88

Гипергеометрическое распределение, 16, 54 дисперсия, 96 математическое ожидание, 96

Дискретное пространство элементарных исходов, 13

Дискретное распределение, 50

Дисперсия, 84 разности, 87 распределения Бернулли, 87 биномиального, 88 геометрического, 88 гипергеометрического, 96 Коши, 90 нормального, 89 Парето, 90

Пуассона, 88

равномерного, 89 стандартного нормального, 89суммы, 87, 91

суммы n слагаемых,Достоверное событие, 12 92

показательного, 90

Задача Бюффона об игле, 19 о встрече, 19 о рассеянной секретарше, 32

Закон больших чисел, 106 Бернулли, 108

Маркова, 107

Хинчина, 107, 125

Чебышёва, 106

Игла Бюффона, 19

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ

Измеримая функция, 46 абсолютный, 84

Индикатор события, 104 абсолютный центральный, 84 Интеграл Пуассона, 56 центральный, 84

факториальный, 89

Кантора лестница, 63 Муавра - Лапласа теорема, 116

Квантильное преобразование, 68

Классическая вероятность, 14 Невозможное событие, 12

Ковариация, 91 Независимость

Конечное множество, 13 испытаний, 39

Коши распределение, 58 случайных величин

Коэффициент корреляции, 93 в совокупности, 75 свойства, 94 попарная, 75

событий, 34

Лестница Кантора, 63 в совокупности, 36

Максимума распределение, 127 попарная, 36

Математическое ожидание Неизмеримое множество, 20, 65 абсолютно непрерывного распределе- Непрерывность меры, 28 ния, 81 Неравенство

дискретного распределения, 81 Берри - Эссеена, 117

постоянной, 83 Йенсена, 85 произведения, 84 Маркова, 104 распределения Чебышёва, 105

Бернулли, 87 обобщённое, 105

биномиального, 88 Несовместные события, 13 геометрического, 88 Номер первого успеха, 40

гипергеометрического, 96 Нормальное распределение, 56

Коши, 90 дисперсия, 89

нормального, 89 математическое ожидание, 89

Парето, 90 свойства, 63

Пуассона, 88 характеристическая функция, 122

показательного, 90 Объединение событий, 12 равномерного, 89 Определение вероятности стандартного нормального, 89 геометрическое, 18

суммы, 83 классическое, 15

Мера, 27 вероятностная, 29 Парето

Лебега, 28 распределение, 58

нормированная, 29 Пересечение событий, 13

минимальная ?-алгебра, 25 Перестановка, 8 Минимума распределение, 127 Плотность

Множество распределения, 50

Витали, 20, 65 распределения суммы, 77

всех подмножеств, 23 совместного распределения, 71

конечное, 13 Показательное распределение, 55 неизмеримое, 20 дисперсия, 90 пустое, 12 математическое ожидание, 90

счётное, 13 характеристическая функция, 121

Модуль комплексного числа, 120 Полиномиальное распределение, 42

Момент Полная группа событий, 37

первый, 81 Попарно несовместные события, 13 порядка k, 84 Правило трёх сигм, 64, 105 ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ 137

Пример

Бернштейна, 36

Пространство элементарных исходов, 11 дискретное, 13

Противоположное событие, 13

Пуассона интеграл, 56

приближение, 44 распределение, 44, 54

Пустое множество, 12

Равномерное распределение, 55 дисперсия, 89

математическое ожидание, 89

Разбиение пространства элементарных исходов, 37

Размещение, 8

Распределение, 17

Бернулли, 53 моменты, 87 характеристическая функция, 120

биномиальное, 40, 54

моменты, 88

характеристическая функция, 120

вектора абсолютно непрерывное, 71 дискретное, 70

вырожденное, 53

моменты, 87

Гаусса, 56 гамма, 57

характеристическая функция, 121

геометрическое, 40, 54

моменты, 88

гипергеометрическое, 16, 54

моменты, 96

Коши, 58 моменты, 90

максимума, 127 маргинальное, или частное, 70 минимума, 127 многомерное нормальное, 73 нормальное, 56 моменты, 89

свойства, 63 характеристическая функция, 122

Парето, 58 моменты, 90

Пуассона, 44, 54 моменты, 88 характеристическая функция, 121

показательное, 55

моменты, 90 характеристическая функция, 121

полиномиальное, 42 равномерное, 55

моменты, 89

равномерное в области, 72

корреляция координат, 96 Симпсона, 80 случайной величины, 49

абсолютно непрерывное, 50 дискретное, 50 сингулярное, 52 смешанное, 52

совместное, 69 стандартное нормальное, 57

моменты, 89

характеристическая функция, 121

числа успехов, 40 экспоненциальное, 55

моменты, 90 характеристическая функция, 121

Свойство непрерывности меры, 28 нестарения

геометрического распределения, 40 показательного распределения, 56

отсутствия последействия

геометрического распределения, 40 показательного распределения, 56

?-алгебра, 23

борелевская, 25 минимальная, 25

Сингулярное распределение, 52

Случайная величина, 46

Случайные величины независимые в совокупности, 75 попарно, 75

некоррелированные, 95 отрицательно коррелированные, 95 положительно коррелированные, 95

Смешанное распределение, 52

Событие, 11, 22, 27 достоверное, 12 невозможное, 12 противоположное, или дополнительное,

13 ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ События вложенные, 13 независимые, 34 в совокупности, 36 попарно, 36

несовместные, 13 попарно несовместные, 13

Сочетание, 8

Среднее значение, 81

Среднеквадратическое отклонение, 85

Стандартное нормальное распределение, 57 дисперсия, 89 математическое ожидание, 89 характеристическая функция, 121

Статистическая устойчивость, 11

Схема Бернулли, 39

Сходимость моментов, 101

по вероятности, 100

свойства, 101

по распределению, 111

почти наверное, 99

слабая, 111

свойства, 111

Счётная аддитивность вероятности, 29 меры, 27

Счётное множество, 13

Таблица распределения, 50 совместного распределения, 70

Теорема закон больших чисел

Бернулли, 108

Маркова, 107

Хинчина, 107, 125

Чебышёва, 106

Лебега, 52

Леви, 124 Муавра - Лапласа, 116

неравенство Берри - Эссеена, 117

о вложенных шарах, 28

о двойном пределе, 113

о непрерывном соответствии, 124

о перемножении шансов, 6

Пуассона, 44

с оценкой точности, 45

предельная для гипергеометрического

распределения, 43

умножения вероятностей, 34 ЦПТ Ляпунова, 115, 126 центральная предельная, 115, 126 Тривиальная алгебра, 23

Урновая схема, 7

Условная вероятность, 34

Устойчивость по суммированию биномиального распределения, 79 гамма-распределения, 79 нормального распределения, 79 распределения Пуассона, 79

Факториальный момент, 89

Формула Байеса, 37 Бернулли, 40

включения-исключения, 31

обратного преобразования Фурье, 122

полной вероятности, 37

свёртки, 77

Эйлера, 120

Функция борелевская, 65 измеримая, 46 по Борелю, 65

распределения, 53 вектора, 69

свойства, 59

совместного распределения, 69 характеристическая, 120 свойства, 122

Характеристическая функция, 120 свойства, 122

Центральная предельная теорема, 115, 126

Число перестановок, 8 размещений, 8 сочетаний, 8

Экспоненциальное распределение, 55 дисперсия, 90 математическое ожидание, 90 характеристическая функция, 121

Элементарный исход, 11

Литература

1. Гнеденко Б.В. Курс теории вероятностей. М., 1988.

2. Чистяков В.П. Курс теории вероятностей. М., 1982.

3. Боровков А.А. Теория вероятностей. М., 1986.

4. Колемаев В.А., Калинина В.Н. Теория вероятностей и математическая статистика. М., Инфра-М, 1997.

5. Коршунов Д.А., Фосс С.Г. Сборник задач и упражнений по теории вероятностей. Новосибирск, 1997.

6. Севастьянов Б.А., Чистяков В.П., Зубков А.М. Сборник задач по теории вероятностей. М., 1986.

7. Вентцель Е.С., Овчаров Л.А. Теория вероятностей (Избранные главы высшей математики для инженеров и студентов втузов, задачи и упражнения). М., 1973.

1 Jacob Bernoulli (27.12.1654 - 16.08.1705, Basel, Switzerland)

2 Georges Louis Leclerc Comte de Buffon (7.09.1707 - 16.04.1788, France)

3 Giuseppe Vitali (26.08.1875 - 29.02.1932, Italy)

4 Андрей Николаевич Колмогоров (25.04.1903 - 20.10.1987)

5 5Felix Edouard Justin Emile Borel (7.01.1871? - 3.02.1956, France)

6 7Constantin Caratheodory (13.09.1873? - 2.02.1950, Germany)

7 Сергей Натанович Бернштейн (5.03.1880 - 26.10.1968)

8 Thomas Bayes (1702 - 17.04.1761, England)

9 Simeon Denis Poisson (21.06.1781? - 25.04.1840, France)

10 Leonhard Euler (15.04.1707 - 18.09.1783, Switzerland, Россия)

11 Augustin Louis Cauchy (21.08.1789 - 23.05.1857, France)

12 Vilfredo Pareto (15.07.1848 - 20.08.1923, France, Italy, Switzerland)

13 Johan Ludwig William Valdemar Jensen (8.05.1859 - 5.03.1925, Denmark)

14 Пафнутий Львович Чебышёв (16.05.1821 - 8.12.1894)

15 Андрей Андреевич Марков (14.06.1856 - 20.07.1922)

16 Iren? ee-Jules Bienaym? e (28.08.1796? - 19.10.1878, Paris)

17 Александр Михайлович Ляпунов (6.06.1857 - 3.11.1918)

18 Abraham de Moivre (26.05.1667 - 27.11.1754, France, England)

19 Pierre-Simon Laplace (23.03.1749 - 5.03.1827, France)

20 Brook Taylor (18.08.1685 - 29.12.1731, England)

21 Paul Pierre Levy (15.09.1886? - 15.12.1971, France)

---------------

------------------------------------------------------------

---------------

------------------------------------------------------------

3

8 ГЛАВА 1. Классическая вероятностная схема

ГЛАВА 1. Классическая вероятностная схема 7

ГЛАВА 1. Классическая вероятностная схема 7

ГЛАВА 2. Геометрическая вероятность

ГЛАВА 2. Геометрическая вероятность 19

24 ГЛАВА 3. Аксиоматика теории вероятностей

ГЛАВА 3. Аксиоматика теории вероятностей 23

24 ГЛАВА 3. Аксиоматика теории вероятностей

ГЛАВА 3. Аксиоматика теории вероятностей

34 ГЛАВА 4. Условная вероятность, независимость

ГЛАВА 4. Условная вероятность, независимость

40 ГЛАВА 5. Схема Бернулли

ГЛАВА 5. Схема Бернулли 41

48 ГЛАВА 6. Случайные величины и их распределения

ГЛАВА 6. Случайные величины и их распределения 47

66 ГЛАВА 7. Преобразования случайных величин

ГЛАВА 7. Преобразования случайных величин

70 ГЛАВА 8. Многомерные распределения

ГЛАВА 8. Многомерные распределения 71

82 ГЛАВА 9. Числовые характеристики распределений

ГЛАВА 9. Числовые характеристики распределений 83

92 ГЛАВА 10. Числовые характеристики зависимости

ГЛАВА 10. Числовые характеристики зависимости 93

100 ГЛАВА 11. Куда и как сходятся последовательности случайных величин

ГЛАВА 11. Куда и как сходятся последовательности случайных величин 101

112 ГЛАВА 12. Центральная предельная теорема

ГЛАВА 12. Центральная предельная теорема 111

122 ГЛАВА 13. Характеристические функции

ГЛАВА 13. Характеристические функции 121

128

Показать полностью…
2 Мб, 25 января 2014 в 2:08 - Россия, Москва, МГСУ НИУ (МГСУ-МИСИ), 2014 г., pdf
Рекомендуемые документы в приложении