Лотов В.И. Теория вероятностей. Конспект лекций

Подождите немного. Документ загружается.

−M

(y)dF (y) −

−M

g(y)dF (y)

≤

Следовательно, для достаточно больших n интегралы

∞

−∞

g(y)dF

(y) и

∞

−∞

g(y)dF (y)

отличаются от

−M

(y)dF

(y) и

−M

(y)dF (y) соответственно менее, чем на ε. Но

−M

(y)dF

(y) =

k−1

i=0

g(y

)[F

i+1

) −F

)] →

k−1

i=0

g(y

)[F (y

i+1

) −F (y

)]

−M

(y)dF (y).

Поэтому

lim sup

n→∞

∞

−∞

g(y)dF

(y) ≤ ε + lim sup

n→∞

−M

(y)dF

(y) = ε +

−M

(y)dF (y)

≤ 2ε +

∞

−∞

g(y)dF (y),

и аналогичное неравенство верно для нижнего предела. Теорема доказана.

Замечания

1. Если F непрерывна, то слабая сходимость F

⇒ F эквивалентна сходимости

(y) → F (y) равномерно по всем y, т. е. sup

(y) − F (y)| → 0.

Доказательство. Пусть точки y

= −∞, y

, . . . , y

= ∞ таковы, что

F ( y

) −F (y

i−1

) ≤ ε/2.

Тогда найдется n

такое, что при n ≥ n

) −F (y

)| ≤ ε/2 для всех i = 0, . . . , k.

Заметим при этом, что F

(±∞) = F (±∞). Пусть теперь y произвольно. Для него

найдется число i такое, что y ∈ [y

i−1

, y

). Тогда

(y) − F (y) ≤ F

) −F (y

i−1

) ≤ F (y

) +

− F(y

i−1

) ≤ ε,

(y) − F (y) ≥ F

i−1

) −F (y

) ≥ F (y

i−1

) −

− F(y

) ≥ −ε,

откуда следует наше утверждение.

2. Если F

и F дискретны и имеют скачки в одних и тех же точках y

, y

, . . ., то

слабая сходимость F

⇒ F эквивалентна сходимости F

+0) −F

) → F (y

+0) −

F (y

3. Слабая сходимость F

⇒ F ровным счетом ничего не говорит о сходимости

случайных величин X

⊂= F

, они вообще могут быть заданы на разных вероятност-

ных пространствах. Даже если они заданы на одном пространстве, то следующий

пример показывает, что ни о какой сходимости случайных величин не может быть

речи.

Пусть при однократном бросании монеты X

равно числу выпавших гербов (X

принимает только значения 1 и 0 с равными вероятностями), а X

равно числу выпав-

ших решек. Ясно, что последовательность X

, X

, . . . ни к чему не сходится,

хотя все члены этой последовательности имеют одно и то же распределение.

В качестве примера слабо сходящейся последовательности функций распределе-

ния можно рассмотреть F

(y) = U

−

(y). Здесь F

(y) → I

(y) для всех y, кроме

точки разрыва y = 0.

Теорема. Если X

→ X, то F

⇒ F

. Обратное неверно. Однако если F

= I

— вырожденное распределение, то из F

⇒ F

следует X

→ a.

Доказательство. Пусть g — непрерывная ограниченная функция, тогда

g(X

)

→ g(X), и в силу теоремы о мажорируемой сходимости Eg(X

) → Eg(X), что

доказывает первую часть теоремы. Далее, если F

⇒ F, то

P(|X

− a| < ε) = P(a −ε < X

< a + ε) ≥ P(a −

≤ X

< a + ε) =

= F

(a + ε) −F

(a −

) → 1,

поскольку a + ε и a −

являются точками непрерывности функции распределения

. Теорема доказана.

Таким образом, закон больших чисел также является одним из примеров слабой

сходимости распределений F

⇒ F

4.4. Характеристические функции

Наряду с вещественнозначными случайными величинами можно рассматривать

и комплекснозначные вида X

+ iX

. По определению полагаем

E(X

+ iX

) = EX

+ iEX

Независимость случайных величин X

+iX

и Y

+iY

можно понимать как независи-

мость σ-алгебр σ(X

, X

) и σ(Y

, Y

), порожденных случайными векторами (X

, X

)

и (Y

, Y

). Нетрудно проверить также для комплекснозначных случайных величин

выполнение всех основных свойств математических ожиданий (кроме, разумеется,

тех, где сравниваются величины без модуля), включая свойство E (XY ) = EXEY

для независимых случайных величин.

Определение. Характеристической функцией (х. ф.) случайной величины X

называется

(t) = Ee

itX

∞

−∞

ity

(y) =

∞

−∞

cos ty dF

(y) + i

∞

−∞

sin ty dF

(y), −∞ < t < ∞.

Если F

абсолютно непрерывна, то х. ф. есть преобразование Фурье плотности

распределения. В соответствии с правилом вычисления математических ожиданий

функций от случайных величин, имеем

(t) =











∞

k=1

ity

P(X = y

) (для дискретных распределений),

∞

−∞

ity

(y)dy (для распределений с плотностью).

Х.ф. всегда существует, так как

|ϕ

(t)| =

∞

−∞

ity

(y)

≤

∞

−∞

ity

(y) = 1.

Свойства характеристических функций.

1. ϕ

(0) = 1, |ϕ

(t)| ≤ 1.

2. ϕ

aX+b

(t) = e

itb

(at), ϕ

(t) = ϕ

(−t) = ϕ

−X

(t).

3. Если случайные величины X

, . . . , X

независимы, то

+...+X

(t) = ϕ

(t) . . . ϕ

(t).

4. Если существует E|X|

< ∞, k ≥ 1, то существует непрерывная k-я производ-

ная ϕ

(k)

(t) и ϕ

(k)

(0) = i

Доказательство. В силу того, что равномерно по t выполняется

∞

−∞

iye

ity

(y)

≤

∞

−∞

|y|dF

(y) < ∞,

можно дифференцировать под знаком интеграла:

(t) =





∞

−∞

ity

(y)





∞

−∞

iye

ity

(y).

Дальше действуем по индукции. Пусть при l < k

(l)

(t) =

∞

−∞

(iy)

ity

(y),

тогда

(l+1)

(t) =

∞

−∞

(iy)

l+1

ity

(y)

в силу равномерной по t сходимости интеграла в правой части. Итак,

(k)

(t) =

∞

−∞

(iy)

ity

(y),

и остается положить t = 0 в этом выражении.

Установим непрерывность производной.

|ϕ

(k)

(t + h) −ϕ

(k)

(t)| =

∞

−∞

i(t+h)y

− e

ity

(y)

≤

∞

−∞

|y|

ihy

− 1

(y) → 0

в силу теоремы о мажорируемой сходимости, т. к. e

iXh

− 1 → 0 при h → 0, и, кроме

того,

|X|

ihX

− 1

≤ 2|X|

, E|X|

< ∞.

Случай k = 0 не исключается, т. е. мы установили кроме всего прочего, что х. ф.

является равномерно непрерывной функцией.

5. Если E|X|

< ∞, то в окрестности точки t = 0

(t) = 1 +

j=1

(it)

+ o(|t|

Примеры.

1. Если X ⊂= I

, то ϕ

(t) = e

iat

2. Если X ⊂= Π

, то

(t) =

∞

k=0

itk

−λ

= exp{λ(e

− 1)}.

3. Пусть X ⊂= Φ

α,σ

. Воспользуемся тем, что X = σY + α, где Y ⊂= Φ

0,1

. Значит,

(t) = e

iαt

(σt). Найдем ϕ

(t). Продифференцировав эту функцию по t, получим

(t) =

√

2π

∞

−∞

iye

ity−

dy =

√

2π

∞

−∞

ity

− e

−

dy =

√

2π

− ie

ity−

∞

−∞

−

∞

−∞

ity−

= −tϕ

(t),

т. е. [ln ϕ

(t)]

= −t. Отсюда получаем

ln ϕ

(t) = −

+ C.

Поскольку ϕ

(0) = 1, то C = 0,

(t) = e

−

, ϕ

(t) = e

iαt−

Пользуясь этой формулой, удобно находить моменты случайной величины X.

Далее мы установим взаимно однозначное соответствие между функциями рас-

пределения и характеристическими функциями.

Теорема (формула обращения). Если F — функция распределения, а ϕ — соот-

ветствующая ей х. ф., то для любых точек непрерывности x и y функции F

F (y ) − F(x) =

2π

lim

σ→0

∞

−∞

−itx

− e

−ity

ϕ(t)e

−t

dt.

Замечание. Если функция ϕ(t)/t интегрируема на бесконечности, то становит-

ся законным предельный переход под знаком интеграла в этой формуле, и можно

записать

F (y) −F (x) =

2π

∞

−∞

−itx

− e

−ity

ϕ(t)dt.

Доказательство теоремы. Предположим сначала, что существует плотность f(y) =

(y), а х.ф. ϕ(t) интегрируема. Тогда можно воспользоваться формулой для обрат-

ного преобразования Фурье

f(u) =

2π

∞

−∞

−itu

ϕ(t)dt

F (y) −F (x) =

f(u)du =

2π

∞

−∞

−itu

ϕ(t)dtdu =

2π

∞

−∞

−itu

duϕ(t)dt =

2π

∞

−∞

−itx

− e

−ity

ϕ(t)dt.

Перемена порядка интегрирования здесь возможна в силу интегрируемости функ-

ции ϕ(t).

Пусть теперь ϕ(t) — х. ф. величины X с произвольным распределением F . Рас-

смотрим на одном вероятностном пространстве с X случайную величину Y , незави-

симую от X и распределенную нормально с параметрами (0, 1). Пусть

= σ

√

2Y ⊂= Φ

0,2σ

Если σ

→ 0, то почти наверное Z

→ 0 и X + Z

→ X. Следовательно, F

X+Z

⇒ F

С другой стороны, случайная величина X + Z

будет обладать плотностью и ее х.

ф., равная ϕ(t)e

−t

, интегрируема. Поэтому

X+Z

(y) − F

(x) =

2π

∞

−∞

−itx

− e

−ity

ϕ(t)e

−t

dt.

Если x и y — точки непрерывности F , то F (y) − F (x) = lim

→0

X+Z

(y) − F

X+Z

(x).

Отсюда следует утверждение теоремы.

Следствие 1. Х. ф. случайной величины однозначно определяет ее функцию

распределения.

Доказательство следует из формулы обращения и из того, что разности F (y)−F (x)

однозначно определяют F . Достаточно для этого в формуле обращения устремить

x → −∞.

Следствие 2. Пусть X

⊂= Π

, X

⊂= Π

, X

и X

независимы, тогда

+ X

⊂= Π

+λ

Этот факт уже доказывался ранее прямыми вычислениями. Теперь мы приводим

новое доказательство:

(t) = exp{λ

− 1)}exp{λ

− 1)} = exp{(λ

+ λ

)(e

− 1)},

что соответствует распределению Π

+λ

Следствие 3. Пусть X

и X

независимы, X

⊂= Φ

, σ

, X

⊂= Φ

, σ

. Тогда

+ X

⊂= Φ

+α

, σ

+σ

Доказательство.

(t) = e

iα

t−

iα

t−

= e

i(α

+α

)t−

(σ

+σ

что соответствует распределению Φ

+α

, σ

+σ

Если X — целочисленная случайная величина, то удобнее работать с производя-

щей функцией, которая получается из х. ф. заменой z = it:

(z) = Ez

∞

k=1

P(X = k), |z| = 1.

Очевидно, производящая функция представляет собой ряд Лорана. Для нахож-

дения его коэффициентов можно воспользоваться известной формулой

P(X = k) =

2πi

|z|=1

(z)z

−k−1

dz,

которая также может восприниматься как вариант формулы обращения.

Теорема о непрерывном соответствии. Пусть {F

} — последовательность

функций распределения, а {ϕ

} — соответствующая ей последовательность х. ф.

Тогда для сходимости F

⇒ F , где F — функция распределения, необходимо и до-

статочно, чтобы ϕ

(t) → ϕ(t) при каждом t, где ϕ — х. ф., соответствующая

распределению F .

Доказательство. Необходимость устанавливается просто: при каждом t функции

cos ty и sin ty непрерывны и ограничены, поэтому

∞

−∞

cos ty dF

(y) →

∞

−∞

cos ty dF (y),

∞

−∞

sin ty dF

(y) →

∞

−∞

sin ty dF (y),

и, следовательно,

(t) =

∞

−∞

cos ty dF

(y) + i

∞

−∞

sin ty dF

(y) →

∞

−∞

cos ty dF (y) + i

∞

−∞

sin ty dF (y) = ϕ(t).

Доказательство достаточности проведем в несколько этапов. Обозначим C

мно-

жество непрерывных финитных (т. е. обращающихся в 0 вне некоторого отрезка)

функций и будем писать просто

, если интегрирование проводится по всей веще-

ственной оси.

Лемма 1. Пусть

g dF

→

g dF для любой функции g ∈ C

. Тогда F

⇒ F .

Доказательство. Для произвольного ε > 0 выберем g

∈ C

так, чтобы

0 ≤ g

(y) ≤ 1,

(1 −g

(y))dF (y) ≤ ε.

Это всегда можно сделать, положив g

(y) = 1 при y ∈ [−N, N] и 0 ≤ g

(y) ≤ 1 при

|y| > N (с сохранением финитности), где число N настолько велико, что F (−N) +

1 −F (N) < ε.

Возьмем теперь произвольную непрерывную ограниченную функцию g,

|g(y)| ≤ K < ∞. Тогда gg

∈ C

(1 −g

)g dF

≤ K

1 −

→ K

1 −

≤ Kε.

Поэтому

lim sup

g dF

−

g dF

≤

≤ lim sup

(1 −g

)g dF

−

(1 −g

)g dF

≤ 2Kε.

Лемма доказана.

Обозначим C

множество всех финитных k раз непрерывно дифференцируемых

функций, k ≥ 1.

Лемма 2. Пусть

g dF

→

g dF для любой функции g ∈ C

при некотором

k ≥ 1. Тогда F

⇒ F .

Доказательство. Любую функцию g ∈ C

можно равномерно приблизить функ-

цией ˜g ∈ C

. К примеру, можно воспользоваться следующим процессом. Поскольку

для любого ε > 0 найдется δ = δ(ε) > 0 такое, что |g(u) − g(y) | < ε при |u − y| < δ

(свойство равномерной непрерывности g), то положив

˜g(y) =

2δ

y+δ

y−δ

g(u) du,

будем иметь

|˜g(y) − g(y)| ≤

2δ

y+δ

y−δ

|g(u) − g(y)|du ≤ ε.

Функция ˜g уже будет непрерывно дифференцируемой и по-прежнему финитной. По-

вторив эту операцию дважды, получим дважды непрерывно дифференцируемую фи-

нитную функцию и т. д. Итак, пусть g ∈ C

, ˜g ∈ C

такие, что |˜g(y) − g(y)| ≤

тогда для всех достаточно больших n

g dF

−

g dF

≤

(g − ˜g) dF

˜g dF

−

˜g dF

(g − ˜g) dF

≤ ε.

Лемма доказана.

Лемма 3 (равенство Парсеваля). Пусть g ∈ C

при некотором k ≥ 2, X ⊂= F ,

тогда

Eg(X) =

g(y)dF (y) =

2π

ϕ(−t)ˆg(t)dt,

где ϕ(t) = Ee

itX

, ˆg(t) =

ity

g(y)dy.

Если F имеет плотность f = F

, то мы получаем равенство Парсеваля в более

привычном виде

g(y)f(y)dy =

2π

ϕ(−t)ˆg(t)dt.

Доказательство. Для функции g ∈ C

имеем

ˆg(t) =

∞

−∞

ity

g(y)dy =

∞

−∞

g(y)d

ity

g(y)e

ity

∞

−∞

−

∞

−∞

ity

(y)dy

= −

∞

−∞

ity

(y)dy = . . . =

(−1)

(it)

∞

−∞

ity

(k)

(y)dy.

Отсюда

|ˆg(t)| ≤

|t|

, k ≥ 2,

поэтому ˆg(t) — абсолютно интегрируемая на бесконечности функция. Воспользуемся

формулой обратного преобразования Фурье:

g(y) =

2π

−ity

ˆg(t)dt,

откуда

Eg(X) = E

2π

−itX

ˆg(t)dt =

2π

−itX

ˆg(t)dt =

2π

(−t)ˆg(t)dt.

Лемма доказана.

Перейдем теперь непосредственно к доказательству теоремы о непрерывном со-

ответствии. Пусть ϕ

(t) → ϕ(t) при всех t. Тогда для всякой g ∈ C

при k ≥ 2 имеет

место

g(y) dF

(y) =

2π

(−t)ˆg(t)dt,

и функция |ϕ

(−t)ˆg(t)| ≤ |ˆg(t)| интегрируема. По теореме о мажорируемой сходимо-

сти правая часть сходится к

2π

ϕ(−t)ˆg(t)dt =

g(y) dF (y).

Теорема доказана.

Вернемся к закону больших чисел. Мы его доказали ранее при условии, что слу-

чайные величины X

обладают конечным вторым моментом. Пользуясь аппаратом

характеристических функций, мы можем получить более сильное утверждение.

Теорема Хинчина (закон больших чисел). Пусть случайные величины X

, X

, . . .

независимы и одинаково распределены, причем E|X

| < ∞. Обозначим a = EX

i=1

. Тогда при n → ∞

→ a.

Доказательство. Поскольку речь идет о сходимости к константе, достаточно до-

казать, что F

⇒ I

, а для этого, в свою очередь, необходимо и достаточно, чтобы

(t) → e

ita

Имеем для каждого фиксированного t

(t) = ϕ

t/n

1 +

ita

+ o

¶¸

ln ϕ

(t) = n ln

1 +

ita

+ o

¶¶

= n

ita

+ o

¶¶

→ ita.

Теорема доказана.

4.5. Центральная предельная теорема

Как и ранее, будем иметь дело с последовательностью X

, X

, . . . независимых

одинаково распределенных случайных величин, S

= X

+ . . . + X

Во многих прикладных задачах возникает необходимость вычислять вероятности

вида P(A ≤ S

≤ B) при больших n. Это происходит, например, при планировании

производства, поскольку общая выработка продукции предприятием за смену скла-

дывается из случайных объемов продукции, произведенных отдельными рабочими.

Вычисление различных средних показателей в экономике, социологии, демографии,

статистике также сводится к суммированию случайных величин.

Мы видели, что для нахождения распределения суммы двух независимых случай-

ных величин следует пользоваться формулой свертки. Однако ее применение сопря-

жено с непростыми вычислениями, в особенности если мы интересуемся распреде-

лением суммы большого числа слагаемых. Более продуктивными оказались методы

приближенного вычисления указанных вероятностей для сумм.

Мы знаем, что для нахождения вероятности попадания суммы в интервал (или

отрезок) достаточно знать ее функцию распределения. Значит, необходимо искать

приближения для функций распределения сумм. Оказалось, что в широких услови-

ях функции распределения немного подправленных (а точнее стандартизованных)

сумм случайных величин сближаются с функцией распределения стандартного нор-

мального закона, если число слагаемых возрастает.

Этот эффект можно наблюдать на примерах. Пусть все X

независимы и имеют

равномерное на [0,1] распределение. Вычислим с помощью сверток плотности рас-

пределения случайных величин X

+ X

, X

+ X

(это нетрудно) и увидим,

что их графики очень быстро начинают напоминать плотность нормального распре-

деления:

0 1

(t)

0 1 2

(t)

¡@

0 1 2 3

(t)

Последний график получается склеиванием трех квадратических парабол. Для

(t) график будет склеиваться из кубических парабол; уже для суммы

пяти случайных величин на глаз трудно различить график полученной плотности

от гауссовской кривой.

Такую же закономерность мы можем наблюдать, если рисовать графики плот-

ности сумм в том случае, когда все X

⊂= E

. Тогда, как мы видели, S

⊂= Γ

α,n

и при больших значениях n кривая плотности гамма-распределения, растягиваясь

вправо, все больше будет напоминать плотность нормального распределения, толь-

ко сильно вытянутую и смещенную вправо. Чтобы в пределе получалась плотность

стандартного нормального закона, суммы надо подправлять с помощью операции

стандартизации.

Эти наблюдения иллюстрируют важную закономерность, о которой пойдет речь

ниже.

Центральная предельная теорема (ЦПТ). Пусть X

, X

. . . — независимые

одинаково распределенные случайные величины. Предположим, что EX

< ∞. Обо-

значим S

= X

+ . . . + X

, a = EX

, σ

= DX

, и пусть σ

> 0. Тогда для любого y

− na

√

< y

= F

−na

√

(y) → Φ

0,1

(y) =

√

2π

−∞

−t

при n → ∞.

Доказательство. Достаточно доказать, что х. ф. случайной величины

− na

√

сходится к exp{−t

/2}, т. е. к х. ф. стандартного нормального распределения. Обо-

значим для удобства Y

= X

− a, k = 1, 2, . . .. Тогда EY

= 0, DY

= DX

= σ

− na = Y

+ . . . + Y

+...+Y

√

(t) = ϕ

√

1 −

2σ

+ o

¶¶

ln ϕ

√

= n ln

1 −

+ o

¶¶

= n

−

+ o

¶¶

→ −

Теорема доказана.

Замечания

1. Нетрудно видеть, что ES

= na,

√

nσ

= σ

√

n, т. е. к случайной

величине S

в теореме применена операция стандартизации;

− na

√

= 0, D

− na

√

= 1.

2. Сходимость в ЦПТ является равномерной по всем y, т. е.

sup

− na

√

< y

− Φ

0,1

(y)

→ 0

при n → ∞. Как мы видели ранее, это следует из непрерывности предельной функ-

ции распределения.

3. Можно сформулировать ЦПТ в эквивалентной форме: для любых A ≤ B

A ≤

− na

√

≤ B

→

√

2π

−t

dt.

Именно такая форма чаще всего используется при решении задач. Делается это

следующим образом. Предположим, что нам необходимо найти вероятность

P(C ≤ S

≤ D) при больших значениях n. Первое, что мы должны сделать, это

подогнать наше выражение под формулировку теоремы:

P(C ≤ S

≤ D) = P

C − na

√

≤

− na

√

≤

D − na

√