Лотов В.И. Теория вероятностей. Конспект лекций

Подождите немного. Документ загружается.

Свойства коэффициента корреляции

1. |ρ(X, Y )| ≤ 1.

Это свойство напрямую получается из неравенства Коши-Буняковского.

2. |ρ(X, Y )| = 1 тогда и только тогда, когда для некоторых констант a 6= 0 и b

выполняется Y = aX + b.

Доказательство. Если Y = aX + b, то

ρ(X, Y ) =

E((X − EX)(aX + b − E(aX + b)))

DX D(aX + b)

E((X − EX)(aX + b − aEX − b))

DX a

DX)

aE(X − EX)

|a|DX

|a|

= ±1

в зависимости от знака числа a.

Для доказательства обратного утверждения введем случайные величины

X − EX

√

, Y

Y − EY

√

Здесь к каждой случайной величине применена операция стандартизации, которая

состоит в вычитании матожидания и делении на корень квадратный из дисперсии.

Она производится с единственной целью: добиться, чтобы математическое ожидание

стало нулевым, а дисперсия — единичной. Действительно,

√

E(X − EX) = 0, D X

√

D(X − EX) =

= 1.

Кроме того,

ρ(X, Y ) = EX

= Cov(X

, Y

Таким образом,

D(Y

± X

) = DX

+ DY

± 2Cov(X

, Y

) = 2 ± 2ρ(X, Y ).

Пусть теперь, к примеру, ρ(X , Y ) = 1. Воспользуемся полученным соотношением:

D(Y

− X

) = 2 − 2ρ(X, Y ) = 0.

В силу свойств дисперсии это означает, что Y

−X

= 0 с вероятностью единица или,

что то же самое,

Y =

√

X + EY −

√

DY EX

√

Если ρ(X, Y ) = −1, то пользуемся соотношением

D(Y

+ X

) = 2 + 2ρ(X, Y ) = 0.

3. Если X и Y независимы, то ρ(X, Y ) = 0.

Свойство очевидно.

К сожалению, обратное утверждение не имеет места.

4. Если ρ(X, Y ) = 0, то X и Y не обязательно независимы.

Пример этому уже приводился: если X ⊂= U

−1,1

и Y = X

, то Cov(X, Y ) =

ρ(X, Y ) = 0, хотя случайные величины зависимы.

По этой причине случайные величины X и Y называются некоррелированными,

если ρ(X, Y ) = 0. Независимость влечет некоррелированность, но не наоборот.

3.5. Многомерный случай: математическое ожидание

и матрица ковариаций

В этом разделе мы обобщим понятия математического ожидания и дисперсии на

многомерный случай.

Пусть

X =







. . . X

. . . . . . . . . . . .

. . . X







— матрица, составленная из случайных величин. Положим, по определению,

EX =







. . . EX

. . . . . . . . . . . .

. . . EX







Легко проверить, что при таком определении сохраняются следующие свойства ма-

тематических ожиданий.

1. Если A и B — матрицы, составленные из констант, то E(AX) = AEX,

E(XB) = (EX)B.

2. E(X + Y ) = EX + EY .

3. Если любой элемент матрицы X не зависит от любого элемента матрицы Y , то

E(XY ) = EXEY .

Разумеется, мы предполагаем, что размерности участвующих здесь матриц поз-

воляют применять операции сложения и умножения.

Аналог дисперсии вводится только для случайных векторов. На протяжении этого

и следующего параграфов мы будем изображать векторы в виде столбцов

X =







. . .







Определение. Матрицей ковариаций случайного вектора X называется матри-

ца C(X), у которой на месте с номером (i, j) стоит c

i,j

= Cov(X

, X

), i, j = 1, . . . , n.

Матрица ковариаций есть аналог дисперсии. При n = 1 она совпадает с диспер-

сией. В общем случае на главной диагонали у нее стоят дисперсии DX

, . . . , DX

матрица симметрична относительно главной диагонали: c

i,j

= c

j,i

Мы знаем, что D(AX+B) = A

DX в одномерном случае, если A и B — константы.

Аналогом этого свойства для случайных векторов является следующее утверждение.

Теорема. Пусть A — матрица из констант, имеющая m строк и n столбцов,

а B — вектор из констант размерности m. Тогда

C(AX + B) = AC(X)A

где верхний индекс T соответствует транспонированной матрице.

Доказательство. Обозначим для краткости m

= EX

, i = 1, . . . , n, и воспользу-

емся следующим свойством произведения матриц: если умножить вектор-столбец на

вектор-строку, то в итоге получим матрицу:







− m

. . .

− m







· (X

− m

, X

− m

, . . . , X

− m

) =







− m

)

− m

)(X

− m

) . . . (X

− m

)(X

− m

)

− m

)(X

− m

) (X

− m

)

. . . (X

− m

)(X

− m

)

. . . . . . . . . . . .

− m

)(X

− m

) (X

− m

)(X

− m

) . . . (X

− m

)







Взяв теперь математическое ожидание от обеих частей, получим

E(X − EX)(X − EX)

= C(X),

и аналогично

C(AX + B) = E(AX + B − E(AX + B))(AX + B − E(AX + B))

= E(AX + B − EAX − B)(AX + B − EAX − B)

= E(A(X − EX)(X − EX)

) =

= A(E(X − EX)(X − EX)

= AC(X)A

Теорема доказана.

3.6. Многомерное нормальное распределение

Мы уже рассматривали ранее в качестве примера частный случай плотности

многомерного нормального закона, она соответствовала стандартному многомерно-

му нормальному распределению. Сейчас введем этот закон распределения в общей

форме.

Будем действовать по аналогии с одномерным случаем.

Пусть Y — одномерная случайная величина, имеющая стандартное нормальное

распределение, Y ⊂= Φ

0,1

. Взяв произвольные числа α и σ > 0, образуем случайную

величину X = σY +α, которая уже будет распределена по закону Φ

α,σ

с плотностью

α,σ

(t) =

√

2π

−(t−α)

/2σ

, −∞ < t < ∞.

Тем самым мы получили общий вид плотности нормального распределения с помо-

щью линейных преобразований над случайной величиной Y , имеющей стандартное

нормальное распределение.

Так же поступим и в многомерном случае. Пусть Y — случайный вектор с коор-

динатами Y

, . . . , Y

, имеющий многомерное стандартное нормальное распределение

с плотностью

(t) =

(2π)

n/2

exp

(

−

i=1

)

(2π)

n/2

exp

−

i=1

0,1

Последнее означает, что координаты вектора Y

, . . . , Y

независимы и одинаково рас-

пределены в соответствии со стандартным нормальным законом. Здесь C(Y ) = E —

единичная матрица, t = (t

, . . . , t

)

— вектор-столбец.

Возьмем произвольную невырожденную матрицу A размерности n×n, состоящую

из констант, и постоянный вектор α = (α

, . . . , α

)

и образуем новый случайный

вектор

X = AY + α.

Распределение получившегося вектора X и будем называть многомерным нормаль-

ным распределением.

Теорема. Плотность многомерного нормального распределения задается фор-

мулой

(t) =

√

det Q

(2π)

n/2

exp

−(t −α)

Q(t −α)/2

где t = (t

, . . . , t

)

, Q = (C(X))

−1

= (AC(Y )A

)

−1

= (AA

)

−1

Заметим, что при n = 1 и A = σ получаем Q = 1/σ

√

det Q = 1/σ.

Доказательство. Какой бы прямоугольник B ⊂ R

ни взять, по основному свой-

ству плотностей должно быть

P(X ∈ B) =

(t)dt,

здесь для краткости обозначено dt = dt

. . . dt

. В то же время

P(AY + α ∈ B) = P(Y ∈ A

−1

(B − α)) =

−1

(B−α))

(u)du,

где под множеством A

−1

(B −α) понимается совокупность всех точек u : Au + α ∈ B.

Для того чтобы преобразовать этот интеграл к нужному нам интегралу по множеству

B (и тогда стоящая под интегралом функция и будет искомой плотностью), сделаем

замену переменных t = Au + α. В результате этой замены множество A

−1

(B − α)

перейдет в B, u — в A

−1

(t −α), exp

−

перейдет в

exp

−

(t −α)

−1

)

−1

(t −α)

= exp

−

(t −α)

(AA

)

−1

(t −α)

При переходе от du к dt появится якобиан

√

det Q.

Таким образом, под интегралом появится функция, присутствующая в утвержде-

нии теоремы — она и будет плотностью вектора X. Теорема доказана.

Для нас большую важность представляют следующие два следствия из этой тео-

ремы.

Следствие 1. Пусть случайный вектор X = (X

, X

, . . . , X

)

имеет много-

мерное нормальное распределение и все его компоненты попарно некоррелированны.

Тогда они независимы.

Доказательство. Вследствие некоррелированности компонент заключаем, что

матрица ковариаций C(X) имеет диагональный вид: на главной диагонали стоят

дисперсии DX

, . . . , DX

, а все остальные элементы равны нулю. Обозначим для

краткости σ

= DX

, i = 1, . . . , n. Тогда матрица Q = (C(X))

−1

также будет диа-

гональной, у нее на главной диагонали будут стоять числа σ

−2

, . . . , σ

−2

. По этой

причине плотность распределения вектора X приобретает вид

(t) =

. . . σ

(2π)

n/2

exp

(

−

i=1

− α

)

2σ

)

i=1

что эквивалентно независимости компонент вектора X.

Следствие 2. Пусть случайный вектор X = (X

, X

, . . . , X

)

имеет мно-

гомерное стандартное нормальное распределение (напомним: это соответствует

тому, что все компоненты вектора независимы и имеют распределение Φ

0,1

). Об-

разуем новый вектор Y = AX, где A — ортогональная матрица. Тогда вектор Y

также будет иметь многомерное стандартное нормальное распределение.

Доказательство. Ортогональная матрица, по определению, обладает свойством

= A

−1

. По этой причине C(Y ) = AC(X)A

= AA

= E и, следовательно,

(t) =

(2π)

n/2

exp

−

i=1

0,1

) = f

(t),

что и требовалось доказать.

3.7. Математическое ожидание суммы случайного числа

слагаемых

Ранее было введено понятие σ-алгебры σ(X) = { X

−1

(B), B ∈ B(R)}, порож-

денной случайной величиной X. Она состоит из событий, о реализации которых

можно судить по значениям X. Пусть имеется теперь последовательность случай-

ных величин {X

}. Для любых k ≤ m ≤ ∞ введем σ-алгебру σ(X

, . . . , X

), которая

порождена событиями вида

i=k

, где A

∈ σ(X

). Это более богатая σ-алгебра,

чем, к примеру, σ(X

) или σ(X

, . . . , X

m−1

), так как некоторые из множеств A

могут

совпадать с Ω.

Теорема. Если случайные величины X

, X

, . . . независимы, то для любых k ≥ 1,

n ≥ 1 σ-алгебры σ(X

, . . . , X

) и σ(X

n+k

, X

n+k+1

, . . .) независимы.

Схема доказательства состоит в следующем. Сначала проверяется независимость

произвольного события вида

i=1

и события вида

i=n+k

, где A

∈ σ(X

n + k ≤ m < ∞. Затем устанавливается независимость алгебр, порожденных со-

бытиями такого вида. Переход к пределу при m → ∞ осуществляется с помощью

свойства непрерывности вероятности. Как уже доказано ранее, независимость алгебр

обеспечивает независимость порожденных ими σ-алгебр.

Пусть на вероятностном пространстве < Ω, S, P > задана последовательность

} независимых случайных величин и некоторая целочисленная случайная вели-

чина ν ≥ 0. Значения n можно интерпретировать как дискретные моменты времени.

Определение. Случайная величина ν ≥ 0 называется не зависящей от будуще-

го, если для любого n событие {ν ≤ n} не зависит от σ-алгебры σ(X

n+1

, X

n+2

, . . .).

Определение. Если {ν ≤ n} ∈ σ(X

, . . . , X

) при всех n , то такая случайная

величина ν называется марковской или марковским моментом.

Ясно, что марковский момент не зависит от будущего, так как σ(X

, . . . , X

) и

σ(X

n+1

, X

n+2

, . . .) независимы.

Примерами марковских моментов могут служить случайные величины

= inf{k ≥ 1 : X

≥ N},

поскольку

{ν

≤ n} =

k=1

≥ N} ∈ σ(X

, . . . , X

а также

= inf{k ≥ 1 : S

≥ N},

где S

= X

+ . . . + X

, N > 0 — произвольное положительное число.

1 2 3

Теорема (Колмогоров - Прохоров). Пусть целочисленная случайная величи-

на ν ≥ 0 не зависит от будущего. Тогда если

∞

k=1

P(ν ≥ k)E|X

| < ∞,

то

∞

k=1

P(ν ≥ k)EX

Доказательство. Предположим сначала, что все случайные величины X

неотри-

цательны. Тогда вне зависимости от того, конечно ES

или нет, мы можем написать

∞

n=1

E(S

; ν = n) =

∞

n=1

E(S

; ν = n) =

∞

n=1

k=1

E(X

; ν = n) =

∞

k=1

∞

n=k

E(X

; ν = n) =

∞

k=1

E(X

; ν ≥ k).

Событие {ν ≥ k} = {ν > k − 1} = Ω \ { ν ≤ k − 1} не зависит от σ-алгебры

σ(X

, X

k+1

, . . .), поэтому оно не зависит от σ(X

). Значит,

E(X

; ν ≥ k) = EX

{ν≥k}

= EX

{ν≥k}

= EX

P(ν ≥ k)

и ES

∞

k=1

P(ν ≥ k)EX

< ∞.

Если X

могут принимать значения разных знаков, то, очевидно,

E|S

| ≤ E

k=1

| =

∞

k=1

P(ν ≥ k)E|X

| < ∞,

и мы вновь можем повторить наши рассуждения, обосновав перемену порядка сум-

мирования абсолютной сходимостью ряда

∞

k=1

∞

n=k

|E(X

; ν = n)| ≤

∞

k=1

∞

n=k

E(|X

|; ν = n) ≤

≤

∞

k=1

E(|X

|; ν ≥ k) =

∞

k=1

E|X

|P(ν ≥ k) < ∞.

Следствие (тождество Вальда). Если X

, X

, . . . — независимые одинаково распре-

деленные случайные величины, E|X

| < ∞, ν не зависит от будущего и Eν < ∞,

то ES

= EX

Eν.

Доказательство. Достаточно заметить, что

∞

k=1

P(ν ≥ k) =

∞

k=1

∞

i=k

P(ν = i) =

∞

i=1

iP(ν = i) = Eν.

В качестве примера использования тождества Вальда рассмотрим задачу о разо-

рении.

Два игрока, A и B, подбрасывают монету, и в случае выпадения герба A выигры-

вает единицу, если решка, то единицу выигрывает B. Это так называемая безобидная

игра, игроки каждый раз выигрывают единицу с равной вероятностью. Пусть a и b

— начальные капиталы игроков. Игра заканчивается, когда один из игроков про-

играет весь свой капитал. Обозначим P

и P

вероятности разорения для A и B

соответственно. Наша задача — найти эти вероятности.

Если обозначить X

выигрыш A в n-м туре (он может равняться 1 или -1 с рав-

ными вероятностями), то S

= X

+ . . . + X

есть суммарный выигрыш A после n

бросаний монеты. Удобно изображать развитие игры на графике.

−a

1 2 3

@¡

¡@

Покажем, что P

+ P

= 1, т. е. с вероятностью единица траектория обязательно

выйдет из полосы. Действительно, для любого натурального N

1 −P

− P

= P(S

∈ (−a, b), S

∈ (−a, b), . . .) ≤

≤ P(|X

+ . . . + X

| < a + b, |X

N+1

+ . . . + X

| < a + b, . . .) =

= P(|X

+ . . . + X

| < a + b)P(|X

N+1

+ . . . + X

| < a + b) . . . = 0,

если N таково, что P(|X

+ . . . + X

| < a + b) < 1. Но для этого достаточно взять

N = a + b, так как при этом

P(|X

+ . . . + X

| = a + b) =

a+b

> 0

P(|X

+ . . . + X

| < a + b) = 1 −

a+b

< 1.

Обозначим через ν момент прекращения игры, т. е. разорения одного из игроков. Яс-

но, что ν — марковский момент; S

= −a с вероятностью P

и S

= b с вероятностью

. Поэтому в силу тождества Вальда

= −aP

+ b(1 − P

) = EνE X

= 0,

если Eν < ∞. Отсюда сразу следует P

a + b

. Отметим, что P

= 1, если b = ∞, то

есть внешне безобидная игра с бесконечно богатым соперником всегда заканчивается

разорением.

Покажем, что Eν < ∞. Вычисление вероятностей P(ν = k) является весьма

сложной задачей, поэтому мы подходящим образом оценим сверху P(ν ≥ k) и вос-

пользуемся формулой Eν =

∞

k=1

P(ν ≥ k). Имеем для уже выбранного числа N

P(ν ≥ mN) ≤ P(|X

+ . . . + X

| < a + b, . . . , |X

(m−1)N+1

+ . . . + X

| < a + b) ≤

≤

1 −

a+b

Eν =

∞

k=1

P(ν ≥ k) =

∞

m=0

mN<k≤(m+1)N

P(ν ≥ k) ≤

≤

∞

m=0

NP(ν ≥ mN) ≤ N

∞

m=0

1 −

a+b

< ∞.

3.8. Условное математическое ожидание

Сначала введем понятие условного распределения. Пусть X и Y — две дискретные

случайные величины, заданные на одном вероятностном пространстве. Обозначим

(u/v) =

P(X = u, Y = v)

P(Y = v)

и назовем эту функцию условным распределением случайной величины X при усло-

вии Y = v. Здесь переменная v принимает только те значения, для которых

P(Y = v) > 0.

Далее рассмотрим математическое ожидание, соответствующее этому условному

распределению (если оно существует):

E(X/v) =

(u/v).

Мы получили тем самым функцию от текущего значения v случайной величины Y .

Рассматривая теперь E(X/Y ) как случайную величину, которая каждому ω ставит

в соответствие E(X/Y (ω)), мы получаем условное математическое ожидание X

относительно Y .

Проиллюстрируем введенное понятие на рисунке. Пусть, как и ранее, Ω = [0, 1],

и графики случайных величин выглядят следующим образом.

X(ω)

Y (ω)

А вот как выглядит график случайной величины E(X/Y ) (он показан жирной

линией):

E(X/Y )

Случайная величина E(X/Y ) получается из X следующим образом: на каждом

из трех отрезков, где Y постоянна, X заменяется на среднее значение, вычисленное

по этому отрезку.

Из приведенного выше определения непосредственно вытекают следующие свой-

ства.

1. Если X и Y независимы, то E(X/Y ) = EX. Это очевидно.

2. Для любой борелевской функции g имеет место

E(g(Y )X/Y ) = g(Y )E(X/Y ),

т. е. g(Y ) выносится из-под знака математического ожидания подобно константе. В

частности, при X = 1 получаем E(g(Y )/Y ) = g(Y ).

Доказательство.

g(Y )X

(u/v) =

P(g(Y )X = u, Y = v)

P(Y = v)

P(g(v)X = u, Y = v)

P(Y = v)

поэтому

E(g(Y )X/v) =

P(g(v)X = u, Y = v)

P(Y = v)

g(v)t

P(X = t, Y = v)

P(Y = v)

= g(v)E(X/v).

3. E(X

+ X

/Y ) = E(X

/Y ) + E (X

/Y ).

Доказательство.

E(X

/v) =

P(X

+ X

= u, Y = v)

P(Y = v)

, t

)

P(X

= t

, X

= t

, Y = v)

P(Y = v)

P(X

= t

, X

= t

, Y = v)

P(Y = v)

P(X

= t

, X

= t

, Y = v)

P(Y = v)

= E(X

/v) + E(X

/v).

4. EX = E[E(X/Y )].

Доказательство.

EX =

uP(X = u) =

P(X = u, Y = v)

P(Y = v)

P(Y = v) =

(u/v)P(Y = v) =

E(X/v)P(Y = v).

Далее введем условное математическое ожидание для случайных величин, име-

ющих абсолютно непрерывное совместное распределение.

Пусть f

X,Y

(u, v) — плотность совместного распределения пары случайных вели-

чин (X, Y ), f

(u) и f

(v) — соответственно плотности случайных величин X и Y .

Для тех значений v, для которых f

(v) > 0, введем условную плотность

(u/v) =

X,Y

(u, v)

(v)

и математическое ожидание (если оно существует)

E(X/v) =

∞

−∞

(u/v)du.

Подставляя в это выражение Y вместо v, получим условное математическое ожида-

ние E(X/Y ).

Перечисленные выше свойства 1 – 4 сохраняются в силе и в этом случае, однако

доказательства будут выглядеть сложнее и мы их не будем приводить. Отметим

только, что во всех этих конструкциях X и Y могут быть векторными — это не

вызовет принципиальных изменений.

3.9. Задача о наилучшем приближении

В этом разделе мы будем рассматривать случайные величины, заданные на одном

вероятностном пространстве и обладающие конечным вторым моментом. Для любых

двух таких величин X, Y введем скалярное произведение (X, Y ) = E(XY ). Оно

конечно в силу неравенства Коши–Буняковского. Введем также норму

kXk

= (X, X) = EX

Сходимость последовательности случайных величин {X

} по этой норме называется

сходимостью в среднем квадратическом, kX

−Xk → 0 ⇐⇒ E(X

−X)

→ 0. Можно

показать, что kX

− Xk → 0 при n → ∞ ⇐⇒ kX

− X

k → 0 при n, m → ∞.

Пусть H — линейное пространство случайных величин с конечным вторым мо-

ментом, замкнутое относительно сходимости в среднем квадратическом. Пусть также

L — некоторое замкнутое линейное подпространство в H. Задача состоит в том, что-

бы приблизить произвольную случайную величину X ∈ H с помощью случайной

величины Y ∈ L.

Назовем

X ∈ L наилучшим приближением для X ∈ H, если

kX −

Xk = min

Y ∈L

kX − Y k.

Теорема.

X ∈ L является наилучшим приближением для X ∈ H тогда и только

тогда, когда

(X −

X, Y ) = 0 для любого Y ∈ L,

т. е. X −

X ортогонально L и в этом смысле

X есть «проекция» X на L.

Доказательство. Пусть

X — наилучшее приближение, тогда

kX −

Xk = min

Y ∈L

kX − Y k = min

∆∈L

kX −

X − ∆k,

где ∆ = Y −

X. Зафиксируем некоторое ∆

6= 0 из L и рассмотрим минимум по

выделенному направлению:

min

kX −

X − λ∆

= min

(X −

X − λ∆

, X −

X − λ∆

) = min

− 2λB + λ