Зубков А.М. Конспект лекций по теории случайных процессов

Подождите немного. Документ загружается.

Рассмотрим последовательность событий

sup

n6t6n+1

|w(t) − w(n)| >

√

Согласно последней оценке

n>0

P{A

} 6 C

n>0

−n

< ∞.

Поэтому при N → ∞

sup

t>N

|w(t) − w([t])|

√

> 1

= P

(

[

n>N

)

n>N

P{A

} → 0,

откуда и следует утверждение леммы 10.4.

Теорема 10.2 доказана.

Таким образом, при любом t приращения w(t+h)−w(t) при h ↓ 0 имеют функции

2h ln ln

своими «асимптотическими огибающими», т. е. значения верхнего и

нижнего пределов отношений

w(t + h) − w(t)

2h ln ln

при h ↓ 0

равны ±∞ с вероятностью 1. Tраектории w(t) и непрерывны, но в любой точке

с вероятностью 1 они имеют верхнюю правостороннюю производную, равную ∞,

и нижнюю правостороннюю производную, равную −∞. То же самое верно и для

левосторонних производных.

Это свойство траекторий броуновского движения можно выразить в терминах

вариации, которая для функции действительной переменной f(t) на отрезке [a, b]

определяется равенством

Var

[a,b]

f(t) = sup

j=1

|f(t

) − f(t

j−1

)|,

где sup берется по всем наборам a = t

< t

< . . . < t

= b, k = 1, 2, . . .

Для дифференцируемой функции вариация совпадает с интегралом от модуля ее

производной.

Лемма 10.5. Если w(t) — процесс броуновского движения, то

P{Var

[0,1]

f(t) = ∞} = 1

и для любого t > 0 при любом ε > 0

lim

max ∆t

→0







j: t

(w(t

) − w(t

j−1

))

− t

> ε







= 0.

Доказательство. Для заданного набора {t

} положим ∆t

= t

− t

j−1

. Тогда по

свойствам процесса броуновского движения

M|w(t

) − w(t

j−1

)| = M|w(∆t

)|.

Случайная величина w(∆t

) имеет нормальное распределение со средним 0 и

дисперсией ∆t

. Поэтому

M|w(∆t

)| =

2π∆t

∞

−∞

|x|exp

−

2∆t

dx =

2π∆t

∞

x exp

−

2∆t

dx =

= 2

∆t

2π

∞

exp(−y)dy =

2∆t

> ∆t

π max ∆t

D|w(∆t

)| = M(w(∆t

))

− (Mw(∆t

))

= ∆t

1 −

т.е. (ввиду того, что приращения винеровского процесса независимы)

m({t

}) = M

j: t

|w(t

) − w(t

j−1

)| >

π max ∆t

(b − a),

d({t

}) = D

j: t

|w(t

) − w(t

j−1

)| =

1 −

(b − a).

Из этих соотношений следует, что m({t

}) → ∞ при max ∆t

→ ∞, и по неравенству

Чебышева для любого x < ∞

j: t

|w(t

) − w(t

j−1

)| < x} 6

6 P







j: t

|w(t

) − w(t

j−1

)| − m({t

})

> m({t

}) − x







d({t

})

(m({t

}) − x)

→ 0

при max ∆t

→ ∞, что эквивалентно первому утверждению леммы.

Для доказательства второго утверждения тоже вычислим математические

ожидания и дисперсии независимых слагаемых:

M(w(t

) − w(t

j−1

))

= Mw

(∆t

) = ∆t

M(w(t

) − w(t

j−1

))

= Mw

(∆t

) = 3(∆t

)

D(w(t

) − w(t

j−1

))

= Mw

(∆t

) − (Mw

(∆t

))

= 3(∆t

)

− (∆t

)

= 2(∆t

)

Отсюда следуют соотношения

j: t

(w(t

) − w(t

j−1

))

j: t

∆t

→ t,

j: t

(w(t

) − w(t

j−1

))

= 2

j: t

(∆t

)

→ 0,

из которых по неравенству Чебышева следует и второе утверждение леммы.

11. Стационарные случайные процессы

Определение. Последовательность ξ = {. . . , ξ

−1

, ξ

, . . .} называется

стационарной в узком смысле, если при любом целом k > 0 распределение вектора

(ξ

, ξ

n+1

, . . . , ξ

n+k

) не зависит от n. Последовательность ξ = {. . . , ξ

−1

, ξ

, . . .}

называется стационарной в широком смысле, если Mξ

и cov(ξ

, ξ

n+r

) существуют и

не зависят от n.

Эти классы последовательностей пересекаются, но не вложены один в другой.

Примеры. 11.1. Последовательность независимых одинаково распределенных

случайных величин с конечными математическим ожиданием и дисперсией

стационарна в обоих смыслах.

11.2. Последовательность независимых одинаково распределенных случайных

величин с бесконечным математическим ожиданием или дисперсией стационарна

только в узком смысле.

11.3. Последовательность независимых случайных величин {ξ

}, в которой

, n ∈ Z, имеют стандартное нормальное распределение, а ξ

2n+1

, n ∈ Z, принимают

значения +1 и −1 с вероятностями

, стационарна в широком смысле, но не в узком.

11.4. Пусть η = {η

} и γ = {γ

} — независимые последовательности независимых

случайных величин, и при любом n ∈ Z случайная величина η

имеет стандартное

нормальное распределение, а P{γ

= 1} = P{γ

= −1} =

. Случайная

последовательность ξ, удовлетворяющая условию

P{ξ = η} = P{ξ = γ} =

является стационарной как в узком, так и в широком смысле.

Пусть ξ = {ξ

} — стационарная в узком смысле последовательность со

значениями в R. Определим отображение θ : R

= {x = {x

}

n∈Z

} → R

равенствами

(θx)

= (x)

k+1

= x

k+1

. Отображение θ взаимно однозначно и

P{θξ ∈ B} = P{ξ ∈ B}

для любого измеримого множества B в R

. Это свойство отображения называют

сохранением меры.

Можно провести построение и в обратном порядке.

Определение. Пусть (Ω, F, P) — основное вероятностное пространство.

Преобразование T : Ω → Ω будем называть преобразованием, сохраняющим

меру, если:

1) преобразование T взаимно однозначно,

2) преобразования T и T

−1

измеримы, т. е. T

−1

A = {ω : T ω ∈ A} ∈ F, T A =

{T ω : ω ∈ A} ∈ F для любого A ∈ F,

3) преобразование T сохраняет меру: P{A} = P{T A} для любого A ∈ F.

Пусть на (Ω, F, P) определены сохраняющее меру преобразование T и случайная

величина ξ = ξ(ω). Тогда последовательность случайных величин ξ = {ξ(T

ω)}

n∈Z

где T

— n-я степень T , является стационарной в узком смысле.

Действительно, если B — измеримое подмножество R

и A = {ω : ξ(ω) ∈ B}, A

{ω : ξ(T ω) ∈ B}, то ξ(ω) = {ξ(T

ω)}

n∈Z

и (ξ(T ω))

= (ξ(ω))

k+1

. Поэтому ω ∈ A

тогда

и только тогда, когда T ω ∈ A, или A

= T

−1

A. Ввиду того, что T сохраняет меру,

имеем P{T

−1

A} = P{A} и, значит, P{A

} = P{A}, т. е. P{ξ(ω) ∈ B} = P{ξ(T ω) ∈ B}

и по индукции P{ξ(ω) ∈ B} = P{ξ(T

ω) ∈ B} при любом n ∈ Z.

Пример 11.5. Пусть (x, y), x, y ∈ [0, 1], — точка единичного квадрата и x =

0, x

. . . , y = 0, y

. . . — записи чисел x и y в двоичной системе счисления.

Сопоставим паре (x, y) бесконечную в обе стороны последовательность 0 и 1 с

запятой, разделяющей знаки x и y: . . . y

, x

. . . Преобразование T : [0, 1]

→

[0, 1]

, соответствующее переносу запятой на один разряд вправо, задается формулой

(x, y) 7→ ({2x}, ([2x] + y)/2), где {·} и [·] обозначают дробную и целую доли числа.

Пусть ω = (x, y) — случайная точка, имеющая равномерное распределение в Ω =

[0, 1]

, ξ(ω) = x

— случайная величина, равная первому знаку после запятой. Тогда

{ξ(T

ω)} — последовательность независимых случайных величин, P{ξ(T

ω) = 0} =

P{ξ(T

ω) = 1} =

Это построение еще раз показывает, что модели случайных явлений,

рассматриваемые в теории вероятностей, по сути детерминированные: вся

траектория стационарного в узком смысле случайного процесса определяется точкой

ω пространства элементарных событий и сохраняющим меру детерминированным

преобразованием T . Вся «случайность» состоит в выборе точки ω.

Теорема Пуанкаре. Пусть (Ω, F, P) — вероятностное пространство. Если T

— сохраняющее меру преобразование Ω и A ∈ F, то

{

∈

ω /

∈

для всех достаточно больших

}

= 0

Доказательство. Положим N = { ω ∈ A : T

ω /∈ Aпри всехn > 1}. Так как

{ω : T

ω ∈ A} ∈ F, то N = A\ ∪

n>1

{ω : T

ω ∈ A}, т. е. N ∈ F. Далее, N ∩ T

−n

N =

∅ при любом n > 1 и T

−m

∩ T

−(m+n)

N = T

−m

(N ∩ T

−n

N) = ∅. Таким образом,

−n

N, n = 0, 1, . . ., — совокупность попарно не пересекающихся множеств, меры

которых одинаковы. Следовательно, P{N} = 0.

Наконец, если B = {ω ∈ A : T

ω /∈ A для всех достаточно больших n}, то

B =

[

m>0

и поэтому P{B} = 0. Теорема доказана.

Следствие 11.1. Если ω ∈ A, то

P{ω ∈ A : |{n > 1 : T

ω ∈ A}| = ∞} = P{A}.

Определение. Пусть (Ω, F, P) — вероятностное пространство, T : Ω → Ω —

сохраняющее меру преобразование. Множество A ∈ F называется инвариантным

относительно T , если T A = A. Множество A называется почти инвариантным,

если P {A M T A} = 0, где A M B = AB ∪ AB — симметрическая разность

множеств A и B. Случайная величина ξ = ξ(ω) называется почти инвариантной,

если P{ζ(ω) = ζ(T ω)} = 1.

Совокупность почти инвариантных множеств образует σ-алгебру I. Эта σ-алгебра

всегда не пуста: ∅, Ω ∈ I.

Определение. Сохраняющее меру преобразование T называется эргодическим

(

метрически транзитивным

), если каждое почти инвариантное множество имеет

вероятность 0 или 1. Стационарная в узком смысле последовательность ξ эргодична,

если эргодично соответствующее ей преобразование сдвига T .

Теорема 11.2. Преобразование T , сохраняющее меру, эргодично тогда и только

тогда, когда каждая почти инвариантная случайная величина постоянна с

вероятностью 1.

Доказательство. а) Пусть T эргодично и ζ — почти инвариантная случайная

величина: P{ζ(ω) = ζ(T ω)} = 1. Тогда B

= {ω : ζ(ω) 6 v} ∈ I при любом v ∈ R,

значит, P{B

} равно 0 или 1 при любом v. Положим V = sup{v : P{B

} = 0}. Так

как B

↑ Ω при v ↑ ∞ и B

↓ ∅ при v ↓ −∞ , то P{B

−v

} = 0 и P{B

} = 1 при

достаточно больших v, т. е. |V | < ∞. Далее,

P{ζ(ω) < V } = P

(

∞

[

n=1

ζ(ω) < V −

)

= 0.

Аналогично можно показать, что P{ζ(ω) > V } = 0. Значит, P{ζ(ω) = V } = 1.

б) Обратно, пусть любая случайная величина почти инвариантна относительно

T . Рассмотрим любое почти инвариантное множество B и случайную величину I

—

индикатор множества B. Эта случайная величина на множестве меры 1 принимает

только 2 значения: 0 и 1. Поскольку она почти инвариантна, постольку P{B} равно

либо 0, либо 1. Поэтому T эргодично. Теорема доказана.

Теорема 11.3. Сохраняющее меру преобразование T эргодично тогда и только

тогда, когда для любого множества A ∈ F, P{A} > 0,

(

∞

[

n=0

)

= 1.

Доказательство. Пусть T эргодично и B =

∞

n=0

A. Тогда T B ⊂ B. Так

как T сохраняет меру, то P{T B} = P{B}. Значит, P{B M T B} = 0, т.е. B почти

инвариантно. Так как T эргодично, то P{B} равно 0 или 1. Но P{B} > P{A} > 0,

следовательно, P{B} = 1.

Обратно, если T не эргодично, то существует почти инвариантное множество

A ∈ I с 0 < P{A} < 1. Тогда P{T

A M A} = 0 при любом n и

P{B} = P

(

[

∞

[

n=1

A M A)

= P{A} < 1.

Теорема доказана.

Для теории вероятностей представляет интерес является свойство ослабления

зависимостей между элементами стационарной последовательности.

Определение. Стационарная в узком смысле последовательность ξ = {ξ

}

со значениями в измеримом пространстве S

обладает свойством сильного

перемешивания, если для любых измеримых множеств A ∈ S

{...,−1,0}

и B ∈ S

{0,1,...}

P{{ξ

}

t6s

∈ A, {ξ

}

t>s+n

∈ B} → P{{ξ

}

t60

∈ A}P{{ξ

}

t>0

∈ B}, n → ∞.

Условие сильного перемешивания удобно использовать при доказательстве

предельных теорем. Оно близко к условию эргодичности, но не совпадает с ним.

Следующая теорема обобщает закон больших чисел на стационарные

последовательности; в отличие от обычного закона больших чисел предел средних

арифметических может быть случайной величиной.

Теорема Биркгофа–Хинчина. Если ξ = {ξ

}

k∈Z

— стационарная в узком

смысле последовательность, I — σ-алгебра почти инвариантных множеств и

M|ξ

| < ∞, то

n−1

k=0

→ M{ξ

|I}, n → ∞

= 1. (57)

В частности, если последовательность {ξ

} эргодична, то

n−1

k=0

→ Mξ

, n → ∞

= 1. (58)

Доказательство. Так как для эргодической последовательности σ-алгебра I

состоит только из множеств меры 0 и 1, то P{M{ξ

|I} = Mξ

} = 1, и поэтому

достаточно доказать только первое утверждение.

Пусть T — сохраняющее меру преобразование сдвига, соответствующее ξ. Тогда

(ω) = ξ(T

ω), ξ(ω) = ξ

(ω).

Лемма 11.1. Если выполнены условия теоремы Биркгофа–Хинчина и

= 0, S

(ω) =

n−1

k=0

ξ(T

ω), M

(ω) = max{0, S

(ω), . . . , S

(ω)},

то при любом n > 1

Mξ(ω)I

(ω) > 0.

Доказательство леммы. По условию S

(ω) 6 M

(ω) при всех 0 6 k 6 n и

ω ∈ Ω, поэтому

ξ(ω) + M

(T ω) > ξ(ω) + S

(T ω) = S

k+1

(ω).

Таким образом, ξ(ω) > S

(ω) − M

(T ω) при k = 1, . . . , n, т. е.

ξ(ω) > max{S

(ω), . . . , S

(ω)} − M

(T ω).

С другой стороны, {M

(ω) > 0} = {max{S

(ω), . . . , S

(ω)} > 0} и поэтому

Mξ(ω)I

(ω) > M(max{S

(ω), . . . , S

(ω)} − M

(T ω))I

(ω) >

> M(M

(ω) − M

(T ω))I

(ω) > M(M

(ω) − M

(T ω)) = 0.

Лемма доказана.

Утверждение теоремы выполняется или не выполняется одновременно для любых

таких стационарных последовательностей {ξ

} и {η

}, что η

= ξ

−∆, где ∆ — почти

инвариантная относительно T случайная величина. Выбирая в качестве ∆ величину

M{ξ|I}, получаем, что достаточно рассмотреть случай, когда M{ξ|I} = 0.

Положим S = lim sup

n→∞

, S = lim inf

n→∞

. Докажем что справедливо равенство

P{0 6 S 6 S 6 0} = 1,

из которого следует утверждение теоремы.

Так как S(ω) = S(T ω), то S инвариантна и множество B

= {ω : S(ω) > ε} тоже

инвариантно при любом ε > 0. Положим

∗

(ω) = (ξ(ω) − ε)I

(ω), S

∗

(ω) = ξ

∗

(ω) + . . . + ξ

∗

k−1

ω),

∗

(ω) = max{0, S

∗

(ω), . . . , S

∗

(ω)}.

Согласно лемме Mξ

∗

> 0. Но при n ↑ ∞

∗

> 0} =

max

16k6n

∗

> 0

↑

sup

k>1

∗

> 0

sup

k>1

∗

> 0

sup

k>1

> ε

= B

потому что B

= {S > ε} ⊆

sup

k>1

> ε

Так как M|ξ

∗

| 6 M|ξ| + ε, то по теореме о мажорируемой сходимости

0 6 Mξ

∗

→ Mξ

∗

Следовательно,

0 6 Mξ

∗

= M(ξ − ε)I

= MξI

− εP{B

} =

= MI

M{ξ|I} − εP{B

} = −εP{B

Поэтому P{B

} = 0 при любом ε > 0, значит, P{S 6 0} = 1.

Аналогично, рассматривая вместо последовательности {ξ

} последовательность

{−ξ

}, получим:

lim sup

n→∞

−S

= −lim inf

n→∞

= −S, P{−S 6 0} = P{ S > 0} = 1.

Теорема доказана.

Рассмотрим теперь некоторые свойства случайных процессов, стационарных в

широком смысле, т. е. таких случайных последовательностей ξ = {. . . , ξ

−1

, ξ

, . . .},

что Mξ

и cov(ξ

, ξ

n+r

) существуют и не зависят от n. Нам удобнее будет считать,

что значениями ξ

являются комплексные числа. Для комплекснозначных случайных

величин ξ, η с M|ξ|

< ∞, M |η|

< ∞ положим

(ξ, η) = Mξη, cov(ξ, η) = M(ξ − Mξ)(η − Mη),

где η — число, комплексно сопряженное с η. Функция R(n) = cov(ξ

, ξ

t+n

), n ∈

Z, называется ковариационной функцией последовательности ξ, а ρ(n) =

R(n)

R(0)

—

корреляционной функцией.

Ковариационная функция последовательности ξ положительно определена: если

c = Mξ

, то для любых комплексных чисел a

, . . . , a

и любых t

, . . . , t

∈ Z, m > 1,

i,j=1

R(t

− t

) =

i,j=1

M(ξ

− c)(ξ

− c) =

i=1

(ξ

− c)

!Ã

j=1

(ξ

− c)

= M

i=1

(ξ

− c)

> 0.

Примеры. 11.6. Пусть ξ

= ξg(n), где Mξ = 0, M|ξ|

< ∞, а g = g(n) — некоторая

функция, g(0) = 1. Тогда Mξ

t+n

= M|ξ|

g(t)g(t + n). Последовательность {ξ

}

будет стационарной тогда и только тогда, когда

M|ξ

= |g(n)|

M|ξ|

= M|ξ

= M|ξ|

, n ∈ Z,

и g(t)g(t + n) зависит только от n. Из первого условия следует, что |g(n)| = 1, т. е.

g(n) = e

iλ(n)

при некоторой действительной функции λ(n), λ (0) = 0, а из второго —

что e

i(λ(t)−λ(t+n))

зависит только от n, а это возможно только при λ(n ) = nλ(1) = nλ.

Таким образом, стационарная последовательность имеет вид ξ

= ξe

inλ

, n ∈ Z, а ее

ковариационной функцией является R(n) = M|ξ|

−inλ

11.7. Если стационарные в широком смысле случайные последовательности {ξ

}

и {η

} некоррелированы (т. е. cov(ξ

, η

) = 0 при любых m, n ∈ Z), то их сумма

тоже является случайной последовательностью, стационарной в широком смысле.

Действительно, M(ξ

+ η

) = Mξ

+ Mη

= const, а оператор ковариации линеен по

каждому из двух аргументов, и поэтому

cov(ξ

+ η

, ξ

t+n

+ η

t+n

) = cov(ξ

, ξ

t+n

) + cov(η

, η

t+n

)

зависит только от n. Поэтому любая линейная комбинация некоррелированных

последовательностей из примера 11.6

k=1

inλ

, n ∈ Z,

где β

, . . . , β

— некоррелированные случайные величины с нулевыми средними:

Mβ

= 0, M|β

= σ

, k = 1, . . . , N,

cov(β

, β

) = Mβ

= 0, 1 6 k < j 6 N,

тоже является стационарной в широком смысле последовательностью с

ковариационной функцией

R(n) =

k=1

inλ

Этот пример можно обобщить на бесконечные линейные комбинации:

∞

k=−∞

inλ

, n ∈ Z, (59)

если дополнительно потребовать выполнение условия

∞

k=−∞

< ∞, чтобы

обеспечить сходимость ряда в среднеквадратичном. Ковариационную функцию

последовательности (59) можно представить в виде

R(n) =

∞

k=−∞

inλ

−π

inλ

dF (λ), F (λ) =

k: λ

6λ

11.8. Если {ξ

} — последовательность, образованная некоррелированными

случайными величинами с Mξ

= 0, Mξ

= δ

, k, j ∈ Z, где δ

— символ

Кронекера, то она стационарна в широком смысле и имеет корреляционную функцию

R(0) = 1, R(n) = 0 (n ∈ Z\{0}).

Эту функцию тоже можно представить в виде интеграла:

R(n) =

−π

inλ

2π

dλ;

здесь спектральная функция соответствует равномерному распределению на отрезке

[−π, π]; в этом случае последовательность называется «белым шумом».

Теорема Герглотца. Если R(n) — ковариационная функция стационарной

в широком смысле последовательности { ξ

}, Mξ

= 0, то существует такая

конечная неотрицательная мера F = F (B) на отрезке [−π, π], что для любого n ∈ Z

R(n) =

−π

inλ

F (dλ).

Доказательство. Положим для N > 1 и λ ∈ [−π, π]

(λ) =

2πN

k=1

j=1

R(k − j)e

−ikλ

ijλ

Так как R(n) неотрицательно определена, то f

(λ) > 0. Число таких пар (k, j), что

k − j = m, равно N − |m|, поэтому

(λ) =

2π

|m|<N

1 −

|m|

R(m)e

−imλ

Рассмотрим неотрицательные меры F

(B) =

(λ)dλ, B ∈ B([−π, π]). Ввиду

ортогональности функций e

inλ

на [−π, π]

−π

inλ

(dλ) =

−π

inλ

(λ)dλ =

(

1 −

|n|

R(n), |n| < N,

0, |n| > N.

Неотрицательные меры F

, N > 1, сосредоточены на отрезке [−π, π], и

([−π, π]) = R(0) < ∞ для любого N > 1. По первой теореме Хелли существуют

такие {N

} ⊆ {1, 2, . . .} и мера F , что F

слабо сходится к F при k → ∞. Тогда

−π

inλ

F (dλ) = lim

k→∞

−π

inλ

(dλ) = lim

k→∞

1 −

|n|

R(n) = R(n), n ∈ Z.

Теорема доказана.

Теорема Бохнера–Хинчина. Для того чтобы функция R(n), n ∈ Z, была

ковариационной функцией стационарной в широком смысле последовательности,

необходимо и достаточно, чтобы она допускала представление

R(n) =

−π

inx

F (dx) (60)

с некоторой неотрицательной мерой F на [−π, π].

Доказательство. Необходимость следует из теоремы Герглотца. Для

доказательства достаточности покажем, что по любой неотрицательной мере F

на [−π, π] можно построить стационарную в широком смысле последовательность

с ковариационной функцией (60). Пусть σ

= F ([−π, π]). Построим случайную

величину ξ с P{ξ 6 x} =

F ([−π, x]) и положим ξ

= σe

i(nξ+γ)

, где ξ и γ независимы

и γ имеет равномерное распределение на отрезке [−π, π]. Тогда при любом n ∈ Z

Mξ

= σ

−π

i(nx+y)

F (dx)

2π

dy = 0,

поскольку при любом x интеграл по y равен 0, и при любых t, n ∈ Z

R(t + n, t) = Mξ

t+n

= Mσe

i((t+n)ξ+γ)

σe

−i(tξ+γ)

= σ

−π

i((t+n)x+y)

−i(tx+y)

F (dx)

2π

dy =

−π

inx

F (dx)

2π

dy =

−π

inx

F (dx).

Теорема доказана.

Список литературы

[1] Боровков А.А. Теория вероятностей. – М., "Эдиториал УРСС", 1999.

[2] Севастьянов Б.А. Курс теории вероятностей и математической статистики. —

М., Наука, 1982.

[3] Феллер В. Введение в теорию вероятностей и ее приложения, тт.1,2. – М., Мир,

1984.