изображается прямоугольником, а возможные переходы из состояния в состояние – стрелками.
Пример.
Станок – система S, которая может находиться в одном из пяти возможных
состояний:
S
1
– исправен, работает;
S
2
– неисправен, ожидает осмотра;
S
3
– осматривается;
S
4
– ремонтируется;
S
5
– списан.
1) Рассмотрим первый случай – процессы с дискретным временем. Система
S оказывается в тех или других состояниях, ведя себя, например, следующим
образом: S
1
S
2
S
4
S
6
… или S
1
S
3
S
2
S
3
S
5
S
6
S
2
…
Условимся обозначать S
i
(k)
событие, состоящее в том, что
после k шагов система находится в состоянии S
i
. Процесс,
происходящий в системе можно представить как цепочку
событий: S
1
(1)
, S
3
(2)
, S
2
(3)
, S
3
(4)
, S
5
(5)
, S
6
(6)
, S
2
(7)
.
Предполагается, что при любом событии k система S
может оказаться в любом состоянии S
i
. Обозначим вероятности
этих событий p
S
(k).
Вероятность событий после первого шага: p
1
(1) = P(S
1
(1)
);
p
2
(1) = P(S
2
(1)
); p
3
(1) = P(S
3
(1)
); …; p
n
(1) = P(S
n
(1)
).
Вероятность событий после второго шага: p
1
(2) = P(S
1
(2)
); p
2
(2) = P(S
2
(2)
); p
3
(2) = P(S
3
(2)
); …; p
n
(2) =
P(S
n
(2)
).
Вероятность событий после k-ого шага: p
1
(k) = P(S
1
(k)
); p
2
(k) = P(S
2
(k)
); p
3
(k) = P(S
3
(k)
); …; p
n
(k) =
P(S
n
(k)
).
Для каждого шага k p
1
(k) + p
2
(k) + p
3
(k) + … + p
n
(k) = 1, так как это – вероятности несовместимых
событий.
При рассмотрении марковских цепей удобно
пользоваться графом состояний, на котором у стрелок
переходов из состояния в состояние проставлены
вероятности таких переходов. Такой граф называется
"размеченный граф состояний".
Допустим, что для каждого состояния известна
вероятность перехода в любое другое состояние за один
шаг. Вероятность перехода из состояния S
i
в состояние S
j
обозначается P
ij
. Вероятности переходов из любого
состояния в любое другое удобно записывать в виде
матрицы (таблицы):
.
Если вероятность перехода из состояния в состояния равна нулю, значит, такой переход
невозможен. Вероятность P
ii
(P
11
, P
22
и т. д.) обозначает задержку систему в одном и том же состоянии.
Имея в распоряжении размеченный граф состояний (матрицу переходных состояний) можно
найти вероятности состояний системы после любого шага k.
Предположим, что в начальный момент система S находится в каком-то состоянии S
m
. Тогда для
начального момента k = 0 имеем
p
1
(0) = 0; p
2
(0) = 0; …; p
m
(0) = 1; …; p
n
(0) = 0.
Найдём вероятности состояний системы после первого шага k = 0. Система перейдёт из
состояния S
m
в любое из состояний S
1
, S
2
, …, S
m
с вероятностями P
m1
, P
m2
, …, P
mm
, …, P
mn
. Вероятности
состояний после первого шага будут
p
1
(1) = P
m1
; p
2
(1) = P
m2
; …; p
m
(1) = P
mm
; …; p
n
(1) = P
mn
.
Найдём вероятности состояний после второго шага k = 2. Для этого задаются гипотезами, что
система после первого шага была в состоянии S
1
, или S
2
, или S
3
, … Вычисления в дальнейшем
производят по формуле полной вероятности.
p
1
(2) = p
1
(1) P
11
+ p
2
(1) P
21
+ … + p
n
(1) P
n1
;
p
2
(2) = p
1
(1) P
12
+ p
2
(1) P
22
+ … + p
n
(1) P
n2
;