Лекции - Прикладная теория информации. Краткий конспект лекций
Подождите немного. Документ загружается.
мех H(X/Y)=0, следовательно, R =H(X). Этот предел в слу-
чае канала без памяти равен взаимной информации:
R=I(X,Y)=H(X) -H(X|Y)=H(Y) -H(Y|X) .
Скорость передачи информации R полностью определя-
ется
вероятностями
px py x i m
iji x
() (|) , и ()
=
1
. Поэтому изменять
величину R мы можем только за счет изменения вида рас-
пределения px
i
(), поскольку
py x
ji
(|)
— характеристика
неуправляемого канала. Определим пропускную способ-
ность канала С как максимальную по px
i
()
С
корость пере-
дачи информации:
CRIXY
px
i
px
i
==
max max ( , )
() ()
.
В случае отсутствия помех
CHXm
px
i
x
==max ( ) log
()
.
ВЫЧИСЛЕНИЕ ПРОПУСКНОЙ СПОСОБНОСТИ
СИММЕТРИЧНЫХ КАНАЛОВ
Существует класс каналов, для которых пропускная спо-
собность С легко вычисляется. Канал полностью описыва-
ется так называемой стохастической матрицей
py x py x
py x py x
m
Y
m
X
m
Y
m
X
(|),...,( |)
(| ),...,( | )
,
11 1
1
в
которой сумма всех элементов, образующих строку, рвана
единице.
Канал называется с и м м е т р и ч н ы м п о в х о д у ,
если строки матрицы различаются только порядком расста-
новки некоторого множества чисел
pp
m
Y
1
,...,
Для симметричных по входу каналов частная условная
энтропия
HYx pyx yx p p
iji
j
m
Y
ji j
j
m
Y
j
(|) ( |)log(|) log.
=− =−
==
∑∑
11
Она не зависит от номера передаваемой буквы и может
быть вычислена по любой строке матрицы. Поэтому услов-
ная энтропия
HYX px HYx p p
ii
i
m
X
j
j
m
Y
j
(| ) ( ) (| ) log .
==−
==
∑∑
11
Канал называется с и м м е т р и ч н ы м п о в ы х о д у,
если столбцы матрицы различаются только порядком рас-
становки некоторого множества чисел
qq
m
X
1
,...,
.
Если распределение источника равномерное
(( ) ),px
m
i
X
=
1
то распределение
py
j
()
на выходе симметричного по выхо-
ду канала также будет равномерным. При этом энтропии
Н(Х) и H(Y) достигают своего максимального значения. В
этом легко убедиться, если доказать, что вероятность
py
j
()
не зависит от у
j
. Представим вероятность
py
j
()
в виде
py px py x
jiji
i
m
X
() ()(|).=
=
∑
1
Поскольку
и ,тоpx
m
py x q
i
X
ji i
() (|)
==
1
py
m
q
j
X
i
i
m
X
() .
=
=
∑
1
1
Сумма q
i
i
m
X
=
∑
1
не зависит от номера столбца j и в общем
случае не равна единице. Поэтому вероятность
py
j
()
также
не зависит от j и равна
py
m
j
Y
()=
1
. При этом
HX m HY m
XY
( ) log , ( ) log .
==
Канал называется симметричным, если он симметричен
по входу и выходу. Для симметричного канала H(Y|X) не
зависит от распределения источника сообщений, поэтому
пропускная способность
C HY HYX HY HYX
mpp
px
i
px
i
Yii
j
m
Y
=−=−=
=+
=
∑
max[ ( ) ( | )] max ( ) ( | )
log log .
() ()
1
В качестве примера вычислим пропускную способность
симметричного канала, который описывается матрицей
1
11
1
1
−
−−
−
−
p
p
m
p
m
p
m
p
e
ee
e
e
, , ...,
, ...,
,
. . . . . . . . . .
где m=m
X
=m
Y
. В этом случае
C 1
0,8
0,6
0,4
py x
pij
p
m
ij
ji
e
e
(|)
,,
,.
=
−=
−
≠
1
1
0,2
0 0,2 0,4 0,6 0,8 1 P
e
Рис. 3. Зависимость пропускной
способности ДСК от вероятности ошибки
p
e
Вероятность 1-p
e
равна вероятности правильного приема
символа. Вероятность ошибки p
e
равна вероятности приема
y
j
c ji≠ при условии, что было передано x
i
. Тогда
Cm p pp
p
m
eee
e
=+− −+
−
log ( ) log( ) log11
1
.
Широкое распространение получил двоичный симмет-
рич-ный канал (ДСК) (m=2) , для которого пропускная спо-
собность (Рис. 3)
Cpppp
eeee
=+ − − +11 1()log()log.
Максимальная скорость передачи информации, равная
единице, получается при р
е
=0 и при р
е
=1. В этом случае
множества Х и Y находятся во взаимно однозначном соот-
ветствии, и по принятому у
j
(j=1, 2) всегда можно опреде-
лить с вероятностью, равной единице, переданную букву. К
сожалению, это возможно только тогда, когда априори (до
приема) известно значение вероятности р
е
(нуль или едини-
ца).