Акулиничев Ю.П., Дроздова В.И. Теория информации

Подождите немного. Документ загружается.

Ю.П. Акулиничев, В.И. Дроздова

ТЕОРИЯ ИНФОРМАЦИИ

Учебное пособие

ТОМСК – 2005

Томский межвузовский центр

дистанционного образования

Корректор: Осипова Е.А.

Акулиничев Ю.П., Дроздова В.И.

Теория информации: Учебное пособие. − Томск: Томский меж-

вузовский центр дистанционного образования, 2005. − 108 с.

 Акулиничев Ю.П., Дроздова В.И., 2005

 Томский межвузовский центр

дистанционного образования, 2005

СОДЕРЖАНИЕ

Введение ...........................................................................................4

1 Сигналы и помехи в системах передачи информации.........5

2 Дискретные каналы ..................................................................18

2.1 Собственная информация. Взаимная информация ...........18

2.2 Средняя собственная информация (энтропия) ..................25

2.3 Средняя взаимная информация...........................................31

2.4 Информационные характеристики случайных

последовательностей............................................................39

3 Непрерывные каналы ..............................................................44

3.1 Взаимная информация .........................................................44

3.2 Относительная (дифференциальная) энтропия .................50

3.3 Информационные характеристики непрерывных

случайных функций .............................................................56

4 Кодирование. Пропускная способность канала ..................62

4.1 Основные определения. Пропускная способность

канала ....................................................................................62

4.2 Кодирование в дискретных каналах без шума ..................70

4.3 Кодирование в дискретном канале с шумом .....................78

5 Другие меры информации .......................................................88

5.1 Информация по Кульбаку ...................................................88

5.2 Информация по Фишеру.....................................................96

Заключение ..................................................................................105

Список рекомендуемой литературы.......................................106

Приложения.................................................................................107

ВВЕДЕНИЕ

Активное изучение любой математической дисциплины не-

возможно без решения задач, и теория информации не является

исключением. Именно по этой причине в 1976 году был подго-

товлен один из первых в СССР специализированных сборников

задач по теории информации [14]. Прошедшие годы показали,

что, несмотря на появление ряда более новых учебников и за-

дачников [1, 3, 4, 7, 9, 10 –13], книга продолжает оставаться по-

лезной при подготовке студентов различных специальностей.

Поэтому в основу предлагаемого пособия положен материал

указанного сборника с внесением необходимых дополнений и

исправлений.

Каждый из 13 разделов пособия содержит основные теоре-

тические сведения, излагаемые в конспективной форме, и под-

робные решения ряда типичных примеров.

Книга охватывает важнейшие направления статистической

теории информации, но основное содержание составляет мате-

риал, иллюстрирующий методы классической теории информа-

ции К. Шеннона. Кроме этого, в разделе 5 приводится ряд задач

на применение мер информации по Р. Фишеру и С. Кульбаку.

Главный принцип подбора материала – это показать, как ре-

зультаты теории информации позволяют находить предельные,

потенциальные характеристики системы передачи информации.

Рассматриваются также способы передачи и приема, позволяю-

щие достигнуть этих потенциальных характеристик или хотя бы

приблизиться к ним. Именно по этой причине в пособии нашли

отражение элементы теории кодирования, теории проверки ста-

тистических гипотез и теории оценок.

Материал пособия соответствует программе курса «Теория

информации» для студентов, обучающихся по направлению

230000 «Информатика и вычислительная техника», а также бу-

дет полезен при изучении соответствующего раздела в курсах

«Теория электрической связи» и «Радиотехнические системы

передачи информации» для студентов, обучающихся по направ-

лениям «Телекоммуникации» и «Радиотехника».

1 СИГНАЛЫ И ПОМЕХИ В СИСТЕМАХ ПЕРЕДАЧИ

ИНФОРМАЦИИ

Сигнал. Принято считать, что передача информации про-

исходит тогда, когда некоторый объект (получатель информа-

ции) приобретает знания, сведения, данные о состоянии другого

объекта (источника информации).

Сигналами называются состояния объектов в цепи, связы-

вающей источник с получателем, при условии, что изменение

состояния источника приводит к изменению состояний осталь-

ных объектов в этой цепи по правилам, хотя бы частично из-

вестным получателю. Такие правила называются кодом.

Следует подчеркнуть, что всегда можно указать пару край-

них элементов в этой цепи сигналов: переданный сигнал (сооб-

щение), то есть состояние источника информации, и принятый

сигнал, то есть состояние объекта, доступного для непосредст-

венного наблюдения получателем.

Состояние любого объекта можно математически описать

при помощи набора чисел (параметров). Поскольку значения

этих параметров обычно изменяются со временем, то математи-

ческой моделью сигнала служит функция времени (и, возможно,

других аргументов, например пространственных координат).

Интересоваться значением передаваемого сигнала

()

t и на-

блюдать с этой целью принимаемый сигнал

()yt имеет смысл

только в том случае, когда значения этих функций заранее неиз-

вестны получателю.

Наиболее распространенной математической моделью

сигнала, удовлетворяющей этому требованию и допускающей

строгое количественное описание, является случайная функция.

При этом конкретной реализации сигнала, возникшей в результате

опыта, ставится в соответствие конкретная реализация этой

случайной функции. Множество всех возможных реализаций сиг-

нала с указанием вероятностной меры, соответствующей каждой

из реализаций, называется ансамблем.

Случайная функция называется дискретной по данному па-

раметру, если множество возможных значений этого параметра

конечно или счетно. В противном случае, когда параметр может

принимать любое значение из некоторой непрерывной области,

функция называется непрерывной по данному параметру. Пере-

ход от непрерывного сигнала к дискретному называется кванто-

ванием (дискретизацией), а обратный переход – интерполяцией

(восстановлением). Случайная функция, дискретная по времени,

называется случайной последовательностью.

Типичная процедура квантования по времени заключается в

том, что берут отсчеты исходной непрерывной функции в мо-

менты времени

, ,...,

tt t, отстоящие один от другого на вели-

чину

∆

, называемую шагом квантования по времени (рис. 1.1,

б). Полученная в результате квантования случайная последова-

тельность – система непрерывных случайных величин

(1) (2) ( )

, ,...,

XX в соответствии с теоремой В.А. Котельникова

полностью определяет исходную случайную функцию

()

t ,

если

n →∞, а шаг квантования выбран из условия

1/(2 )

tF∆≤ , где

F – верхняя граничная частота в спектре

сигнала

()

t .

Квантование по уровню, т.е. переход от непрерывных вели-

чин

()k

к дискретным

()k

, иллюстрируется рис. 1.1, в.

В дальнейшем будем рассмат-

ривать следующие модели сообще-

ний и сигналов:

а) непрерывная или дискретная

случайная величина;

б) непрерывная или дискретная

случайная последовательность, т.е.

система n непрерывных или дис-

кретных случайных величин;

в) непрерывная случайная функ-

ция, т.е. непрерывная функция време-

ни, значения которой в любые момен-

ты времени являются непрерывными

случайными величинами.

Рис. 1.1

Модель сигнала – случайная величина. Простейшая мо-

дель сигнала – случайная величина

Полное математическое описание дискретной случайной

величины

дает ее закон распределения, т.е. таблица, в ко-

торой перечислены все возможные значения этой случайной

величины

, ,...

x и соответствующие им вероятности

( ), ( ),...px px . Дискретная случайная величина

называется

m-ичным символом (буквой, цифрой), если множество ее воз-

можных значений

, ,...,

xx конечно. Это множество называ-

ется алфавитом, а число m − основанием кода. Термин «символ

» применяется для указания конкретного

-гo элемента ал-

фавита.

Полное математическое описание непрерывной случайной

величины

содержит ее функция распределения ()Fx либо

плотность вероятности ()Wx, если последняя существует.

Типичная процедура квантования непрерывной величины

, т.е. переход к дискретной величине '

, заключается в сле-

дующем. Область возможных значений случайной величины

делят на

m интервалов с длинами

, ,...,

xx∆∆ ∆ и задают

множество

, ,...,

xx возможных значений дискретной слу-

чайной величины

. Обычно, хотя это не обязательно, в каче-

стве

выбирают середину j-гo интервала. Далее считают, что

дискретная величина

приняла значение

, если реализация

непрерывной случайной величины

попала внутрь j-гo интер-

вала (рис. 1.2). Вероятность этого события равна

() ()

xWxdx

+∆

−∆

∫

(1.1a)

Если длины интервалов настолько малы, что относительное

изменение плотности ()Wx внутри интервала незначительно, то

приближенно имеем

() ()

jjj

xWxx

≈

∆ .

(1.1б)

Рис. 1.2

Квантование называется равно-

мерным, если длины всех интервалов

равны между собой, тогда величина

∆

=∆ называется шагом кван-

тования по уровню.

Кроме закона распределения, для описания случайной ве-

личины нередко используют числовые характеристики, являю-

щиеся математическими ожиданиями некоторых функций ()

от случайной величины

. Такие характеристики вычисляют

по формуле

[]

M() ()()

xpx

ϕϕ

∑

– для дискретных

[]

M() ()()

xW xdx

ϕϕ

∞

−∞

∫

– для непрерывных

(1.2)

Простейшей моделью пары «сообщение – сигнал» является

система двух случайных величин

Y .

Если эти случайные величины дискретны, то их полной ха-

рактеристикой служит набор ms совместных вероятностей

(, )

, где m – основание кода сообщения, s – основание ко-

да сигнала.

Система непрерывных случайных величин

Y полностью

характеризуется функцией распределения (, )Fxy или совмест-

ной плотностью вероятности (, )Wxy при условии существова-

ния последней.

Для каждой из случайных величин, входящих в систему,

можно вычислить безусловные и условные вероятности (плот-

ности вероятности):

() (, )

jjk

xpxy

∑

, () (, )Wx Wxydy

∞

−∞

∫

() (,)

kjk

ypxy

∑

, () (,)Wy Wxydx

∞

−∞

∫

(1.3)

(, )

(/)

()

px y

(, )

(/)

()

Wxy

Wx y

(, )

(/)

()

py x

(, )

(/)

()

Wxy

Wyx

(1.4)

причем по формулам умножения вероятностей имеем

(, ) ()( / ) ()( / )

jk j k j k j k

xy pxpy x pypx y

= ,

(, ) () ( / ) () ( / )Wxy WxWyx WyWx y

= .

(1.5)

Случайные величины

и Y статистически независимы,

если для всех значений

и y выполняется условие

(/) ()

jk j

xy px

, (/) ()Wx y Wx

(1.6)

Числовые характеристики системы вычисляются по формуле

[]

M(,) (,)(,)

jk jk

Yxypxy

ϕϕ

∑∑

[]

M(,) (,)(,)

Y x y W x y dxdy

ϕϕ

∞∞

−∞ −∞

∫∫

(1.7)

Условные числовые характеристики, например математиче-

ское ожидание (, )

при условии, что случайная величина Y

приняла конкретное значение

y , вычисляем по формуле

[]

M(,) (,)(/)

kjkjk

yxypxy

ϕϕ

∑

[]

M(,) (,)(/)

kkk

yxyWxydx

ϕϕ

∞

−∞

∫

(1.8)

Модель сигнала – случайная последовательность. Более

сложной моделью сообщения и сигнала являются случайные

последовательности.

Дискретная по времени и по уровню случайная функция

()

t полностью определяется последовательностью

случай-

ных чисел – отсчетов

(1) ( )

,...,

X , взятых в моменты времени

, ,...,

tt t. Совокупность символов

(1) ( )

,...,

X образует кодо-

вое слово, а число n символов в слове называется его длиной.

Аналогично для сигнала

()Yt имеем последовательность

отсчетов

(1) ( )

,...,

YY, образующую кодовое слово длины z.

Основание кода сигнала s также может отличаться от ос-

нования кода сообщения m .

Последовательность

(1) ( )

( ,..., )

XX X= имеет

Nm=

возможных значений, а для последовательности

(1) ( )

( ,..., )

YY Y= это число равно

. Поэтому для полно-

го описания системы

Y необходимо перечислить

NNN ms== возможных реализаций этой системы и ука-

зать их вероятности

(1) ( ) (1) ( )

( ,..., , ,..., )

jkr q

px x y y .

Из них могут быть получены безусловные и условные ха-

рактеристики ()

t и ()Yt по формулам, аналогичным (1.3) –

(1.8), например:

(1) ( ) (1) ( ) (1) ( )

( ,..., ) ( ,..., , ,..., )

nnz

jk jkr q

xx pxxyy

=⋅⋅⋅

∑∑

(1) ( ) (1) ( )

(1) ( )

( ,..., , ,..., )

( ,..., / ,..., )

( ,..., )

jkr q

xxyy

px x y y

py y

и так далее.

Две последовательности бесконечной длины

(1) (0) (1)

..., , , ,...XXXX

−

= и

(1) (0) (1)

..., , , ,...YYYY

−

называются стационарными и стационарно связанными, если

для любых n и i

() ( ) () ( ) (1) ( ) (1) ( )

( ,..., , ,..., ) ( ,..., , ,..., )

iiniin n n

jkr q jkr q

xxyy pxxyy

= ,

т.е. все характеристики таких последовательностей не зависят от

начала отсчета.

Модель сигнала – непрерывная случайная функция.

Осуществляя квантование по времени, переходим от непрерыв-

ной случайной функции ()

t к системе непрерывных случай-

ных величин

(1) (2) ( )

, ,...,

XX, а от непрерывной случайной

функции ()Yt – к системе

(1) (2) ( )

, ,...,

YY Y. Полной статистиче-

ской характеристикой сообщения и сигнала является 2n -мерная

совместная плотность вероятности

(1) ( ) (1) ( )

( ,..., , ,..., )

Wx x y y .

Для вычисления других характеристик необходимо использо-

вать обобщение формул (1.3) – (1.8).

Помехи. Помехой называется всякое стороннее воздейст-

вие, мешающее правильному приему сигнала. Если принимае-

мый сигнал ()Yt связан с передаваемым сигналом ()

t соот-

ношением

() () ()Yt Xt Qt=+

(1.9)

то помеха ()Qt называется аддитивной, а в случае

() () ()Yt XtQt= –

(1.10)

мультипликативной.

В качестве помехи имеет смысл рассматривать только та-

кую функцию ()Qt , значение которой заранее не известно по-

лучателю, так как в противном случае помеха может быть ском-

пенсирована в месте приема. Поэтому для описания помехи

используют те же модели, что и для описания сигнала.

Принципиальное отличие сигнала от помехи сводится к тому,

что последняя не имеет информативных параметров.

РЕШЕНИЕ ТИПОВЫХ ПРИМЕРОВ

Пример 1.1. Случайная величина

– число бросаний мо-

неты до первого выпадания герба. Найти:

а) ряд распределения случайной величины

б) математическое ожидание

в) математическое ожидание двоичного логарифма вероят-

ности

Решение. Возможные значения случайной величины

равны 1, 2, 3,... . Для осуществления события

необходимо,

чтобы в первых n –1 бросаниях выпадали решки, а в n-м броса-

нии выпал орел, поэтому ()(1/2)

px n== по формуле умно-

жения вероятностей независимых событий. Ряд распределения

дан в табл. 1.1.

Таблица 1.1

1 2 3 4 …

()

1/2 1/4 1/8 1/16 …

Математическое ожи-

дание числа бросаний

вычислим по формуле

(1.2), положив

() ,xxm

=∞,

[]

111

M ( ) 1 2 3 ...

248

111111 11

(1 2 3 ...) (1 ...) 2.

224224 210,5

Xxpx

∞

= =⋅+⋅+⋅+=



⋅+⋅+⋅+ =⋅+++ =⋅ =



−



∑

Математическое ожидание двоичного логарифма вероятно-

сти X также вычисляем по формуле (1.2), положив

() log ()

, т. е.

[]

Mlog ( ) log ( ) ( )

11 11 1 1 1

log log ... 1 2 3 ... 2.

22 44 2 4 8

pX px px

∞



=⋅+⋅+=−⋅−⋅−⋅−=−





∑

Пример 1.2. По двоичному каналу связи с помехами (рис.

1.3) передаются сообщения

с априорными вероятностя-

ми

() 0,4px

()0,6px

. Влияние помех описывается пе-

реходными вероятностями:

(/)0,75py x

(/)0,25py x

(/)0,5py x

Найти: а) безусловные вероятности

сигналов на выходе канала;

б) наиболее вероятное значение

, если

;

в) наиболее вероятное значение

, если

Решение. Совместные вероятности

сообщения

и сигнала Y вычисляем

Рис. 1.3

по формуле умножения вероятностей (1.5):

11 1 1 1

(, ) ()( / )

0, 4 0,75 0,3,

px y px py x==

⋅=

( , ) 0, 4 0, 25 0,1px y =⋅ =,

(,)0,60,50,3px y

⋅=,

(, )0,60,50,3px y =⋅=.

Безусловные вероятности сигналов на выходе канала вы-

числим по формуле полной вероятности (1.3):

11121

( ) ( , ) ( , ) 0,3 0,3 0,6py px y px y

+=+=

21222 1

( ) ( , ) ( , ) 0,1 0,3 0, 4 1 ( )

ypxypxy py=+=+==−.

Условные вероятности сообщений на входе находим по

формуле Байеса (1.4):

(, ) 0,3

(/) 0,5

() 0,6

px y

===

21 11

0,3

(/) 0,51 (/)

0,6

xy pxy===− ,

(, )

0,1

(/ ) 0,25

() 0,4

px y

===

22 12

0,3

(/) 0,751 (/)

0, 4

xy pxy== =− .

Сравнив

(/ )

xy и

(/)

xy, видим, что если принят

сигнал

, то более вероятно, что было передано сообщение

Сигнал

y мог быть с одинаковой вероятностью вызван сооб-

щениями

Пример 1.3. Сигнал ()Yt на выходе непрерывного канала

связи выражается через входной сигнал ()

t соотношением

() () ()Yt Xt Zt=+

, где

()

– аддитивный нормальный стацио-

нарный белый шум с односторонней спектральной плотностью

10N

−

= В/Гц, ограниченный полосой от 0 до 10

МГц.

Суммарная мощность составляющих в спектре сигнала ()

t ,

лежащих вне указанной полосы, пренебрежимо мала.

Осуществить квантование по времени сигнала ()Yt на ин-

тервале от 0 до

10T

−

секунды. Для конкретной реализации

входного сигнала (в вольтах)

552

()

110 ( 510)

−

+⋅−⋅

найти для квантованного сигнала:

а) вектор условных математических ожиданий;

б) условную корреляционную матрицу;

в) условную плотность вероятности квантованного сигнала

на выходе.

Решение. Чтобы осуществить квантование непрерывного

по времени сигнала

()Yt

, необходимо взять его отсчеты

(1) (2) ( )

, ,...,

YY Y в моменты времени

tkt=∆,

1,2,...,kn=

, где 1TtnTt

∆

≤< ∆+.

Верхняя граничная частота суммы сигнала с шумом равна

F , поэтому шаг квантования определяется в соответствии с

теоремой Котельникова

c0,05

2210

∆= = =

⋅

мкс.

Требуемое число отсчетов равно

10 2 10 2000n

−

=⋅⋅= .

Каждый отсчет сигнала

()

YYt= является суммой двух

величин

() () ()kkk

YXZ

+ ,

где

()

Xt=

– отсчет сообщения;

()

Zt= – отсчет шума.

Вектор условных математических ожиданий сигнала состо-

ит из следующих элементов

() () () () () ()

58 52

M/ M

110 (510 510)

k kkk kk

mYxxZx

−

−−

 

=+ ==

 

+⋅⋅ −⋅

и определяется только передаваемым сообщением, так как ма-

тематическое ожидание белого шума ()

t равно нулю.

Условная корреляционная матрица B сигнала ()Yt при

фиксированном ()

t состоит из следующих элементов

{

}

( ) () () () () () ()

kj k k j j k j

BYmYm ZZ



   

=−⋅−=



   

и равна корреляционной матрице отсчетов шума. Элементы этой

матрицы есть отсчеты корреляционной функции шума

()

(,)

Bt t= .

Шум стационарен, поэтому его корреляционная функция

зависит от разности аргументов

=− и может быть найдена

по теореме Винера–Хинчина

() ( )cos2

Gf f df

τπτ

∞

⋅

∫

где ()Gf – спектр плотности мощности шума.

По условию задачи, он равномерен в полосе 0…

,0 ,

()

0, .

NfF

≤≤







Находим выражение для корреляционной функции

sin 2

() cos2

BN fdfN

τπτ

πτ

=⋅=

∫

Поскольку

1(2 )

∆

= , то

sin /

()

BNF

πτ

∆

Отсюда видно, что () 0B

= при ;2 ;3 ,...,ttt

∆∆∆ т.е.

отсчеты

(1) ( )

,...,

Z , взятые с шагом квантования t

∆

, некорре-

лированы. Таким образом, в корреляционной матрице отсчетов

сигнала не равны нулю будут только элементы, стоящие на

главной диагонали,

() 11

(0) 10

BBNF

−

== =,

численно равные дисперсии этих отсчетов (вольт

Условная плотность вероятности квантованного сигнала

есть совместная плотность вероятности системы

некоррели-

рованных (следовательно, и независимых) нормальных случай-

ных величин

(1) ( ) ( ) ( )

,..., / ( ) /

nkk

Wy y xt Wy x



 



 

∏

() () 2

()

exp ( )





⋅

−−=









∏

() () 2

exp ( )

(2 ) 2

NF NF





−−









∑

Пример 1.4. Доказать, что для любой положительной слу-

чайной величины

(имеющей только положительные возмож-

ные значения) при 1a > справедливо неравенство Иенсена

[

]

[

]

Mlog logM

X≤ .

Доказать, что для любой системы случайных величин

, ,...,QL Z и любой функции

, таких, что ( , ,..., ) 0QL Z

при всех возможных значениях системы, справедливо аналогич-

ное неравенство

[

]

[

]

M log ( , ,..., ) log M ( , ,..., )

QL Z QL Z

ϕϕ

≤ .

Найти необходимые и достаточные условия, при которых

неравенства обращаются в равенства.

Решение. Сначала убедимся, что непрерывная функция

log

yx= является строго выпуклой вверх, т.е. ее вторая про-

изводная отрицательна при любых 0x > .

Действительно,

= ,

−⋅< при

1a >

Следовательно, график функции log

лежит ниже ка-

сательной, проведенной в любой точке

0x > (рис. 1.4):

log log ( )

yxx xx

=≤ + −,

причем знак равенства выполняется

только в точке касания

Предположим, что

– положи-

тельная случайная величина, тогда по-

лученное неравенство справедливо для

любого из ее возможных значений и, следовательно, при усред-

нении обеих частей знак неравенства сохранится:

[] []

{}

Mlog log M

xXx

≤+ −.

Выбрав абсциссу точки касания

[

]

X= , получим

окончательно

[

]

[

]

Mlog logM

X≤ .

Это неравенство обращается в равенство тогда и только то-

гда, когда все возможные значения случайной величины

[

]

xX== , т.е. если величина X не случайна.

Пусть случайная величина

получена в результате функ-

ционального преобразования системы случайных величин

( , ,..., ) 0XQLZ

=>, тогда в силу доказанного неравенства

имеем

[

]

[

]

M log ( , ,..., ) log M ( , ,..., )

QL Z QL Z

ϕϕ

≤ .

Это неравенство обращается в равенство тогда и только то-

гда, когда величина ( , ,..., )

QL Z

не случайна.

Рис. 1.4

2 ДИСКРЕТНЫЕ КАНАЛЫ

2.1 Собственная информация. Взаимная

информация

Описание дискретного канала. Дискретным называется

такой канал, сигналы на входе и выходе которого являются по-

следовательностями дискретных случайных величин (симво-

лов).

Для полного описания канала на интервале времени, соот-

ветствующем передаче одного символа, необходимо задать ан-

самбли символов на входе

и выходе Y и условные вероятно-

сти переходов (/)

yx. В дальнейшем будем обозначать:

, ,..., ,...,

( ),..., ( ),..., ( )

xx x x

xpxpx















– ансамбль сообщений на входе,

, ,..., ,...,

( ),..., ( ),..., ( )

yy y y

ypy py











– ансамбль сигналов на выходе.

Собственная информация. Поскольку появление символа

сообщения

на входе дискретного канала есть событие слу-

чайное, то имеет место неопределенность исхода. В результате

опыта неопределенность уменьшается или даже исчезает полно-

стью, и при этом получается некоторое количество информации.

Тогда собственная информация символа x

(количество ин-

формации, доставляемое самим символом x

или любым другим,

однозначно с ним связанным) определяется как

() log()log

()

Ix px

=− =

(2.1.1)

т.е. информация в каком-либо событии измеряется логарифмом

величины, обратной вероятности его появления.

Выбор основания логарифма

log ( )

определяет едини-

цу количества информации. Если

, то единица информа-

ции называется двоичной (бит), при

– натуральной (нат), а

при

10a

– десятичной. Двоичная единица количества инфор-

мации, например, есть собственная информация символа, обла-

дающего двумя равновозможными состояниями. Переход от од-

ной системы логарифмов к другой равносилен простому изме-

нению единицы измерения информации. Этот переход осущест-

вляется по формуле

log log log

bba

kak=⋅.

Отсюда

1í àò log áèò 1,4427 áèòe

= ,

1 äåñ. åä. log 10 áèò 3,3219 áèò

= .

Условная собственная информация. В общем случае со-

общения

и сигналы

на входе и выходе дискретного канала

зависимы. Пусть (/)

xy – условная вероятность того, что

реализовалось состояние

ансамбля

при условии, что ан-

самбль

принял состояние

y . Тогда, по аналогии с собствен-

ной, информация, содержащаяся в символе сообщения

при

условии, что сигнал принял значение

y , определяется как

(/) log(/)

jk jk

xy pxy

−

(2.1.2)

и называется условной собственной информацией.

Взаимная информация. Обратимся снова к ансамблям

и Y . Пусть ансамбли зависимы. В результате опыта (приема

символа сигнала

y ) апостериорная вероятность

(/)

по-

явления символа

изменяется по сравнению с априорной

()

x . Тогда количество информации относительно символа

сообщения

, доставляемое символом сигнала

y , можно оп-

ределить как логарифм отношения апостериорной вероятности к

априорной

(/)

(; )log

()

Ix y

(2.1.3)

Это и есть взаимная информация.

Основные свойства взаимной информации.

1) Взаимная информация может быть отрицательной, поло-

жительной и равной нулю в зависимости от соотношения между

априорной и апостериорной вероятностями

(; ) .

Ix y

−

∞< <∞

(2.1.4)

2) Взаимная информация не превышает собственную

(; ) ()

jk j

xy Ix

≤

, (; ) ()

jk k

xy Iy

≤

(2.1.5)

При данной вероятности ()

x взаимная информация

(; )

xy достигает максимума, когда принятый символ

y од-

нозначно определяет переданный символ

. При этом

0, ,

(/)

1, ,

px y

≠







и максимальное значение взаимной информации

(; ) log()

jj j

xy px

−

равно собственной информации, определяемой только априор-

ной вероятностью символа

3) Свойство симметрии

(; ) (;)

jk kj

xy Iyx

(2.1.6)

т.е. информация, содержащаяся в

y относительно

, равна

информации, содержащейся в

относительно

y . В силу этого

свойства информацию

(; )

называют взаимной информа-

цией между

y .

4) Свойство аддитивности количества информации

(,; ,) (; ) (;)

ji kl j k il

xzyq Ixy Izq

(2.1.7)

Если пара

независима от пары

, то информация,

содержащаяся в пape

yq относительно пары

z , равна сумме

информации, содержащейся в

y относительно

, и информа-

ции, содержащейся в

q относительно

z .