Лекции по теории передачи информации

Подождите немного. Документ загружается.

тропией обладает равномерное распределение вероятностей в этой области, т.е.

при W(X) = (β - α)

-1

α)log( β)(

∆

−

. (3.9)

4. Если ограничения на область значений непрерывной случайной величи-

ны Х отсутствуют, но известно, что дисперсия её ограничена, то максимальной

дифференциальной энтропией, равной

e2πlogσ)(

xmax∆

=ÕH

, (3.10)

обладает нормальное (Гауссовское) распределение величин Х:

2σ

2πσ

)(

eXW

−

. (3.11)

5. Соотношения для дифференциальной энтропии объединения статисти-

чески зависимых непрерывных источников аналогичны соответствующим

формулам для дискретных источников:

)()()()(),(

∆∆∆∆∆

YXHYHXYHXHYXH

, (3.12)

где

∫∫

−=

∞

∞−

∞

∞−

∆

dxdyyxWyxWYXH ),()log,(),(

6. Если статистические связи между X и Y отсутствуют, то

)()(),( YHXHYXH

∆∆∆

. (3.13)

3.3. Эпсилон - энтропия источника сообщений

Реальная чувствительность приемных устройств, органов чувств человека

и разрешающая способность различных информационно-измерительных систем

ограничены. Поэтому воспроизводить непрерывные сообщения абсолютно точ-

но не требуется. Наличие помех и искажений сигналов в реальных каналах де-

лает точное воспроизведение сообщений невозможным. Поэтому введём поня-

тие эпсилон–энтропии. Эпсилон–энтропия – это то среднее количество

инфор-

мации в одном независимом отсчете непрерывного случайного процесса Х(t),

которое необходимо для воспроизведения этого сигнала с заданной средне-

квадратичной погрешностью ε

Рассмотрим подробнее сущность этого понятия. Предположим, что пере-

давался сигнал Х(t), а был принят сигнал Y(t). Пусть в канале действует адди-

тивная помеха E(t), тогда Y(t) = X(t) + E(t) . Расстояние между сигналами X(t) и

Y(t) определяется величиной

∫

=−=

dttE

dttXtY

)(

))()((

∫

, (3.14)

где T – длительность сигналов.

Если , то сигналы называют

εε

≤

-близкими.

В соответствии с определением эпсилон-энтропии можно записать, что

)(max )(),(min )(

∆∆ε

YXHXHXYIXH

−

. (3.15)

Так как

)()()( tEtYtX −

, то условная энтропия

)( YXH

∆

при принятом

Y(t) полностью определяется “шумом” воспроизведения E(t). Поэтому

max H

∆

(X/Y) = max H

∆

(E). (3.16)

Учитываем, что мощность помехи ограничена величиной ε

, тогда мак-

симальная энтропия помехи, отнесенная к одному отсчету, определяется по

формуле (3.10)

e2logσe2logε)(max

π=π=

∆

, (3.17)

где σ

– среднеквадратическое значение помехи.

С учетом (3.17)

e2log ε)()(

π−=

∆

XHXH

. (3.18)

Эпсилон-энтропия имеет максимальное значение, когда процесс X(t) так-

же является гауссовским:

eeXH 0,5log)

0,5log(2log σ2log σ

)(max ==π−π=

. (3.19)

Отношение сигнал/шум σ

/σ

= P

характеризует то количество по-

лученной информации, при котором принятый сигнал Y(t) и переданный сигнал

X(t) “похожи” в среднеквадратичном смысле с точностью до ε

= σ

. В форму-

ле (3.19) значение эпсилон-энтропии определено для одного независимого от-

счета.

3.4. Эпсилон-производительность источника

Если источник выдает независимые отсчеты сигнала Х(t) в дискретные мо-

менты времени со скоростью v

= 1/∆t, где интервал дискретизации ∆t = 1/2∆F

(∆F

– полоса частот сигнала X(t)), то эпсилон-производительность источника

(эпсилон-энтропия, приходящаяся на единицу времени)

бит

)

e2log)(()()(

επ

τετε

−==

′

∆

XHVXHVXH

(3.20)

Если время непрерывное, то

бит

)

e2log)((2)(

επ

−∆=

′

∆

XHFXH

. (3.21)

Максимальное значение эпсилон-производительность источника имеет,

когда сигнал X(t) является гауссовским (3.19):

бит

log

)(max

⎟

⎠

⎞

⎜

⎝

⎛

−

′

, (3.22)

бит

log∆)(max

⎟

⎠

⎞

⎜

⎝

⎛

′

FXH

. (3.23)

За время Т существования сигнала максимальный объем V информации,

выданной источником, составит

(

)

бит.

log∆

)(maxmax

TFTXHV =⋅

′

(3.24)

Объем сигнала – это максимальное количество информации, которое сиг-

нал может переносить.

3.5. Избыточность источника непрерывных сигналов

Избыточность определяют так же, как и для источника дискретных сигна-

лов:

⎟

⎠

⎞

⎜

⎝

⎛

π−

−=−=

0∆

0,5log

eε2log)(

)(max

)(

. (3.25)

Избыточность источника равна нулю только в случае, когда распределение

сигнала является гауссовским.

При определении эпсилон-характеристик источников непрерывных сигна-

лов критерием близости служило среднеквадратичное отклонение одного сиг-

нала от другого. Если выбрать другую меру близости сигналов – другую метри-

ку пространства сигналов, можно получить другие эпсилон-характеристики ис-

точников. Наибольшее распространение получил

среднеквадратический крите-

рий близости сигналов.

3.6. Количество информации

Количество информации, содержащееся в одной непрерывной случайной

величине относительно другой, определим как разность безусловной и услов-

ной дифференциальных энтропий:

. dxdy

ywxw

yxw

yxwdxdyx/ywyxw

dxxwxwX/YHXHYXI

∫∫

∫

−=−=

∞+

∞−

∞+

∞−

∞+

∞−

∞+

∞−

∞+

∞−

∆∆

)()(

),(

log),())((log),(

))((log)()()(),(

(3.26)

Контрольные вопросы

1. Какова особенность определения энтропии непрерывного источника

информации?

Дайте определение дифференциальной энтропии.

Перечислите свойства дифференциальной энтропии.

Какие распределения обладают максимальной дифференциальной эн-

тропией при ограничении на область изменения случайной величины и при ог-

раничении на дисперсию случайной величины?

Что такое эпсилон-энтропия источника непрерывных сообщений?

Дайте определение эпсилон-производительности источника.

Запишите выражение для определения источника непрерывных сообще-

ний.

[1 c.123…128, c.147-148; 2 c. 131…136].

4. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ

НЕПРЕРЫВНЫХ КАНАЛОВ

4.1 Скорость передачи информации и пропускная способность

Непрерывным каналом называется канал, предназначенный для передачи

непрерывных сообщений. Канал считается заданным, если известны статисти-

ческие данные о сообщениях на его входе и выходе и ограничения, наклады-

ваемые на входные сообщения физическими характеристиками канала.

При рассмотрении информационных характеристик канала: (скорости пе-

редачи, пропускной способности, коэффициента использования) применяют

модель реального канала,

называемую гауссовым каналом, предполагая, что по

каналу передаются сигналы с постоянной средней мощностью, статистические

связи между сигналами и помехой отсутствуют (аддитивная помеха), ширина

спектра сигнала и помехи ограничены полосой пропускания канала, а в канале

действует флуктуационная помеха ограниченной мощности с равномерным

частотным спектром и нормальным распределением амплитуд ("белый шум").

Если X

(t) рассматривать как переданный сигнал, Y(t) – как принятый, а

E(t) – как аддитивную помеху в непрерывном канале, то скорость передачи ин-

формации по непрерывному каналу (среднее количество информации, которое

можно передать по каналу в единицу времени) равна

))/()(())/()(( XYHYHVYXHXHVR

t ∆∆τ∆∆τ

−

−=

, (4.1)

где

∫

−=

∞+

∞−

∆

dxxwxwXH )()log()(

; (4.2)

∫

+∞

∞

−

∆

−= dyywywYH )()log()(

; (4.3)

∫∫

∞

−

∞

−

∆

−= ;)/()log,()/( dxdyyxwyxwYXH

(4.4)

∫

−=

∞

−

∞

∞−

∆

dxdyxywxywXYH )/()log,()/(

. (4.5)

Скорость передачи в предположении, что передаваемые сообщения имеют

структуру "белого шума", составит

, 1log∆1log∆

)2log)(2log(∆2

222

πeσσσπeFR

EEX

⎟

⎠

⎞

⎜

⎝

⎛

+=+=

=−+=

⎟

⎠

⎞

⎜

⎝

⎛

(4.6)

где Р

/Р

– отношение средних мощностей сигнала и помехи на выходе приём-

ника;

– полоса частот передаваемого сообщения.

F∆

Пропускная способность (максимальное значение скорости передачи ин-

формации по каналу) непрерывного сигнала:

(

)

)/()(max(X/Y)(X)maxmax ( XYHYHVHHVRC

t ∆∆ττ

−−=

∆∆

. (4.7)

Для гауссова непрерывного канала с дискретным временем

.EHYHVC

))()((max

∆∆

−

(4.8)

Учитывая, что

),σ(σ2log)(max

+π=

∆

eYH

(4.9)

,σ2log)(max

eEH π=

∆

(4.10)

тогда

1log0,5

⎟

⎠

⎞

⎜

⎝

⎛

VC (4.11)

Если в канале нет искажений и помех, то

можно рассматривать как

мощность шумов квантования при дискретной передаче непрерывных сигна-

лов. В канале с помехами мощность шумов квантования складывается с мощ-

ностью помех, следовательно, в этом случае

необходимо рассматривать как

суммарную мощность помехи и шума квантования. Мощность шума квантова-

ния при равномерном квантовании:

∆

, (4.12)

где −∆

шаг квантования.

Для непрерывного канала с непрерывным временем и формула

(4.11) переходит в известную формулу Шеннона для пропускной способности

гауссова непрерывного канала с флуктуационной помехой:

FV ∆=

),1(log)1log(∆

∆F

FC +=+=

(4.13)

где

– полоса пропускания канала;

∆F

−

отношение средних мощностей

сигнала и помехи на входе приёмника.

Из (4.13) следует, что одну и ту же пропускную способность можно полу-

чить при различных соотношениях

∆

. Кроме того, выражение (4.13)

указывает теоретический предел скорости передачи информации по каналу свя-

зи при ограниченной средней мощности передаваемых сигналов и при наличии

аддитивной помехи в виде "белого шума" с ограниченным спектром.

Так как энергетический спектр помехи типа "белого шума" равномерен в

пределах от 0 до

, мощность Р

F∆

можно выразить через удельную мощность

ОШ

на единицу частоты. Тогда выражение (4.13) примет вид

⎟

⎠

⎞

⎜

⎝

⎛

⋅

∆

1log∆

îø

. (4.14)

При расширении полосы пропускания канала

∆

пропускная способность

увеличивается, но стремиться к конечному пределу:

{{

îø

443,1

∆

1log∆

∆

lim

∆

lim

ÕX

îø

⎟

⎠

⎞

⎜

⎝

⎛

⋅

+⋅==

∞→∞→

. (4.15)

Это ограничение, вносимое помехой с уровнем мощности

ОШ

, которое не

может быть превышено без увеличения мощности сигнала.

Если плотность распределения

w(x) непрерывных сообщений, вырабаты-

ваемых источником информации, отличается от гауссовской, то скорость пере-

дачи информации будет меньше.

Необходимо отметить существенную разницу

и С. Пропускная способ-

ность

С характеризует канал, его предельные возможности независимо от сис-

темы источник-потребитель, а скорость передачи

характеризует некоторую

конкретную систему передачи информации.

Кроме того, как следует из (4.13), если сигнал смешан с шумом, то ампли-

туда сигнала может быть измерена лишь с точностью до эффективного значе-

ния шума. Другими словами, неопределенность оценки точного значения ам-

плитуды сигнала равна квадратному корню из среднего квадрата шумового на-

пряжения. Как следует из указанных выше предположений, изменение входно

го сигнала меньше, чем

P=δ

, приемник не различает. Следовательно, чис-

ло уровней, которое может быть различимо без ошибок, определится из выра-

жения

M +=

1 . (4.16)

Итак, наибольшее количество информации, переносимое каждым импуль-

сом, имеющим

М различных уровней, равно

⎟

⎠

⎞

⎜

⎝

⎛

+=+=

I 1log

1log

. (4.17)

4.2. Согласование источников с каналами

Предельные возможности согласования источника непрерывных сооб-

щений с непрерывным каналом определяются следующей теоремой кодирова-

ния Шеннона: если эпсилон-производительность

′

)(XH

источника непрерыв-

ных сообщений меньше пропускной способности канала, то существует способ

оптимального кодирования и декодирования, при котором с вероятностью,

сколь угодно близкой к единице, переданное и принятое сообщения не будут

отличаться в среднеквадратическом смысле более чем на

При

такого способа нет. Под оптимальным кодированием не-

прерывных сообщений в непрерывные сигналы понимают преобразование без

предварительной дискретизации по времени и квантования по уровню. Речь

идёт о выборе способа аналоговой модуляции, оптимальное кодирование соот-

ветствует идеальной модуляции.

CXH >

′

)(

Для гауссова канала условие существования оптимального кодирования

принимает вид

,1log∆log∆

⎟

⎠

⎞

⎜

⎝

⎛

⎟

⎠

⎞

⎜

⎝

⎛

(4.18)

где отношение

рассматривается на выходе детектора, а величина

– как

отношение сигнал/шум на входе приёмника.

Для того чтобы оценить, как используется пропускная способность непре-

рывных каналов, вводят коэффициент эффективности, который определяется

выражением

вх

1log∆

вых

1log∆

⎟

⎠

⎞

⎜

⎝

⎛

⎟

⎠

⎞

⎜

⎝

⎛

⎟

⎠

⎞

⎜

⎝

⎛

⎟

⎠

⎞

⎜

⎝

⎛

(4.19)

где

вых

⎟

⎠

⎞

⎜

⎝

⎛

вх

⎟

⎠

⎞

⎜

⎝

⎛

обозначено отношение сигнал/шум на выходе и входе

приёмника соответственно.

По существу

η характеризует эффективность способа модуляции. Для

идеальной модуляции

η = 1 и

∆

вх

1вых

−+=

⎟

⎠

⎞

⎜

⎝

⎛

⎟

⎠

⎞

⎜

⎝

⎛

⎟

⎠

⎞

⎜

⎝

⎛

. (4.20)

Контрольные вопросы

1. Дайте определение скорости передачи информации.

2. Запишите выражение для скорости передачи и поясните его.

3. Дайте определение пропускной способности непрерывного канала.

4. Что понимается под дисперсией помехи в канале связи, когда нет иска-

жений и помех и, когда они имеют место?

5. Как определяется мощность шума квантования?

6. Сформулируйте теорему Шеннона для непрерывного канала связи.

7. Запишите условие существования оптимального кодирования.

[1 c.149-153; 6 c.137-141].

5. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ДИСКРЕТНЫХ

КАНАЛОВ СВЯЗИ

5.1. Информационная модель канала и основные

характеристики

Дискретным каналом называется совокупность средств, предназначенных

для передачи дискретных сигналов.

Для анализа информационных возможностей удобно пользоваться инфор-

мационной моделью канала связи, представленной на рис. 5.1.

Источник информации создаёт сообщения, состоящие из последовательности

знаков алфавита источника

Z = (Z

, Z

,…, Z

), которые в кодирующем устройст-

ве преобразуются в последовательность символов. Объём алфавита символов

(Х

, Х

,…, Х

), как правило, меньше объёма алфавита знаков, но они могут и

совпадать. В результате модуляции каждой последовательности символов ста-

вится в соответствие сложный сигнал. Множество сложных сигналов конечно.

Они различаются числом, составом и взаимным расположением элементарных

сигналов. В результате действия помех сигнал на приёмной стороне может от-

личаться от переданного. Помехи

имеют случайный характер и подчиняются

статистическим законам. Удобно условно считать, что помехи создаются неко-

торым воображаемым источником помех и поступают в линию связи в виде

мешающего сигнала

Е. Приёмная сторона содержит демодулятор, где сигналы

преобразуются в последовательность символов

Y = (y

, y

,…, y

), декодирующее

устройство, выполняющее ответные функции кодированию, и приемник ин-

формации, перерабатывающий принятые сообщения

V = (v

,…,v

С математической точки зрения дискретный канал можно определить ал-

фавитом единичных элементов на его входе

),...,2,1( mix

и выходе

, а также вероятностями перехода единичного элемента одного

вида (передаваемого) в элемент того же вида или другого вида в пункте приёма

),...,2,1( mjy

).(

xyP

Значения вероятностей

)(

xyP

зависят от характера ошибок в дис-

кретном канале, т.е. от интенсивности ошибок и их статистического распреде-

ления во времени. Если при передаче

i-го единичного элемента принят элемент

такого же вида (

i = j), то считается, что ошибки нет. Если при передаче i-го

элемента принят элемент нового вида, который не предусмотрен алфавитом,

(например, i = m+1), то его можно использовать для стирания принятого знака.

При

i ≠

и 1 считают, что произошла ошибка. +≠ mi