Сорока Н.И., Кривинченко Г.А. Теория передачи информации

Подождите немного. Документ загружается.

2 22

( () ()) ()

Y t X t dt E t dt

e=-=

òò

, (4.14)

где T – длительность сигналов.

Если

, то сигналы называют

-близкими.

В соответствии с определением эпсилон-энтропии можно записать, что

( ) min ( , ) ( ) max ( )

HX IYX H X H XY

e DD

= =-

. (4.15)

Так как

)()()( tEtYtX

, то условная энтропия

)( YXH

при принятом

Y(t) полностью определяется “шумом” воспроизведения E(t). Поэтому

max H

(X/Y) = max H

(E). (4.16)

Учитываем, что мощность помехи ограничена величиной e

, тогда мак-

симальная энтропия помехи, отнесенная к одному отсчету, определяется по

формуле (4.10)

e2logуe2logе)(max

p=p=

, (4.17)

где s

– среднеквадратическое значение помехи.

С учетом (4.17)

e2logе)()(

p-=

XHXH

. (4.18)

Эпсилон-энтропия имеет максимальное значение, когда процесс X(t) так-

же является гауссовским:

eeXH 0,5log)

0,5log(2logу2logу

)(max ==p-p=

. (4.19)

Отношение сигнал/шум s

= P

характеризует то количество по-

лученной информации, при котором принятый сигнал Y(t) и переданный сигнал

X(t) “похожи” в среднеквадратичном смысле с точностью до e

= s

. В форму-

ле (4.19) значение эпсилон-энтропии определено для одного независимого от-

счета.

4.4. Эпсилон-производительность источника

Если источник выдает независимые отсчеты сигнала Х(t) в дискретные мо-

менты времени со скоростью v

= 1/Dt, где интервал дискретизации Dt = 1/2DF

(DF

– полоса частот сигнала X(t)), то эпсилон-производительность источника

(эпсилон-энтропия, приходящаяся на единицу времени)

бит

)

e2log)(()()(

tete

-==

XHVXHVXH

. (4.20)

Если время непрерывное, то

бит

)

e2log)((2)(

-D=

XHFXH

. (4.21)

Максимальное значение эпсилон-производительность источника имеет,

когда сигнал X(t) является гауссовским (4.19):

бит

log

)(max

, (4.22)

m 2

бит

max ( ) log

HXFD

æö

ç÷

èø

. (4.23)

За время Т существования сигнала максимальный объем V информации,

выданной источником, составит

(

)

max max ( ) Δ log

V H X T FT

= ×= бит. (4.24)

Объем сигнала – это максимальное количество информации, которое сиг-

нал может переносить.

4.5. Избыточность источника непрерывных сигналов

Избыточность определяют так же, как и для источника дискретных сигна-

лов:

()

( ) log 2e

()

max ()

0,5log

- pe

=- =-

. (4.25)

Избыточность источника равна нулю только в случае, когда распределение

сигнала является гауссовским.

При определении эпсилон-характеристик источников непрерывных сигна-

лов критерием близости служило среднеквадратичное отклонение одного сиг-

нала от другого. Если выбрать другую меру близости сигналов – другую метри-

ку пространства сигналов, можно получить другие эпсилон-характеристики ис-

точников. Наибольшее распространение получил среднеквадратический крите-

рий близости сигналов.

4.6. Количество информации

Количество информации, содержащееся в одной непрерывной случайной

величине относительно другой, определим как разность безусловной и услов-

ной дифференциальных энтропий:

( , ) ( ) ( ) ( )log( ( ))

I X Y H X H X / Y w x w x dx

+¥

-¥

=-=-+

(,)

( , )log ( ( )) ( , )log

() ()

wxy

w x y w x / y dxdy w x y dxdy.

wxwy

+¥ +¥ +¥ +¥

-¥

-¥ -¥ -¥

òò òò

(4.26)

КОНТРОЛЬНЫЕ ВОПРОСЫ

1. Какова особенность определения энтропии непрерывного источника

информации?

2. Дайте определение дифференциальной энтропии.

3. Перечислите свойства дифференциальной энтропии.

4. Какие распределения обладают максимальной дифференциальной эн-

тропией при ограничении на область изменения случайной величины и при

ограничении на дисперсию случайной величины?

5. Что такое эпсилон-энтропия источника непрерывных сообщений?

6. Дайте определение эпсилон-производительности источника.

7. Запишите выражение для определения источника непрерывных сообще-

ний.

5. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ

НЕПРЕРЫВНЫХ КАНАЛОВ

5.1 Скорость передачи информации и пропускная способность

Непрерывным каналом называется канал, предназначенный для передачи

непрерывных сообщений. Канал считается заданным, если известны статисти-

ческие данные о сообщениях на его входе и выходе и ограничения, накладыва-

емые на входные сообщения физическими характеристиками канала.

При рассмотрении информационных характеристик канала: (скорости пе-

редачи, пропускной способности, коэффициента использования) применяют

модель реального канала, называемую гауссовым каналом, предполагая, что по

каналу передаются сигналы с постоянной средней мощностью, статистические

связи между сигналами и помехой отсутствуют (аддитивная помеха), ширина

спектра сигнала и помехи ограничены полосой пропускания канала, а в канале

действует флуктуационная помеха ограниченной мощности с равномерным ча-

стотным спектром и нормальным распределением амплитуд ("белый шум").

Если X(t) рассматривать как переданный сигнал, Y(t) – как принятый, а

E(t) – как аддитивную помеху в непрерывном канале, то скорость передачи ин-

формации по непрерывному каналу (среднее количество информации, которое

можно передать по каналу в единицу времени) равна

))/()(())/()(( XYHYHVYXHXHVR

t DDtDDt

, (5.1)

где

¥+

¥-

dxxwxwXH )()log()(

; (5.2)

+¥

-= dyywywYH )()log()(

; (5.3)

òò

-= ;)/()log,()/( dxdyyxwyxwYXH

(5.4)

¥-

dxdyxywxywXYH )/()log,()/(

. (5.5)

Скорость передачи в предположении, что передаваемые сообщения имеют

структуру "белого шума", составит

222

2 (log 2 ( ) log 2 )

mXEEt

RFee

=D ps+s- ps=

(

)

log 1 log 1 ,

F F

æö

=D +=D+

ç÷

èø

(5.6)

где Р

/Р

– отношение средних мощностей сигнала и помехи на выходе приём-

ника;

FД

– полоса частот передаваемого сообщения.

Пропускная способность (максимальное значение скорости передачи ин-

формации по каналу) непрерывного сигнала:

(

)

)/()(max(X/Y)(X)maxmax

(

XYHYHVHHVRC

t DDtt

--=

. (5.7)

Для гауссова непрерывного канала с дискретным временем

max( ( ) ( ))

CV HY HE.

tDD

(5.8)

Учитывая, что

max ( ) log 2 ( ),

HYe

= p s +s

(5.9)

max()log2,

HEe

= ps

(5.10)

тогда

1log0,5

VC (5.11)

Если в канале нет искажений и помех, то

s можно рассматривать как

мощность шумов квантования при дискретной передаче непрерывных сигна-

лов. В канале с помехами мощность шумов квантования складывается с мощ-

ностью помех, следовательно, в этом случае

s необходимо рассматривать как

суммарную мощность помехи и шума квантования. Мощность шума квантова-

ния при равномерном квантовании:

, (5.12)

где

шаг квантования.

Для непрерывного канала с непрерывным временем

и формула

(5.11) переходит в известную формулу Шеннона для пропускной способности

гауссова непрерывного канала с флуктуационной помехой:

log(1 ) log(1 ),

ΔF

=D+=+

(5.13)

где

– полоса пропускания канала;

отношение средних мощностей

сигнала и помехи на входе приёмника.

Из (5.13) следует, что одну и ту же пропускную способность можно полу-

чить при различных соотношениях

. Кроме того, выражение (5.13)

указывает теоретический предел скорости передачи информации по каналу свя-

зи при ограниченной средней мощности передаваемых сигналов и при наличии

аддитивной помехи в виде "белого шума" с ограниченным спектром.

Так как энергетический спектр помехи типа "белого шума" равномерен в

пределах от 0 до

, мощность Р

можно выразить через удельную мощность

ОШ

на единицу частоты. Тогда выражение (5.13) примет вид

ош

log1

æö

=D+

ç÷

èø

. (5.14)

При расширении полосы пропускания канала

пропускная способность

увеличивается, но стремиться к конечному пределу:

{{

ош

lim lim Δ log 1 1, 443

XХ

ош

CCF

PFP

FF®¥ ®¥

æö

==×+=

ç÷

èø

. (5.15)

Это ограничение, вносимое помехой с уровнем мощности Р

ОШ

, которое не

может быть превышено без увеличения мощности сигнала.

Если плотность распределения w(x) непрерывных сообщений, вырабатыва-

емых источником информации, отличается от гауссовской, то скорость переда-

чи информации будет меньше.

Необходимо отметить существенную разницу R

и С. Пропускная способ-

ность С характеризует канал, его предельные возможности независимо от си-

стемы источник-потребитель, а скорость передачи R

характеризует некоторую

конкретную систему передачи информации.

Кроме того, как следует из (5.13), если сигнал смешан с шумом, то ампли-

туда сигнала может быть измерена лишь с точностью до эффективного значе-

ния шума. Другими словами, неопределенность оценки точного значения ам-

плитуды сигнала равна квадратному корню из среднего квадрата шумового

напряжения. Как следует из указанных выше предположений, изменение вход-

ного сигнала меньше, чем

P=d

, приемник не различает. Следовательно,

число уровней, которое может быть различимо без ошибок, определится из вы-

ражения

M +=

= 1

. (5.16)

Итак, наибольшее количество информации, переносимое каждым импуль-

сом, имеющим М различных уровней, равно

+=+=

I 1log

1log

. (5.17)

5.2. Согласование источников с каналами

Предельные возможности согласования источника непрерывных сооб-

щений с непрерывным каналом определяются следующей теоремой кодирова-

ния Шеннона: если эпсилон-производительность

)(XH источника непрерыв-

ных сообщений меньше пропускной способности канала, то существует способ

оптимального кодирования и декодирования, при котором с вероятностью,

сколь угодно близкой к единице, переданное и принятое сообщения не будут

отличаться в среднеквадратическом смысле более чем на

При CXH

)( такого способа нет. Под оптимальным кодированием не-

прерывных сообщений в непрерывные сигналы понимают преобразование без

предварительной дискретизации по времени и квантования по уровню. Речь

идёт о выборе способа аналоговой модуляции, оптимальное кодирование соот-

ветствует идеальной модуляции.

Для гауссова канала условие существования оптимального кодирования

принимает вид

log log 1 ,

σσ

F F

εσ

æö

ç÷

D <D+

ç÷

èø

(5.18)

где отношение

рассматривается на выходе детектора, а величина

– как

отношение сигнал/шум на входе приёмника.

Для того чтобы оценить, как используется пропускная способность непре-

рывных каналов, вводят коэффициент эффективности, который определяется

выражением

(

)

(

)

()

(

)

log 1 вых

log 1 вх

D+

(5.19)

где

вых

вх

обозначено отношение сигнал/шум на выходе и

входе приёмника соответственно.

По существу h характеризует эффективность способа модуляции. Для

идеальной модуляции h = 1 и

() ()

(

)

σσ

вых 1 вх 1

σσ

=+-

. (5.20)

КОНТРОЛЬНЫЕ ВОПРОСЫ

1. Дайте определение скорости передачи информации.

2. Запишите выражение для скорости передачи и поясните его.

3. Дайте определение пропускной способности непрерывного канала.

4. Что понимается под дисперсией помехи в канале связи, когда нет иска-

жений и помех и, когда они имеют место?

5. Как определяется мощность шума квантования?

6. Сформулируйте теорему Шеннона для непрерывного канала связи.

7. Запишите условие существования оптимального кодирования.

6. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ДИСКРЕТНЫХ

КАНАЛОВ СВЯЗИ

6.1. Информационная модель канала и основные характеристики

Дискретным каналом называется совокупность средств, предназначенных

для передачи дискретных сигналов.

Для анализа информационных возможностей удобно пользоваться инфор-

мационной моделью канала связи, представленной на рис. 5.1.

Источник информации создаёт сообщения, состоящие из последовательно-

сти знаков алфавита источника Z = (Z

, Z

,…, Z

), которые в кодирующем

устройстве преобразуются в последовательность символов. Объём алфавита

символов Х

(Х

, Х

,…, Х

), как правило, меньше объёма алфавита знаков, но

они могут и совпадать. В результате модуляции каждой последовательности

символов ставится в соответствие сложный сигнал. Множество сложных сигна-

лов конечно. Они различаются числом, составом и взаимным расположением

элементарных сигналов. В результате действия помех сигнал на приёмной сто-

роне может отличаться от переданного. Помехи имеют случайный характер и

подчиняются статистическим законам. Удобно условно считать, что помехи со-

здаются некоторым воображаемым источником помех и поступают в линию

связи в виде мешающего сигнала Е. Приёмная сторона содержит демодулятор,

где сигналы преобразуются в последовательность символов Y = (y

, y

,…, y

декодирующее устройство, выполняющее ответные функции кодированию, и

приемник информации, перерабатывающий принятые сообщения V =

,…,v

С математической точки зрения дискретный канал можно определить ал-

фавитом единичных элементов на его входе ),...,2,1( mix

и выходе

),...,2,1( mjy

, а также вероятностями перехода единичного элемента одного

вида (передаваемого) в элемент того же вида или другого вида в пункте приёма

).(

xyP Значения вероятностей )(

xyP зависят от характера ошибок в дис-

кретном канале, т.е. от интенсивности ошибок и их статистического распреде-

ления во времени. Если при передаче i-го единичного элемента принят элемент

такого же вида (i = j), то считается, что ошибки нет.

Рис. 6.1. Информационная модель канала связи

Источник

информации

Кодирующее

устройство

Модулятор

Декодирующее

устройство

Приемник

информации

Линия

связи

Демоду-

лятор

Источник

помех

Приемник

z = (z

, z

,.., z

) x = (x

, x

,.., x

)

Передатчик

y = (y

, y

,..,y

)

v = (v

, v

,.., v

)

Канал передачи данных

Дискретный канал связи