Лекции по теории передачи информации

Подождите немного. Документ загружается.

Министерство образования Республики Беларусь

Учреждение образования

БЕЛОРУССКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИНФОРМАТИКИ И

РАДИОЭЛЕКТРОНИКИ

Кафедра систем управления

Н.И.Сорока, Г.А.Кривинченко

ТЕОРИЯ ПЕРЕДАЧИ ИНФОРМАЦИИ

Конспект лекций

для студентов специальностей

53 01 03 «Автоматическое управление в технических системах»

и 53 01 07 «Информационные технологии и управление в технических

системах»

Минск 2004

Введение

В.1. Определение информации

Деятельность людей связана с переработкой и использованием материалов,

энергии и информации. Соответственно развиваются научно-технические дис-

циплины, отражающие вопросы технологии, энергетики и информатики. Усло-

вием успешной практической деятельности людей является эффективная орга-

низация обмена информацией (от латинского informatio-разьяснение, изложе-

ние). Таким образом, информационные наука и техника занимают одно из базо-

вых

положений. К информационной технике относятся средства, служащие для

восприятия, подготовки, передачи, переработки, хранения и представления ка-

кой-либо информации, получаемой от человека, природы машины, вообще от

какого-либо объекта наблюдения и управления. Комплексное применение этих

средств приводит к созданию больших и сложных информационных систем.

Имеется множество определений понятия информации от

наиболее общего

философского – информация есть отражение реального мира до наиболее узко-

го практического – информация есть все сведения, являющиеся объектом хра-

нения, передачи и преобразования.

В [11] информация определяется как содержательные сведения (данные),

заключенные в том или другом сообщении, заранее не известные человеку или

машине, принимающим сообщение.

Понятие информации связано с некоторыми моделями

реальных вещей,

отражающими их сущность в той степени, в какой это необходимо для практи-

ческих целей. Это согласуется и с философской концепцией отражения вещей

друг в друге и в живых организмах.

Таким образом, под информацией нужно понимать не сами предметы и

процессы, а их представительные характеристики отражения или отображения

виде чисел, формул, описаний, чертежей, символов, образов и других абст-

рактных характеристик.

Сама по себе информация может быть отнесена к области абстрактных ка-

тегорий, подобных, например, математическим формулам. Однако проявляется

она всегда в материально-энергетической форме в виде сигналов. Схема обра-

зования сигнала показана на рис. В.1.

Различают две основные формы

существования информации: статическая

в виде различных записей на бумаге, пленке и других материалах и динамиче-

ская - при ее передаче.

С передачей и обработкой информации связаны действия любого автома-

тического устройства, поведение живого существа, творческая деятельность

человека, развитие науки и техники, экономические и социальные преобразова-

ния в обществе и сама жизнь

Теория информации в ее современном виде – это научная дисциплина,

изучающая способы передачи и хранения информации наиболее надежным и

экономичным методом.

Физическая

модель

Используемые

сигналы

1011

Аппарат

кодирования

Кодированная

информация

Аппарат

квантования

Квантованная

информация

Аппарат

восприятия

Начальная

информация

Физический

оригинал

Наблюдаемые

явления

Математические модели

Рис. В.1. Методологическая схема образования сигнала

В.2. Этапы обращения информации

Информация в автоматических и автоматизированных системах использу-

ется для выработки управляющих воздействий. При этом различают этапы [1],

представленные на рис. В.2. Поскольку материальным носителем информации

является сигнал, то реально это будут этапы обращения и преобразования сиг-

налов [2].

Передача Обработка

Генерация Воздействие

ОтображениеВосприятие

ХранениеПодготовка

Объект наблюдения и управления

Рис. В.2. Этапы обращения информации

На этапе восприятия формируется образ объекта, производится его опо-

знавание и оценка. При этом необходимо отделить полезную информацию от

шумов, что в ряде случаев сопряжено со значительными трудностями.

На этапе подготовки информации производятся такие операции, как нор-

мализация, квантование, кодирование и модуляция носителя. Иногда этот этап

рассматривается как вспомогательный на этапе восприятия. В результате вос-

приятия и подготовки получается сигнал в форме, удобной для передачи и об-

работки.

Передача информации состоит в переносе ее на расстояние посредством

сигналов различной

физической природы соответственно по электрическим,

электромагнитным и оптическим каналам. Прием информации на другой сто-

роне канала имеет характер вторичного восприятия со свойственными ему опе-

рациями борьбы с шумами.

Обработка информации заключается в решении задач, связанных с ее пре-

образованием, независимо от их функционального назначения.

Преобразование информации осуществляется либо средствами информа-

ционной техники, либо человеком. Если процесс обработки формализуем, он

может выполняться техническими средствами. В современных сложных систе-

мах эти функции возлагаются на ЭВМ и микропроцессоры. Если процесс обра-

ботки не поддается формализации и требует творческого подхода, обработка

информации осуществляется человеком.

Этап отображения информации должен предшествовать этапам, связанным

с участием человека. Цель

этапа отображения - представить человеку нужную

ему информацию с помощью устройств, способных воздействовать на его орга-

ны чувств.

На этапе воздействия информация используется для осуществления необ-

ходимых изменений в системе.

В.3. Система передачи информации

Структурная схема одноканальной системы передачи информации приве-

дена на рис. В.3. Информация поступает в систему в форме сообщений. Под со-

общением понимают совокупность знаков или первичных сигналов, содержа-

щих информацию. Источник сообщений в общем случае образует совокупность

источника информации ИИ (исследуемого или наблюдаемого объекта) и пер-

вичного преобразователя ПП (датчика, человека-оператора и т.п.), восприни-

мающего информацию о его состоянии или о протекающем в нем процессе.

Различают дискретные и непрерывные сообщения.

Дискретные сообщения формируются в результате последовательной вы-

дачи источником отдельных элементов-знаков. Множество различных знаков

называют алфавитом источника сообщений, а число знаков – объемом алфави-

та

Непрерывные сообщения неразделимы на элементы и описываются функ-

циями времени, принимающими непрерывное множество значений. В ряде слу-

чаев непрерывные сообщения с целью повышения качества передачи преобра-

зуются в дискретные.

Рис. В.3. Структурная схема передачи информации

Источник

сообщений

Аппарат восприятия

Приемное устройство

Получатель

сообщения

ИИ ПП

К М

Линия связи

ДМ ДК

Источник помех

Сообщение СообщениеСигнал + помехаСигнал

Сообщение может иметь форму, не приспособленную для передачи, хра-

нения и обработки. В связи с этим применяют различные способы преобразова-

ния сообщения в сигнал. К ним относятся дискретизация, кодирование и моду-

ляция.

Под кодированием понимается процесс преобразования дискретных или

квантованных непрерывных сообщений в сложный дискретный сигнал, пред-

ставляющий собой набор элементарных

сигналов.

Под модуляцией понимается процесс изменения параметров носителя под

действием сообщения.

В информационных системах под сигналом понимается физический про-

цесс, несущий сообщение.

Операцию восстановления сообщения по принятому сигналу называют де-

модуляцией и декодированием, техническая реализация которых осуществляет-

ся демодулятором ДМ и декодером ДК соответственно.

Под линией связи понимают физическую среду,

обеспечивающую поступ-

ление сигналов от передающего устройства к приемному. Сигналы на выходе

линий связи могут отличаться от переданных вследствие затухания, искажения

и воздействия помех. Помехами называют сторонние возмущения, искажающие

полезный сигнал. Эффект воздействия помех на различные блоки системы ста-

раются учесть эквивалентным изменением характеристик линии связи. Поэтому

источник помех условно относят

к линии связи.

Меру соответствия принятого сообщения посланному называют достовер-

ностью передачи.

Принятое сообщение с выхода системы связи поступает к получателю.

Совокупность технических средств, предназначенных для передачи сооб-

щений, называют каналом связи.

В.4. Уровни проблем передачи информации

Обмен информацией предполагает использование некоторой системы зна-

ков, например, естественного или искусственного (

формального) языка. В связи

с этим проблемы передачи информации разделяют на проблемы синтактиче-

ского, семантического и прагматического уровней.

Проблемы синтактического уровня касаются создания теоретических ос-

нов построения систем связи, основные показатели функционирования которых

были бы близки к предельно возможным, а также совершенствования сущест-

вующих систем с целью повышения эффективности их использования

. Это чис-

то технические проблемы совершенствования методов передачи сообщений и

сигналов. На этом уровне интересуют проблемы доставки получателю сообще-

ний как совокупности знаков, при этом полностью абстрагируются от их смы-

слового и прагматического содержания.

Основу интересующей нас теории информации составляют результаты

решения ряда проблем именно этого уровня. Она опирается на

понятие количе-

ство информации, являющееся мерой частоты употребления знаков, которая

никак не отражает ни смысла, ни важности передаваемых сообщений. В связи с

этим иногда говорят, что теория информации находится на синтактическом

уровне.

Проблемы семантического уровня связаны с формализацией смысла пере-

даваемой информации, например, введением количественных оценок близости

информации к истине, т.е. оценок ее качества. Эти проблемы чрезвычайно

сложны, так как

смысловое содержание информации больше зависит от полу-

чателя, чем от семантики сообщения, представленного в каком-либо языке.

Следует отметить, что мы еще не умеем измерять семантическую инфор-

мацию. Имевшие место подходы к ее измерению пока носили весьма частный

характер.

На прагматическом уровне интересуют последствия от получения и ис-

пользования данной

информации абонентом. Проблемы этого уровня – это

проблемы эффективности. Основная сложность здесь состоит в том, что цен-

ность или потребительская стоимость информации может быть совершенно

различной для различных получателей. Кроме того, она существенно зависит от

истинности информации, своевременности ее доставки и использования. В на-

правлении количественного определения прагматического содержания инфор-

мации сделаны

лишь первые шаги, которые еще недостаточно конструктивны,

чтобы найти широкое практическое применение. В связи с созданием информа-

ционно-вычислительных сетей ведутся интенсивные исследования в области

оценки старения информации, то есть потери ее ценности в процессе доставки.

Контрольные вопросы

1. Что понимается под термином "информация"?

2. Приведите схему образования сигнала и

поясните ее.

3. Дайте определение теории информации, как научной дисциплине.

4. Назовите этапы обращения информации.

5. Приведите структурную схему системы передачи информации и поясни-

те ее.

6. Что понимается под сообщением и сигналом?

7. В чем отличие дискретных и непрерывных сообщений?

8. Что понимается под кодированием и модуляцией?

9. Дайте определение линии связи и

канала связи.

10. Что понимается под достоверностью передачи?

11. Назовите уровни проблем передачи информации и дайте характеристи-

ку каждому уровню?

12. Назовите форму существования информации.

[1 с. 4-16; 2 с. 1-9].

1. КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ

1.1. Количество информации при равновероятности

состояний источника сообщений

Сообщения разнятся как по своей природе, так и по содержанию и по на-

значению. В связи с этим возникают трудности в оценке количества информа-

ции, которое содержится в сообщениях. Количество информации должно опре-

деляться через нечто общее, объективно присущее

всему многообразию раз-

личной информации, оставаясь при этом созвучным нашим интуитивным пред-

ставлениям, связанным с фактом получения информации. Этим общим, харак-

теризующим фактом получения произвольной информации, является, во-

первых, наличие опыта. Всякая информация добывается нами в результате

опыта и только опыта. Во-вторых, до опыта должна существовать некоторая

неопределенность в

том или ином исходе опыта.

Таким образом, до опыта всегда имеется большая или меньшая неопреде-

ленность в интересующей нас ситуации. После опыта ситуация становится бо-

лее определенной и на поставленный вопрос мы можем ответить либо одно-

значно, либо число возможных ответов уменьшится и, следовательно, умень-

шится существовавшая ранее неопределенность. Количество уменьшенной

не-

определенности после опыта, очевидно, можно отождествить с количеством

получаемой информации в результате опыта.

Теперь ясно, что для установления формулы для вычисления количества

информации необходимо уметь вычислять неопределенность некоторой ситуа-

ции до и после опыта. Разность между этими количествами неопределенности и

дает нам искомое количество информации, полученное от такого опыта.

К количеству информации (неопределенности до опыта) можно предъя-

вить три интуитивных требования.

1. Количество получаемой информации больше в том опыте, у которого

большее число возможных исходов.

Обозначая количество информации буквой I, а число возможных исходов

n, первый постулат запишем в виде:

),()(

nInI ≥

если

nn ≥

(1.1)

2. Опыт с единственным исходом несет количество информации, равное

нулю, т.е.

.0)1(

(1.2)

3. Количество информации от двух независимых опытов равно сумме ко-

личества информации от каждого из них:

).()()(

2121

nInInnI

⋅

(1.3)

Очевидно, единственной функцией аргумента n, удовлетворяющей трем

поставленным условиям, является логарифмическая. Итак, количество инфор-

мации от опыта с N исходами при условии, что после опыта неопределенность

отсутствует:

.log

NCI

(1.4)

Выбор постоянной С и основания логарифмов здесь несущественен, так

как определяет только масштаб на единицу неопределенности. Поэтому поло-

жим С = 1, а = 2. Тогда

.log

(1.5)

Указанная мера была предложена Р. Хартли в 1928г. для количественной

оценки способности системы хранить или передавать информацию.

Такая мера удовлетворяет требованию аддитивности. Емкость устройства

состоящего из n ячеек, имеющего N = m

состояний, равна емкости одной

ячейки, умноженной на число ячеек:

.loglog mnmC

(1.6)

За единицу измерения емкости принята двоичная единица или bit, равная

емкости одной ячейки с двумя возможными состояниями.

Следует отметить, что мера количества информации в виде (1.6) относится

к весьма частному случаю, когда после опыта неопределенности в исходе нет и

все исходы равновероятны.

Дальнейшее развитие теории информации шло в направлении учета стати-

стических

характеристик.

Если от источника информации по каналу связи передавать сообщение о

событии, априорная вероятность которого на передающей стороне равна Р

, то

после приема сообщения апостериорная вероятность этого события для прием-

ника информации равна Р

и количество информации, полученное в результате

приема сообщения, будет

.loglog)/log(

1212

PPPPI

−

(1.7)

Для канала связи без помех и искажений прием сообщения становится дос-

товерным событием, т.е. вероятность Р

= 1, тогда из (1.7) следует, что

.log

−

(1.8)

Из (1.8) следует, что чем меньше вероятность Р

, тем больше неопределен-

ность исхода, т.е. тем большее количество информации содержится в принятом

сообщении.