Учебное пособие. — Томск: Издательство Томского университета, 1963.
— 240 с.
Все проблемы, которыми занимается теория информации, более или
менее отчётливо разделяются на несколько разделов. Совокупность
вопросов, связанных со строением сигналов, образует первый раздел —
теорию структуры сигналов. Проблемы второго раздела состоят в
обосновании и детальном изучении основных понятий теории — энтропии
и количества информации. В третий раздел входят вопросы описания и
изучения основных свойств информационных систем. Четвёртый раздел —
теория построения оптимальных и близких к оптимальным кодов.
Многочисленные и разнообразные приложения можно отнести к пятой
группе проблем теории информации.
Построение книги имеет некоторые особенности. Во-первых, большое внимание уделено теории структуры сигналов, которая обычно считается чисто вспомогательным материалом. Во-вторых, хотя в современных исследованиях по теории информации центральное место занимает теория кодирования, в данной книге вопросы кодирования затрагиваются в той мере, в какой это понадобилось для изложения соответствующих теорем Шэннона. Предисловие
Введение Теория структуры сигналов
Общие вопросы теории структуры сигналов
Введение. Предмет и содержание теории структуры сигналов
Понятие сигнала. Определение сигнала
Два основных класса сигналов
Структурные свойства сигналов. Параметры сигналов
Типы сигналов
Математические модели сигналов
Изоморфизм сигналов
Случайный процесс — модель сигнала
Математические модели некоторых конкретных типов сигналов. Классификация случайных процессов
Обзор некоторых конкретных моделей сигналов
Введение
Графическое представление сигналов, являющихся марковскими процессами
Представление сигналов с помощью метода канонических разложений
Сигналы, ограниченные по ширине спектра или по длительности. Теорема Котельникова и её аналог в частотном представлении
Обобщённые теоремы Котельникова на случай спектра, не содержащего низких частот
Геометрическое представление сигналов
Динамический сигнал как колебание со случайными амплитудой и фазой
Гармонический анализ сигналов
Частотно-временная неопределённость сигналов
Сигналы с ограниченным спектром как приближенная модель сигналов с неограниченным спектром
О возможности полного отказа от модели сигналов с ограниченным спектром
Математическое описание некоторого класса нестационарных сигналов Энтропия, информация, количество информации
Энтропия
Введение
Энтропия случайных объектов с дискретным множеством состояний
Теорема единственности функционала энтропии как меры неопределённости конечной схемы
Неопределённость непрерывных случайных величин. Дифференциальная (относительная) энтропия
Свойства дифференциальной энтропии
Принцип экстремума энтропии и экстремальные распределения
Изменение дифференциальной энтропии при преобразованиях координат
Энтропийные характеристики дискретных случайных процессов
Фундаментальное свойство энтропии дискретных эргодических процессов
О неопределённости и энтропии непрерывных случайных процессов
Энтропийная мощность случайных процессов
Выражение дифференциальной энтропии на степень свободы стационарного гауссова процесса через его спектр
Изменение дифференциальной энтропии при линейной фильтрации
Теоретические и экспериментальные оценки энтропии случайных величин и стационарных последовательностей
Количество информации
Информация и количество информации
Простейший случай. Количество информации по Р. Хартли
Вероятностный подход К. Шэннона к определению количества информации. Снятие условия равновероятности символов
Вычисление количества информации при учёте зависимости между символами
Количество информации как мера снятой неопределённости
Вычисление количества информации при наличии шумов
Количество информации как мера соответствия двух случайных объектов
Количество информации в непрерывных объектах
Основные свойства количества информации
Единицы измерения энтропии и количества информации
Количество информации в индивидуальном событии Информационные системы и их характеристики
Информационные системы
Общая модель информационной системы
Системы связи
Системы хранения информации
Преобразователи информации
Другие типы информационных систем
Источники информации. Скорость создания информации: ε -энтропия непрерывных и дискретных источников
Определение скорости создания информации
ε -энтропия гауссовых источников
ε -энтропия дискретного случайного объекта
Информационные характеристики сигналов. Параметры информационных систем и их элементов
Избыточность
Скорость передачи информации. Пропускная способность
Помехоустойчивость, эффективность, надёжность
Другие параметры информационных систем
Дискретные системы без шумов
Проблема оптимального представления информации в дискретных системах без шумов
Фундаментальная теорема о кодировании при отсутствии шума
О свойствах оптимальных и близких к оптимальным кодов
Дискретные системы с шумами
Проблемы передачи информации при наличии шума
Первая теорема Шэннона о кодировании в присутствии шумов
Вторая теорема Шэннона
Обратная теорема Шэннона для каналов с шумами
Обсуждение теорем о кодировании для каналов с шумами
Системы, работающие с непрерывными сигналами
Скорость передачи информации, пропускная способность и скорость создания информации в случае непрерывных сигналов
Пропускная способность гауссовых каналов связи
Скорость передачи информации по гауссовым каналам с произвольными спектрами сигнала и шума. Оптимальные спектры
Вычисление количества информации, передаваемого по гауссовым каналам связи. Оценки пропускной способности непрерывных каналов связи
Теорема кодирования для непрерывных каналов
Сложные информационные системы
Последовательное и параллельное соединения каналов связи
Произвольное соединение каналов связи в сложную сеть
Системы с обратной связью
Каналы связи со случайными параметрами
Литература
Построение книги имеет некоторые особенности. Во-первых, большое внимание уделено теории структуры сигналов, которая обычно считается чисто вспомогательным материалом. Во-вторых, хотя в современных исследованиях по теории информации центральное место занимает теория кодирования, в данной книге вопросы кодирования затрагиваются в той мере, в какой это понадобилось для изложения соответствующих теорем Шэннона. Предисловие
Введение Теория структуры сигналов
Общие вопросы теории структуры сигналов
Введение. Предмет и содержание теории структуры сигналов
Понятие сигнала. Определение сигнала
Два основных класса сигналов
Структурные свойства сигналов. Параметры сигналов
Типы сигналов
Математические модели сигналов
Изоморфизм сигналов
Случайный процесс — модель сигнала
Математические модели некоторых конкретных типов сигналов. Классификация случайных процессов
Обзор некоторых конкретных моделей сигналов
Введение
Графическое представление сигналов, являющихся марковскими процессами
Представление сигналов с помощью метода канонических разложений
Сигналы, ограниченные по ширине спектра или по длительности. Теорема Котельникова и её аналог в частотном представлении
Обобщённые теоремы Котельникова на случай спектра, не содержащего низких частот
Геометрическое представление сигналов
Динамический сигнал как колебание со случайными амплитудой и фазой
Гармонический анализ сигналов
Частотно-временная неопределённость сигналов
Сигналы с ограниченным спектром как приближенная модель сигналов с неограниченным спектром
О возможности полного отказа от модели сигналов с ограниченным спектром
Математическое описание некоторого класса нестационарных сигналов Энтропия, информация, количество информации
Энтропия
Введение
Энтропия случайных объектов с дискретным множеством состояний
Теорема единственности функционала энтропии как меры неопределённости конечной схемы
Неопределённость непрерывных случайных величин. Дифференциальная (относительная) энтропия
Свойства дифференциальной энтропии
Принцип экстремума энтропии и экстремальные распределения
Изменение дифференциальной энтропии при преобразованиях координат
Энтропийные характеристики дискретных случайных процессов
Фундаментальное свойство энтропии дискретных эргодических процессов
О неопределённости и энтропии непрерывных случайных процессов
Энтропийная мощность случайных процессов
Выражение дифференциальной энтропии на степень свободы стационарного гауссова процесса через его спектр
Изменение дифференциальной энтропии при линейной фильтрации
Теоретические и экспериментальные оценки энтропии случайных величин и стационарных последовательностей
Количество информации
Информация и количество информации
Простейший случай. Количество информации по Р. Хартли
Вероятностный подход К. Шэннона к определению количества информации. Снятие условия равновероятности символов
Вычисление количества информации при учёте зависимости между символами
Количество информации как мера снятой неопределённости
Вычисление количества информации при наличии шумов
Количество информации как мера соответствия двух случайных объектов
Количество информации в непрерывных объектах
Основные свойства количества информации
Единицы измерения энтропии и количества информации
Количество информации в индивидуальном событии Информационные системы и их характеристики
Информационные системы
Общая модель информационной системы
Системы связи
Системы хранения информации
Преобразователи информации
Другие типы информационных систем
Источники информации. Скорость создания информации: ε -энтропия непрерывных и дискретных источников
Определение скорости создания информации
ε -энтропия гауссовых источников
ε -энтропия дискретного случайного объекта
Информационные характеристики сигналов. Параметры информационных систем и их элементов
Избыточность
Скорость передачи информации. Пропускная способность
Помехоустойчивость, эффективность, надёжность
Другие параметры информационных систем
Дискретные системы без шумов
Проблема оптимального представления информации в дискретных системах без шумов
Фундаментальная теорема о кодировании при отсутствии шума
О свойствах оптимальных и близких к оптимальным кодов
Дискретные системы с шумами
Проблемы передачи информации при наличии шума
Первая теорема Шэннона о кодировании в присутствии шумов
Вторая теорема Шэннона
Обратная теорема Шэннона для каналов с шумами
Обсуждение теорем о кодировании для каналов с шумами
Системы, работающие с непрерывными сигналами
Скорость передачи информации, пропускная способность и скорость создания информации в случае непрерывных сигналов
Пропускная способность гауссовых каналов связи
Скорость передачи информации по гауссовым каналам с произвольными спектрами сигнала и шума. Оптимальные спектры
Вычисление количества информации, передаваемого по гауссовым каналам связи. Оценки пропускной способности непрерывных каналов связи
Теорема кодирования для непрерывных каналов
Сложные информационные системы
Последовательное и параллельное соединения каналов связи
Произвольное соединение каналов связи в сложную сеть
Системы с обратной связью
Каналы связи со случайными параметрами
Литература