Лекции по теории информации

Конспект лекций, отредактированный в соответствии с зачётными вопросами. Вопросы также прилагаются.
Теория информации
Сигналы и некоторые их характеристики.
Квантование по уровню.
Квантование по времени.
Квантование по уровню и по времени.
Семантическая и синтаксическая информация.
Энтропия и количество информации.
Информационные характеристики квантованного сигнала.
Пропускная способность канала передачи информации при отсутствии помех.
Пропускная способность канала при наличие помех.
Формула Шеннона для канала связи при наличие помех.
Виды избыточности.
Кодирование сообщений в дискретном канале.
Эффективное кодирование.
Код Хаффмана.
Код Шеннона-Фано.
Линейные групповые коды (ЛГК).
Задача построения ЛГК с заданными свойствами.
Определение требуемого количества проверочных столбцов.
Построение множества кодовых слов.
Коды Хэмминга.
Циклические коды.
Некоторые соображения по выбору порождающего многочлена.
Кодирование и декодирование в ЦК.
Декодер в ЦК.
Декодер Меггита
Циклические коды, исправляющие пакеты ошибок.
Двоичный код Голея.
Коды с постоянным весом.