Красильников Н.Н., Красильникова О.И. Мультимедиа технологии в информационных системах. Методы сжатия и форматы записи графической информации

Подождите немного. Документ загружается.

кадра к кадру по горизонтали V

и по вертикали V

, то в качестве пред-

сказания можно использовать эту область изображения из предыдуще-

го кадра, смещенную по горизонтали и по вертикали на величины V

соответственно. Набор величин V

и V

называется в е к т о р о м

д в и ж е н и я. Компенсация движения при формировании сигнала

ошибки предсказания позволяет уменьшить его значение и, как след-

ствие, увеличить сжатие. Полностью сигнал ошибки предсказания не мо-

жет быть сведен к нулю, так как при движении объекта обычно изменя-

ется его ракурс и масштаб, однако он может быть значительно уменьшен.

Одним из наиболее часто применяющихся методов оценки вектора

движения является метод согласования блоков. Существо этого метода

заключается в том, что текущий блок (а изображение разбивается на

блоки, как в случае стандарта JPEG), проецируется на предыдущее опор-

ное изображение и сравнивается со всеми блоками предыдущего кадра

в пределах некоторой области поиска. Тот блок, который меньше всего

отличается от текущего по величине среднеквадратичной ошибки, при-

нимается за опорный для целей предсказания, а смещение между опор-

ным и проецируемым блоками определяет вектор движения.

Для устранения внутрикадровой и психофизической избыточности

применяется метод, реализованный в стандарте JPEG.

Сжатие движущихся изображений в рассматриваемом методе проис-

ходит следующим образом. Исходная последовательность кадров дви-

жущегося изображения разбивается на макроблоки размером 16×16 от-

счетов (как это сделано в стандарте JPEG), а затем разделяется на три

типа кадров: I – Intrapictures, P – Predicted и B – Bidirection.

I-кадры обеспечивают возможность произвольного доступа к любо-

му кадру, являясь своеобразными точками входа в поток данных для

декодера, и сжимаются независимо в соответствии с методом, исполь-

зуемым в стандарте JPEG. При их сжатии выполняются следующие дей-

ствия:

– в каждом макроблоке изображения делается переход от матриц,

представляющих красную, зеленую и синюю компоненты изображения,

к трем матрицам, представляющим яркостную Y и две цветностных Cb

и Cr компоненты изображения;

– матрица, представляющая яркостную компоненту размером 16×16 от-

счетов, разделяется на четыре матрицы размером 8×8 отсчетов каждая;

– две матрицы, содержащие цветностные отсчеты Cb и Cr, путем их

прореживания по строкам и столбцам, преобразуются в две цветност-

ные матрицы Cb и Cr размером 8×8. При прореживании этих матриц из

них исключаются каждая вторая строка и каждый второй столбец. На

этом этапе кодирования происходит сжатие данных в два раза:

– каждая из шести матриц размером 8×8 отсчетов преобразуется по-

средством ДКП в матрицы спектральных коэффициентов;

– каждая из матриц спектральных коэффициентов квантуется;

– осуществляется зигзаг-сканирование к каждой из шести матриц

спектральных коэффициентов;

– к полученным данным применяется энтропийное кодирование, за-

ключающееся в последовательном применении метода кодирования длин

серий и кода Хаффмена.

Кодирование P-кадров отличается от кодирования I-кадров тем, что

они кодируются на основе предсказания путем ссылок на блоки преды-

дущих I- или P-кадров. В результате этого предсказания формируется

кадр сигнала ошибки предсказания, который представляет собой разность

между опорным и предсказанным кадрами с учетом вектора движения.

Этот кадр подвергается сжатию посредством применения той же после-

довательности операций, которая применяется для кодирования I-кадров.

При кодировании B-кадров используются ссылки на два кадра, нахо-

дящихся впереди и позади них. Эти кадры сами в качестве ссылки ис-

пользоваться не могут.

Кадры различных типов объединяются в группы, каждая из которых

начинается с кадра типа I, образующего опорный сигнал для предсказа-

ния при кодировании кадров типа P и B. Для того чтобы получить вы-

сокий коэффициент сжатия, группа должна быть достаточно большой.

При воспроизведении изображений последовательность кадров может

быть такой: I, B, B, P, B, B, P, B, B, I… Однако при кодировании и

декодировании изображений порядок кадров различного типа в группе

должен быть изменен на следующий: I, P, B, B, P, B, B, I, поскольку

кадры типа B создаются на основании кадров I и P, которые к этому

времени уже должны иметься.

Группы могут быть как замкнутыми, когда последним кадром явля-

ется кадр типа P, так и разомкнутыми, когда последним кадром являет-

ся кадр типа I. Достоинством замкнутых групп является то, что они

позволяют выполнять прямые монтажные переходы перед очередным I-

кадром без декодирования цифрового потока, однако для этого требует-

ся более сложный кодер.

Степень сжатия каждого из трех типов кадров различна: она меньше

всего у кадров типа I, у P – примерно в 3 раза больше, чем у кадров

типа I, а у B – примерно в 4,5 раза превышает степень сжатия кадров

типа I.

Декодирование (декомпрессия) изображения при использовании опи-

санного метода сжатия состоит в выполнении обратных преобразова-

ний в обратном порядке.

4.5. Сжатие изображений в формате MPEG-4

Стандарт компрессии MPEG (Moving Picture Experts Group) по мере

развития от версии к версии все более обогащался новыми технически-

ми решениями и обеспечивал все возрастающие возможности. Так, если

стандарт MPEG-1, выпущенный в 1992 г., обеспечивал при скорости

потока данных 1,5 Мбит/с запись полнометражного фильма в стандарте

PAL: 352×288 пикселов, 25 кадров в сек., со стереозвуком с частотой

дискретизации 44,1 кГц, то стандарт MPEG-2, выпущенный в 1995 г.,

обеспечивает скорость потока данных 3–15 Мбит/с и позволяет передавать

25 кадров в секунду с размером кадра 720×576 пикселов, существенно

улучшив качество изображения. Еще одно достоинство MPEG-2 –

поддержка многоканального звука.

Дальнейшая работа над совершенствованием стандарта MPEG при-

вела к внедрению принципиально новых идей, которые были воплоще-

ны в MPEG-4, получивший международный статус стандарта в 1999 г.

Его назначение формулируется в рабочих документах группы MPEG

следующим образом: он задает принципы работы с контентом (цифро-

вым представлением медиа-данных) для трех областей:

• собственно интерактивного мультимедиа;

• графических приложений;

• цифрового телевидения.

Рассмотрим, в чем заключаются новые концепции, воплощенные в

MPEG-4 [2]. Прежде всего следует отметить, что этот стандарт задает

правила организации среды, причем объектно-ориентированной. Клю-

чевым для данного стандарта является понятие «медиа-объект», то есть

MPEG-4 имеет дело не просто с потоками и массивами медиа-данных,

а с медиа-объектами. В качестве них могут фигурировать графические,

текстовые, аудио-, видео-, аудиовизуальные объекты. Примерами объек-

тов могут служить: неподвижный фон, видеоперсонажи на прозрачном

фоне, трехмерные модели, синтезированная на основе текста речь, му-

зыкальные фрагменты, анимированный спрайт и т. д.

В отличие от предыдущих форматов, которые делили изображение

на прямоугольники, кодек MPEG-4 оперирует с объектами произволь-

ной формы. Каждый медиа-объект имеет связанный с ним набор деск-

рипторов, задающих его свойства, операции, необходимые для декоди-

рования ассоциированных с ним потоковых данных, размещения в сцене,

а также поведение и допустимые реакции на воздействие пользовате-

ля. Каждый объект имеет свою локальную систему координат, с помо-

щью которой объект управляется в пространстве и времени Из объек-

тов строятся сцены. Сцена описывается с помощью иерархической

структуры, узлами которой являются объекты. Такая структура дина-

мически перестраивается по мере того, как узлы-объекты добавляются,

удаляются или изменяются.

В MPEG-4 определен двоичный язык описания объектов, классов

объектов и сцен – BIFS, который, по существу, является расширением

языка С++. С помощью команд этого языка можно анимировать объек-

ты, изменять их координаты, размеры, свойства, реакции на воздей-

ствие пользователя, изменять свойства среды, обновлять сцену и т. д.

Многие концепции языка BIFS позаимствованы у VRML. Среди допус-

тимых пользовательских команд взаимодействия с контентом – измене-

ние точки наблюдения, удаление, добавление, перемещение объектов

внутри сцены и т. п.

В стандарте MPEG-4 можно выделить ряд блоков, отвечающих за

решение определенного круга задач. Перечислим некоторые из них.

VLBV Core – ядро, обеспечивающее работу с видео, имеющим очень

низкую скорость потока данных. Следует отметить, что за счет исполь-

зования эффективных методов сжатия удается максимально повысить

характеристики видео. Данное ядро направлено также на реализацию

операций произвольного доступа к кадрам видеопоследовательности,

что требуется в области управления медиа-активами (например, для ра-

боты с базами видеоданных).

Второй блок отвечает за работу с видео с большой скоростью потока

данных, вплоть до вещательного качества. При этом предусмотрены воз-

можности работы и с прогрессивной, и с чересстрочной развертками.

Третий блок включает в себя функции, зависящие от контента. Они

позволяют обрабатывать видео с произвольным силуэтом для отдель-

ного кодирования видеообъектов и манипуляций с ними.

Посредством функций данного блока объекты кодируются таким об-

разом, что декодер имеет возможность в случае ограничений пропуск-

ной способности сети, недостаточной вычислительной мощности, ма-

лого разрешения дисплея огрублять изображение, декодируя и выводя

лишь часть передаваемой потоковой информации (например, умень-

шая частоту или разрешение кадров). Достигается «масштабируемость»

видео объектов, при этом адекватность контента сохраняется. Для ко-

дирования неподвижных изображений и текстур применяется очень

эффективный вейвлет-алгоритм. Он обеспечивает кодирование объек-

тов произвольной формы, 11 уровней масштабируемости по разреше-

нию и плавную масштабируемость по качеству изображения. Закодиро-

ванный поток представляет собой «пирамиду» различных разрешений.

В приемнике изображение постепенно «проявляется», улучшаясь на-

столько, насколько позволяет данная передающая среда. Межкадровое

кодирование реализовано на основе предсказания и компенсации дви-

жения, а также посредством механизмов работы со спрайтами, пред-

ставляющими собой неподвижные изображения, которые передаются в

декодер один раз, а затем подставляются в нужное место кадра из спе-

циального спрайтового буфера всякий раз, когда это необходимо. Это

позволяет существенно сократить объем передаваемых данных и обес-

печивает большую гибкость в построении сцены.

В MPEG-4 предусмотрены инструменты и алгоритмы работы с син-

тетическими объектами, сгенерированными средствами компьютерной

графики. Используются каркасные представления двумерных и трех-

мерных моделей, данные для анимирования этих моделей, текстуры,

которые могут на эти объекты накладываться. При этом для анимации

объектов достаточно передать лишь небольшой объем данных. В язык

BIFS входят необходимые средства управления анимацией. Имеются

наборы управляющих параметров для задания лица (FDP), для его ани-

мации (FAP), контрольные точки в полигональной сетке, отвечающие

за определенные эмоции или движения, и т. п. Предусмотрены сред-

ства синтеза речи на базе текстов. Они не только генерируют необходи-

мые фонемы, но могут также создавать поток данных для соответству-

ющей анимации модели лица говорящего. Кроме того, есть средства

учета точки наблюдения. Если, например, в трехмерном пространстве

сцены имеются объекты переднего плана, то заслоненные ими фраг-

менты сцены передаваться не будут.

Библиографический список

1. Методы сжатия данных/Д. Ватолин, А. Ратушняк, М. Смирнов,

В. Юкин. М.: Диалог-МИФИ, 2002. 381с.

2. Володин А. Б. Адаптивная контекстная компрессия изображений

на основе нечеткой морфологии. СПб.: Вестник молодых ученых, 2002.

3. Воробьев В. И., Грибунин В. Г. Теория и практика вейвлет-преоб-

разования. СПб.: ВУС, 1999. 204 с.

4. Красильников Н. Н. Цифровая обработка изображений. М.: Вузов-

ская книга, 2001. 319 с.

Для работы с аудиообъектами, которые также входят в структуру де-

рева сцены и описываются на языке BIFS, также предусмотрен богатый

набор всевозможных средств.

Оглавление

1. ТЕОРЕТИЧЕСКИЕ ПРЕДПОСЫЛКИ СЖАТИЯ ИЗОБРАЖЕНИЙ ..... 3

1.1. Проблема сжатия изображений ................................................. 3

1.2. Статистическая избыточность изображений ........................... 5

1.3. Психофизическая избыточность изображений ........................ 8

СЖАТИЕ ИЗОБРАЖЕНИЙ БЕЗ ПОТЕРИ ИНФОРМАЦИИ ................. 10

2.1. Декорреляция сигнала изображения ......................................... 10

2.2. Кодирование длин серий ............................................................ 12

2.3. Кодирование методом LZW ....................................................... 14

2.4. Метод кодирования Хаффмена ................................................. 17

2.5. Арифметическое кодирование ................................................... 18

2.6. Разделение кодируемого сигнала изображения

на контексты................................................................................. 22

СЖАТИЕ ИЗОБРАЖЕНИЙ С ПОТЕРЕЙ ИНФОРМАЦИИ................... 26

3.1. Дифференциальная кодово-импульсная модуляция ............... 26

3.2. Принципы кодирования с использованием ортогональных

преобразований ............................................................................ 29

3.3. Дискретное косинусное преобразование ................................. 35

3.4. Оптимальное распределение двоичных единиц кода между

спектральными коэффициентами .............................................. 38

3.5. Вейвлет-преобразование ............................................................ 40

3.6. Сжатие изображений на основе вейвлет-преобразования .... 44

3.7. Фрактальное кодирование .......................................................... 46

АЛГОРИТМЫ СЖАТИЯ ИЗОБРАЖЕНИЙ В ФОРМАТАХ ЗАПИСИ

НЕПОДВИЖНЫХ И ДВИЖУЩИХСЯ ИЗОБРАЖЕНИЙ ....................

4.1. Обзор форматов записи изображений ...................................... 50

4.2. Сжатие изображений в формате JPEG ..................................... 54

4.3. Сжатие изображений в формате JPEG-2000 ........................... 58

4.4. Сжатие изображений в формате MPEG-2 ............................... 60

4.5. Сжатие изображений в формате MPEG-4 ............................... 63

Библиографический список .................................................................. 66

Учебное издание

Красильников Николай Николаевич

Красильникова

Ольга Ивановна

МУЛЬТИМЕДИАТЕХНОЛОГИИ

В ИНФОРМАЦИОННЫХ СИСТЕМАХ

МЕТОДЫ СЖАТИЯ И ФОРМАТЫ ЗАПИСИ

ГРАФИЧЕСКОЙ ИНФОРМАЦИИ

Учебное пособие

Редактор А. М. Картухина

Компьютерный набор и верстка А. А. Бурова

Сдано в набор 05.05.03. Подписано в печать 30.12.03. Формат 60×84 1/16. Бумага офсетная.

Печать офсетная. Усл. печ. л. 3,95. Усл. кр.-отт. 4,07. Уч.-изд. л. 4,0. Тираж 250 экз. Заказ № 29.

Редакционно-издательский отдел

Отдел электронных публикаций и библиографии библиотеки

Отдел оперативной полиграфии

СПбГУАП

190000, Санкт-Петербург, ул. Б. Морская, 67