Марк Д. Фершильд. Модели цветового восприятия

Подождите немного. Документ загружается.

лируется коэффициентом степени адаптации (D), лежащим в диапазоне от 0.0

(отсутствие адаптации) до 1.0 (полная адаптация).

Для вычисления Dкоэффициента (как функции от адаптирующей ярко



сти (L

) при разных условиях просмотра) iCAM использует уравнение 20.3,

взятое из CIECAM02. Вместе с тем, Dкоэффициент может быть выставлен

и вручную.

= M

CAT02

(20.1)

CAT02

0 7328 0 4296 01624

0 7036 16975 00061

0 003

.. .

0 00136 0 9834..

(20.2)

DF e

()

(20.3)

()

100 1

(20.4)

()

100 1

(20.5)

()

100 1

(20.6)

Для дальнейшей работы iCAM модель смены хроматической адаптации рас



считывает согласованные стимулы по D65осветителю: адаптированные сигна



лы по данным условиям просмотра (R

) с помощью уравнений 20.1–20.6

инвертируются по белой точке на D65 (и при D = 1.0). Однако, несмотря на то,

что данный расчет идентичен CIECAM02, модель iCAM всерьез отличается от

нее, поскольку на входе задействует пространственномодулированные данные

изображения, а не единичные цветовые стимулы и адаптирующие точки.

К примеру, вот как выглядит модуляция изображения по абсолютной яркости

и по яркости окружения с использованием F

функции, взятой из CIECAM02

(уравнение 20.7):

5011

()

().

()

()L

(20.7)

399

ГЛАВА 20 МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

Данная функция, при деликатном манипулировании значением адапти



рующей яркости, позволяет прогнозировать различные яркостнозависимые

эффекты восприятия (что реализовано в CIECAM02 и в более поздних моде



лях). Функция успешно задействуется на первых стадиях работы iCAM, одна



ко методики использования коэффициента F

, как уже было отмечено,

в CIECAM02 и в iCAM сильно рознятся.

Следующий этап в работе iCAM — конверсия RGBсигналов (грубая анало



гия колбочковым сигналам в зрительной системе человека) в оппонентные цве



товые сигналы: светлыйтемный, красныйзеленый и желтыйсиний (анало



гия высокоуровневого кодирования в зрительной системе), которые необходи



мы для создания перцепционноравномерного цветового пространства и полу



чения коррелятов различных атрибутов восприятия. Критериями выбора

именно такого преобразования в свое время явились его применимость к обра



ботке изображений и точность расчетов.

В качестве цветового пространства было выбрано некое IPTпространство

(Эбнер и Фершильд,1998), которое создавалось специально для работы с изо



бражениями и к которому предъявлялось два требования:

— относительно простая структура;

— точность в прогнозах контуров постоянного цветового тона (критично для

приложений гамутмэппинга).

Отметим, что более поздние исследования еще раз подтвердили соответствие

IPTпространства упомянутым требованиям.

Преобразование из RGB в IPTоппонентное пространство (которое много

проще, чем преобразования, «зашитые» в CIECAM02) выражается уравнения

ми 20.8–20.12 и имеет следующую структуру:

— линейное преобразование в самостоятельное пространство колбочковых

ответов;

— применение степенной функции;

— заключительное линейное преобразование в IPTоппонентное простран



ство (I — светлыйтемный; P — красный зеленый; T — желтыйсиний).

0 4002 0 7075 0 0807

02280 11500 0 06

.. .

.. .12

00 00 09184...

D65

(20.8)

=³LL L

043

;

(20.9)

=- £LLL

043

;

=³MM M

043

;

(20.10)

=- £MMM

043

;

=³SS S

043

;

(20.11)

=- £SSS

043

;

400

ГЛАВА 20 МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

0 4000 0 4000 02000

4 4550 48510 0 396

.. .

...0

0 8056 0 3572 11628.. .-

(20.12)

Ключевой узел iCAM — нелинейная функция в IPTпреобразовании:

— вопервых, она необходима для прогнозирования нелинейной компрес



сии ответа, превалирующей в большинстве сенсорных систем человека. Такая

компрессия помогает конвертировать физическилинейные сигналы (к приме



ру, яркость) в перцепционнолинейные размерности (к примеру, светлоту).

Коль скоро CIECAM02 использует гиперболически нелинейную функцию, то

охватывается практически весь диапазон возможных яркостей;

— вовторых, степени этой функции модулируются яркостями низкочастот



нофильтрованного изображения и его окружения, что достигается путем ум



ножения базовой степени IPTсистемы на определенным образом нормирован



ные F

коэффициенты (вычисляются по контексту изображения [imagewise

computed]). Такое управление IPTстепенями позволяет iCAMмодели прогно



зировать эффекты Ханта, Стивенса и Бартлесона — Бренемана.

Отметим также то, что модель может выполнять визуальноприемлемый то

новый мэппинг HDRизображений

в низкий динамический диапазон воспро

изводящей системы (см. пример на рис. 20.7).

Для прогноза отличия изображений (а также их качества) к последним необ

ходимо применить пространственный фильтр, дабы исключить возможные ва

риации по пространственным частотам, лежащим ниже порога восприятия (так,

например, если расстояние просмотра достаточно велико, растровые точки мо

гут быть незаметны). Обработка зависит от дистанции просмотра и основывается

на фильтрах, полученных из контрастносенситивных функций человека (CSF).

Поскольку CSF яркостной (высокочастотной) и хроматической (низкочастот



ной) чувствительностей изменчивы, то понятно, что применять эти фильтры

следует на оппонентной стадии восприятия, то есть — на стадии IPT.

Так как пространственная фильтрация, прогнозирующая результат воспри



ятия, уместна только в системе линейных сигналов, она задействуется на ли



нейной стадии IPT, то есть до конверсии в нелинейную версию этого простран



ства. Джонсон и Фершильд (2001, 2003) указывают на важность такого типа

фильтрации при оценке различий в изображениях и дают спецификацию необ



ходимых фильтров, основанную на визуальных данных. Вместе с тем, как уже

было сказано ранее, пространственная фильтрация сильно «размывает» эле



менты изображения, что нежелательно в тех случаях, когда наблюдатели рас



сматривают его ближе, чем предписанная дистанция просмотра.

Примером контрастносенситивных функций, используемых для создания

пространственных фильтров iCAM, являются уравнения 20.13 и 20.14 (получе



ны аппроксимацией экспериментальных данных): формула 20.13 представля



401

ГЛАВА 20 МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

HighDynamicRange images — HDR. Изображения с высоким динамическим диапазоном

(энергетическим контрастом). — Прим. пер.

ет CSF, отвечающую за яркостный канал (Iканал), а уравнение 20.14 — за ка



налы хроматические (P и Tканалы):

CSF

lum

()fafe

cbf

=× ×

-×

(20.13)

CSF

chrom

()fae ae

bf bf

=× +×

-× -×

(20.14)

где a, b и c устанавливаются на 75, 0.2 и 0.8 соответственно по яркостной CSF,

примененной к Iканалу. Пространственная частота f определена в циклах на

градус визуального угла (cpd — cycles per degree). По краснозеленой хромати



ческой CSF, примененной к Pразмерности, параметры a

, b

, c

, a

, b

, c

уста



навливаются соответственно на 109.14, 0.00038, 3.424, 93.60, 0.00367, 2.168.

По синежелтой хроматической CSF, примененной к Tразмерности, — соот



ветственно на 7.033, 0.000004, 4.258, 40.69, 0.10391, 1.6487.

Применение пространственных фильтров оправдано только тогда, когда це



лью является вычисление перцепционных отличий в изображениях (то есть

в конечном счете оценка их качества). В этом состоит принципиальная разница

между пространственнолокализованной адаптацией (пригодной и для метри

ки визуализации, и для метрики качества) и пространственной фильтрацией

(пригодной для метрики качества, но не пригодной для метрики визуализа

ции).

При оценке качества изображений пространственная фильтрация обычно

разбивается на отдельные частотные и ориентационные каналы (Дэли, 1993;

Lubin, 1993 и Паттанайк, 1998), при этом отметим, что в мультишкальных

и мультиориентационных фильтрациях чаще всего нет необходимости, о чем

свидетельствуют результаты сравнительно недавних экспериментов (Джонсон

и Фершильд, 2001, 2003; Ватсон и Рамирес, 2000). Таким образом, для сохра



нения простоты и легкости использования iCAMмодели чаще всего применя



ется т.н. изотропная моношкальная пространственная фильтрация.

Когда по данным изображения вычислены IPTкоординаты, то для получе



ния предикторов светлоты (J), насыщенности (С) и угла цветового тона (h)вы



полняется простое преобразование прямоугольных координат в координаты ци



линдрические (уравнения 20.15–20.17). Отличия в данных размерностях могут

быть использованы для набора статистики отличия изображений, а статистиче



ские данные, в свою очередь, — для получения метрики их качества.

В целом по изображению общее эвклидово отличие описывается величиной

DIm в IPTпространстве (уравнение 20.20), что отличает ее от традиционной DE

(CIELAB), включенной в пространственную фильтрацию. Отметим также, что

в ряде случаев могут понадобиться корреляты абсолютных атрибутов воспри



ятия — субъективной яркости (Q) и полноты цвета (M), которые получают пу



тем шкалирования относительных атрибутов (светлоты и насыщенности) на со



ответствующую F

функцию, получаемую из контекстной карты яркостей изо



бражения (уравнения 20.18 и 20.19).

402

ГЛАВА 20 МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

JI=

(20.15)

CPT=+

(20.16)

tan

(20.17)

QFJ=

(20.18)

MFC=

(20.19)

DDDDIm =++IPT

22 2

(20.20)

Финальный этап: визуализация изображений, для выполнения которой не



обходимо обработать величины JCh по тем или иным условиям просмотра

(именно условия просмотра определяют параметры инверсии IPTмодели и па



раметры расчета смены хроматической адаптации, конечно при условии про

странственной однородности отображения на типичных носителях с низким

динамическим диапазоном). Инверсия, выполняемая таким способом, позво

ляет воспроизводить изображения, сохраняя их восприятие даже в тех услови

ях просмотра, что принципиально отличны от условий оригинальной сцены

или изображения. Одной из наиболее важных областей применения такого спо

соба является воспроизведение HDRизображений на типичных носителях.

20.3 МОДЕЛЬ ОТЛИЧИЯ ИЗОБРАЖЕНИЙ

Общая структура метрики цветового отличия изображений описана Джон

соном и Фершильдом (2001), а в блочном виде метрика интегрирована

в iCAMмодель и адресована как собственно восприятию изображений, так

и отличию между ними. Для того чтобы метрика отличия изображений была

гибкой и адаптивной, она изначально разрабатывалась как блочная, а ее струк



тура основывалась на системе SCIELAB (последняя, как уже было сказано, яв



ляется пространственным расширением CIELAB).

SCIELAB сочетает в себе традиционную метрику цветовых отличий с про



странственными свойствами зрительной системы человека, что достигается за

счет пространственной фильтрации стимулов изображения, выполняемой до по



пиксельного вычисления цветовых отличий. Блочная структура расширяет мет



рику отличий путем добавления к пространственной фильтрации ряда проце



дурных шагов, за выполнение каждого из которых отвечает свой независимый

блок (каждый блок может быть отдельно протестирован и усовершенствован).

Сегодня действуют блок пространственной фильтрации, блок адаптации

и блок локализации, а также блоки детекции локального и общего контрастов

(Джонсон и Фершильд, 2003).

Рис. 20.2 демонстрирует блочную структуру модели отличия изображений,

а происхождение и структура каждого блока кратко описаны ниже.

403

ГЛАВА 20 МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

404

ГЛАВА 20 МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

Áëîê ïðîñòðàíñòâåííîé

ëîêàëèçàöèè

Áëîê äåòåêöèè

ëîêàëüíîãî êîíòðàñòà

Áëîê ïðîñòðàíñòâåííî-

÷àñòîòíîé àäàïòàöèè

2D CSF

Ðàâíîìåðíîå öâåòîâîå

ïðîñòðàíñòâî

Êàðòà öâåòîâûõ îòëè÷èé

ÎÐÈÃÈÍÀË ÐÅÏÐÎÄÓÊÖÈß

Рис. 20.2 Блочная структура метрики отличия изображений.

Блок пространственной фильтрации

В контексте пространственной частоты работу зрительной системы описы



вают контрастносенситивные функции, которые, фактически, заключены

в постретинальном оппонентном цветовом пространстве (где по яркостному ка



налу они имеют высокочастотный характер, а по хроматическим каналам —

низкочастотный). SCIELAB для аппроксимации CSF и модуляции невоспри



нимаемых деталей изображения задействует т.н. разделяемые ядра свертки

(separable convolution kernels); более сложные CSF, включающие в себя как мо



дуляцию, так и принудительное повышение пространственной частоты стиму



лов, детально рассматриваются в работе Джонсона и Фершильда (2001). Про



чие модели, обладающие сходными особенностями, — это уже упомянутые мо



дели Lubin (1993), Дэли (1993), МОМ (Паттанайк и колл., 1998), SCIELAB

(Чанг и Ванделл, 1996), а также пространственная ATDмодель (Грэнджер,

1993). Дополнительно см. у Ли и колл. (1998), Тэлора и колл. (1997, 1998),

а также Брилля (1997).

Реакция зрительной системы человека на пространственносложные стиму



лы хорошо изучена Кэмпбеллом и Робсоном (1968), а также Малленом (1985),

обобщение текущего знания и методов числового описания работы пространст

венного зрения можно найти в монографиях ДеВалойса и ДеВалойса (1998),

Келли (1994), Ванделла (1995).

Блок пространственно%частотной адаптации

Рабочей основой блока пространственночастотной адаптации является

контрастносенситивная функция, обеспечивающая модуляцию невосприни

маемых пространственных частот и повышающая воспринимаемые пространст

венные частоты стимулов. В свое время CSF были измерены при помощи специ

альной решетки из простых стимулов, по методике, позволяющей избежать

пространственночастотной адаптации (суть которой в том, что она уменьшает

чувствительность зрения к стимулам определенных пространственных частот).

Следует отметить, что для прогнозирования пространственночастотной адапта



ции не требуются мультишкальные и мультиканальные модели пространствен



ного зрения: необходимо лишь, чтобы CSF были бы функциями от адаптации

(прямое указание на факт существования мультишкальных механизмов).

Поскольку в реальных просмотровых условиях пространственночастотной

адаптации избежать нельзя, был создан ряд прикладных моделей (Джонсон

и Фершильд, 2001), меняющих содержимое CSF на основе данных о предпола



гаемых условиях просмотра и/или информации о самом изображении.

Классическое и подробное описание пространственночастотной адаптации

дают Блэйкмо и Кэмпбелл (1989).

Блок пространственной локализации

Чувствительность зрительной системы к стимулам низкой и высокой про



странственных частот обеспечивает модуляцию информации о высокочастот



405

ГЛАВА 20 МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

ных краях: общепризнано то, что зрительная система человека очень чувстви



тельна в плане краевой детекции. Для учета данной особенности зрения был

разработан блок пространственной локализации, который так же прост, как

обработка изображения по т.н. ядру расширения контуров (edgeenhancing

kernel). Последнее, кстати говоря, должно меняться в зависимости от расстоя



ния просмотра. Альтернативно: CSF могут быть изменены для усиления неко



торой высокочастотной информации.

Структура и прикладная ценность алгоритмов краевой детекции хорошо

описана Марром (1982).

Блок детекции локального контраста

Блок детекции локального контраста отвечает за выявление отличий в ло



кальном и общем контрастах сравниваемых изображений. Прикладная цен



ность такой обработки в реальных системах визуализации описана Толхарстом

и Хигером (1997).

Текущее исполнение блока детекции локального контраста основано на не



линейном маскировании, работающем по принципу усиления локального кон

траста (Морони [2000]), то есть: низкочастотное маскирование изображения

используется для генерации серии тонрепродукционных кривых, основанных

как на общем контрасте изображения, так и на взаимоотношениях между еди

ничным пикселом и ближайшими к нему соседними пикселами.

Карта цветовых отличий

На выходе модели отличия изображений находится т.н. карта цветовых от

личий (DIm), отражающая воспринимаемую величину ошибки по каждой паре

пикселов данного пространственного положения в оригинале и в репродукции.

Отметим, что карта весьма полезна для выявления специфических или систе



матических ошибок в цветовоспроизводящей системе.

Карту цветовых отличий позволительно (и даже нужно) упрощать: путем ак



куратных манипуляций со статистической информацией ее данные можно пред



ставлять в виде диаграммы минимальных (или максимальных) отличий или

диаграммы стандартной девиации. Выбор категории статистических данных оп



ределяется прикладной задачей, например: диаграмма минимальных ошибок

больше подойдет для описания общего отличия между оригиналом и репродук



цией, тогда как диаграмма максимальных лучше опишет пороговые отличия.

20.4 ВОСПРИЯТИЕ ИЗОБРАЖЕНИЙ И ИХ ВИЗУАЛИЗАЦИЯ

Рис. 20.3 демонстрирует рабочую структуру iCAM в контексте тонового мэп



пинга HDRизображений.

Ядром процесса является инверсия IPTмодели в набор неких пространст



венноконстантных параметров условий просмотра и установка пространст



венных фильтров на адаптирующие стимулы. Несмотря на то, что оптималь



ные параметры для визуализации HDRизображений пока еще окончательно

406

ГЛАВА 20 МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

не выработаны, вполне удовлетворительные результаты можно получить, если

использовать установки, показанные на рис. 20.3 (детали см. у Джонсона

и Фершильда [2003]).

iCAM успешно применяется для прогнозирования различных феноменов

цветового восприятия (хроматической адаптации [согласованные цветовые

стимулы], постоянства цветового тона, симультанного контраста, оконтурива



ния и смазывания) и его шкалирования (Фершильд и Джонсон, 2002).

Задействованный в iCAM расчет смены хроматической адаптации такой же,

что и в CIECAM02, и работает он только в отношении тех ситуаций, при кото



рых меняется статус хроматической адаптации (то есть при смене белой точки).

В свое время ТС801 потратил множество усилий на то, чтобы разработать дан



ный расчет, и ясно, что не существует никакой иной модели с лучшим его ис



полнением (хотя и имеются эквивалентные варианты). Таким образом, модель

смены хроматической адаптации, заложенная в iCAM — это лучшее, что есть

сегодня.

Шкалы восприятия

При эталонных условиях просмотра шкалы восприятия iCAMмодели иден



тичны IPTшкалам. Отметим также, что по сравнению с иными пространства



ми восприятия IPT сегодня является лучшим по контурам постоянного цвето



407

ГЛАВА 20 МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ

Ñöåíà

(èçîáðàæåíèå)

Íèçêàÿ

÷àñòîòà

Y-íèçêàÿ

÷àñòîòà

Y-íèçêàÿ

÷àñòîòà

XYZ ñòèì. XYZ àäàïò. Y àáñ. Y îêðóæåíèÿ

CAT02

RGB

ñòèì.

RGB

àäàïò.

CAT

RGB

àäàïòèðîâàííûå

3x3 ñòåïåííàÿ 3x3

IPT

Ïðÿìîóã. öèë.

JCH

Ñòåïåíè

Ñâåòèìîñòí.

çàâèñ.

Ñöåíà

(èçîáðàæåíèå)

Íèçêàÿ

÷àñòîòà

Y-íèçêàÿ

÷àñòîòà

Y-íèçêàÿ

÷àñòîòà

XYZ ñòèì. XYZ àäàïò. Y àáñ. Y îêðóæåíèÿ

CAT02

RGB

ñòèì.

RGB

àäàïò.

CAT

RGB

àäàïòèðîâàííûå

3x3 ñòåïåííàÿ 3x3

IPT

Ïðÿìîóã. öèë.

JCH

Ñòåïåíè

Ñâåòèìîñòí.

çàâèñ.

Ãàóññîâñêàÿ

íèçêî÷àñòîòíàÿ ôèëüòðîâêà

2-sigma = 1/4 øèðèíû èçîáðàæåíèÿ

âåëè÷èíà ~4

Òîëüêî

ÿðêîñòíàÿ

àäàïòàöèÿ

CIECAM02 F

-ôóíêöèÿ

Íîðì. äèàïàçîí

îò 1.0 äî 1000 cd/m

(ìèí. 0.3)

Âîçâåäåíî â IPT-ñòåïåíü 0.43

Èíâåðñèÿ äëÿ

âèçóàëèçàöèè

Èç IPT â RGB

(ôèêñèðîâàííàÿ ñòåïåíü)

Èç RGB â XYZ

(ôèêñ. àäàïòàöèÿ)

Èç XYZ â RGB

õàðàêòåðèçîâàííîãî óñòð-âà

âèçóàëèçàöèè

Рис. 20.3 Функциональные узлы iCAM, отвечающие за тоновый мэппинг HDRизображений.

вого тона (что радикально облегчает работу алгоритмов гамутмэппинга и по



вышает их точность). К тому же, предикторы светлоты и насыщенности в iCAM

весьма точны и вполне сопоставимы с таковыми у лучших моделей цветового

восприятия (при работе в типичных условиях просмотра). Сказанное справед



ливо также и в отношении субъективной яркости и полноты цвета.

В экстремальных условиях просмотра работа iCAM (равно как и работа

иных моделей) начинает ухудшаться, однако же именно экстремальные усло



вия просмотра позволяют выявить весь потенциал модели. Чтобы «научить»

iCAM работать в экстремальных условиях, по этим условиям понадобятся до



полнительные экспериментальные данные.

Оценка цветовых отличий

Оценка цветовых отличий в iCAM аналогична таковой в CIELAB (поскольку

при эталонных условиях просмотра оба пространства весьма схожи друг с дру



гом), и, таким образом, процедура вычисления цветовых отличий заурядна, но

может быть улучшена за счет использования CIE94формул (использование

CIEDE2000 в iCAM не рекомендуется, поскольку эти формулы очень сложны

и подогнаны под специфические недостатки CIELABпространства, в частно

сти под недостоверность контуров постоянного цветового тона).

Симультанный контраст

Симультанный контраст (или индукция) смещает восприятие стимула в ту

или иную сторону (по оппонентным осям) в зависимости от цвета фона: на

рис. 20.4 показан стимул, демонстрирующий светлотный симультанный кон

траст (серые квадратики на всех трех фонах физически идентичны), а также

его прогноз, выполненный iCAM (прогноз представлен iCAMпредиктором

светлоты). Отметим, что высокой точности данного прогноза содействует учет

эффектов локальной адаптации.

Оконтуривание

Оконтуривание — это феномен, при котором цветовые отличия между дву



мя стимулами оказываются перцепционно больше, если цвет фона подобен цве



ту самих стимулов: на рис. 20.5 показан стимул, демонстрирующий оконтури



вание по насыщенности и ее прогноз, выполненный iCAM (прогноз представлен

предиктором насыщенности). Отметим, что точности данного прогноза содей



ствует учет эффектов локальной адаптации.

Смазывание

Смазывание — это пространственный феномен цветового восприятия, при

котором общий цветовой тон пространственносложных областей изображения

заполняет собой смежные участки. Рис. 20.6 предлагает пример смазывания,

при котором красный цветовой тон решетки кольца «растекается» на все коль



408

ГЛАВА 20 МОДЕЛИ ВОСПРИЯТИЯ ИЗОБРАЖЕНИЙ