Комаров Ю.Ю. Проектирование и изготовление аэрокосмических аппаратов

Подождите немного. Документ загружается.

в отсечении углов, направленных внутрь фигуры при условии, что внутри

отсекаемого угла нет других вершин.

Наличие основных геометрических характеристик позволяет описать

математическую модель распознавания образов. Пусть

— совокупность

всех величин, характеризующих подлежащие распознаванию образы (в том

числе и качественные признаки, принимающие значения только 0 или 1);

— номер определяемого класса. Задача состоит в том, чтобы по наблюда-

емому значению

определить значение величины .

Случайный характер наблюдаемых величин приводит к тому, что одно

и то же значение

может наблюдаться при разных значениях . В таких

случаях задача распознавания принципиально не может быть однозначно

разрешима и становится статистической. Таким образом, проблема распо-

знавания сводится к нахождению зависимости оценки параметра

(номе-

ра класса образов

от значения наблюдаемой величины . Очевидно,

что эту зависимость необходимо определять таким образом, чтобы число

ошибок при применении модели распознавания было как можно меньше.

Пусть появления образов разных классов — события несовместные и

образующие полную группу. В таком случае номер

класса объектов,

которому принадлежит распознаваемый образ, представляет собой реа-

лизацию дискретной случайной величины

c возможными значениями

,где — это число классов образов, принадлежащих распознаванию.

Пусть

— вероятности появления этих значений, т. е априорные ве-

роятности появления образов 1-го,

, -го классов; — условная

плотность распределения наблюдаемой величины

при данном значении

величины .

Задача распознавания может быть принципиально решена только в том

случае, когда никакие две плотности из плотностей

не

совпадают тождественно, т.е. когда величина

имеет различные распре-

деления для образов разных классов. Если какие-нибудь из плотностей

одинаковы, то образы соответствующих классов неразли-

чимы. Вследствие случайности наблюдаемой величины

вырабатывае-

мая моделью распознавания оценка

номера класса образов, представляет

собой реализацию случайной величины

. Правильному решению соот-

ветствует совпадение

с . Если , то модель распознавания прини-

мает ошибочное решение. При этом возможны

различных видов

ошибок в соответствии с тем, что модель может принять образ каждого из

классов за образ одного из других классов (каждому значению

величины может соответствовать любое из значений ,

не совпадающих с

. Обозначим через условную вероятность события

291

при , т.е.

Величины представляют собой условные вероятно-

сти правильных решений при соответствующих значениях величины

а величины

— условные вероятности ошибок

различных видов. Безусловная вероятность правильного решения опреде-

ляется формулой полной вероятности:

Вероятность ошибки равна соответственно .

Построение модели распознавания сводится к разбиению пространства

значений величины

на непересекающихся частей и опреде-

лению зависимости

от формулой

при

В таком случае модель распознавания будет принимать решение, что

появился образ k-го класса при попадании величины

в область

Границы между областями

естественно определять так, что-

бы вероятность правильного решения была максимальной. Вероятности

определяются при этом следующим образом:

Подставив (2) в (4), получим

Вероятность правильного решения будет максимальной, если за область

выбрать следующую величину:

Описанная модель является оптимальной с точки зрения максимума

апостериорной вероятности, т.е. условной вероятности

появ-

ления образа

-го класса при данном значении величины , так как

292

Если считать, что априорные вероятности появления образов каждого

класса одинаковы (что вполне согласуется с действительностью), то можно

считать, что все классы равнозначны, и формула (7) примет следующий

вид:

Из (7) следует, что , при . Модель

реализует и максимум вероятности правильного распознавания

, так как

для нее формула (5) может быть переписана в виде:

Актуальной является проблема правильного выбора классифицирую-

щих признаков. Совокупность признаков должна в наибольшей степени

отражать свойства объектов, которые важны для их распознавания. При

этом от размерности

признакового пространства в значительной степени

зависит вычислительная сложность процедур обучения и принятия реше-

ния. Уменьшение количества признаков снижает эти затраты, но может

привести к уменьшению достоверности распознавания. С другой сторо-

ны, повышение размерности признакового пространства может оказаться

единственным средством увеличения достоверности до требуемого уров-

ня.

Первоначальный набор признаков формируется до начала распознава-

ния из числа доступных измерению характеристик объекта

,от-

ражающих его наиболее существенные для распознавания свойства. На

следующем этапе из первоначального набора формируется новый набор

, состоящий из меньшего числа переменных, т. е. .

Сформируем новые признаки на основе минимизации “диаметра” или

“объема” области, занимаемой классом в признаковом пространстве. При-

меним линейное преобразование

исходного признакового пространства

в новое пространство :

Выберем матрицу таким образом, чтобы преобразование (10) явля-

лось декоррелирующим, для чего в качестве столбцов матрицы

выберем

собственные вектора общей ковариационной матрицы

распознаваемых

совокупностей. Сама ковариационная матрица

при этом становится

293

диагональной с собственными числами на диагонали

После указанного преобразования отбираются новых призна-

ков, соответствующих тем собственным числам

матрицы , которые

оказывают наибольшее влияние на значение критерия

В качестве критерия минимизации внутриклассового разброса наблю-

дений используется величина

На основе общего принципа построения решающего правила в много-

альтернативных задачах его можно записать в следующем виде: контроль-

ная величина

принадлежит классу , для которого функция

правдоподобия максимальна:

В связи с этим остро стоит задача восстановления условной плотно-

сти вероятности по обучающей выборке. Если обучающая выборка может

считаться с большой долей вероятности нормальной, то плотность вероят-

ности имеет вид

где параметры вычисляются по обучающей выборке:

Формула (13) означает, что решение принимается в том случае,

когда одновременно выполняются

неравенств:

Если же обучающая выборка не является нормальной, то оценка плот-

ности вероятности примет следующий вид:

294

В связи с тем, что для одного и того же объекта характеристики, посту-

пающие на вход алгоритма распознавания образов, могут быть различны в

силу отсутствия единой оси симметрии, актуальной стала проблема при-

ведения всех исходных изображений к единому виду.

В каждом из исходных изображений находят две наиболее удаленные

точки. Это делается следующим образом. От каждой точки ищется рас-

стояние до другой точки, а затем ищется минимальное из этих расстоя-

ний. Эти две точки с точностью до перестановки и являются искомыми

точками, которые наиболее далеко удалены друг от друга. Прямая, соеди-

няющая эти точки, однозначно определяет угол отклонения от вертикали.

Чтобы однозначно определить геометрические характеристики исходно-

го объекта, необходимо сделать поворот всей исходной фигуры на этот

угол

, до того момента, пока она не станет вертикальной. После того как

фигура путем поворота приведена в вертикальное положение, рассчиты-

ваются вероятности принадлежности исходного изображения к классам.

Так как возможны два случая при повороте фигуры вокруг оси симмет-

рии, то фигура после поворота может оказаться в перевернутом состоянии.

В связи с этим необходимо вычислить вероятности принадлежности по-

вернутого на 180 градусов изображения к классам. В результате данных

действий для каждого изображения получается совокупность вероятно-

стей

. Введем решающее правило в виде

функционала максимума

Применение функционала может дать неоднозначные результаты.

В качестве класса принадлежности выбирается класс с наименьшим номе-

ром. В результате получим решение о принадлежности исходного изобра-

жения к одному из классов.

Важной особенностью системы является ее универсальность, которая

позволяет применять исходную модель практически вне зависимости от

предметной области. Качество и надежность классификации при этом за-

висят лишь от обучающей выборки.

295

Ю. Ю. Комаров, Р. Д. Лисин, А. А. Пунтус

Московский авиационный институт (государственный технический университет)

ЭКСТРАПОЛЯЦИЯ ФУНКЦИЙ НЕЙРОННЫМИ СЕТЯМИ

ПЕРЕМЕННОЙ СТРУКТУРЫ

В данной работе рассмотрены алгоритмы экстраполяции одномерных

временных рядов, которые в общем случае сводятся к задаче аппроксима-

ции одномерных функций. Описан опыт практического применения дан-

ных алгоритмов для прогнозирования числа продаж интернет-магазина.

Аппроксимация функции производится посредством обучения НС на неко-

торых известных значениях функции. В результате обучения НС стано-

вится способной в момент времени

вычислить упрежденные значения

функции на временном интервале

( — текущий дискрет-

ный момент времени;

— длина интервала упреждения) при подаче на её

вход значений функции

из интервала ( — длина интервала

наблюдения).

Рис. 1. Вид одномерной функции

Математическая постановка задачи. Даны значения одномерной вре-

менной дискретной функции

на интервале .

Требуется вычислить в момент времени

упрежденные значения функ-

ции

на временном интервале .

Геометрическая постановка задачи. На рис. 1 серым цветом обозна-

чены известные значения функции

, т.е. значения функции на интервале

. Здесь — текущий момент времени; — временной

296

интервал, для которого требуется вычислить упрежденные значения функ-

ции

; — временной интервал, значения которого подаются

на вход нейронной сети.

В каждый момент времени

формируется элемент

обучающей выборки, в которой входным сигналом НС является вектор

значений функции

на интервале . Таким образом, число

обучающих векторов равно

Введем понятие обучаемого блока

-го нейрона сети, ,

где

– номер текущего слоя. Обучаемый блок показан на рис. 2.

Рис. 2. Обучаемый блок -го нейрона

Настраиваемыми весами обучаемого блока являются все веса ,

входящие в

-й нейрон (веса связей от нейронов предыдущего слоя и

смещение

-го нейрона), а также все веса , выходящие из -го

нейрона, и смещения

всех -х нейронов следующего -го

слоя.

Ошибка решения. Ошибка решения определяется как разность ме-

жду желаемым и действительным выходными сигналами НС в дискрет-

ный момент времени

, т.е. ошибка решения показывает расстояние до

правильного значения. В нашем случае ошибка решения НС для текуще-

го момента времени

, , представляет собой вектор

297

, -й элемент которого равен

(1)

где

– текущая позиция на интервале упреждения, .

Функция активации. Будем использовать функцию активации типа

арктангенса вида

(2)

где

– выход -го нейрона -го слоя сети, , в момент

времени

; – активация -го нейрона -го слоя сети, ,

в момент времени

, вычисляется по формуле

(3)

где

– вес связи от -го нейрона к -му нейрону; – выход

-го нейрона; при , .

Описание структуры разомкнутой нейронной сети. Нельзя сказать

заранее, сколько слоев будет в НС. Все зависит от сложности функции

Суть создания сети с переменной структурой заключается в следующем.

Сначала строим сеть, состоящую из одного нейрона в первом слое и

нейронов во втором (выходном) слое. Эта структура представляет собой

обучаемый блок (рис. 2). Для этого обучаемого блока делается какое-то

заранее заданное пользователем число случайных выбросов

выбр

началь-

ных значений весов. После каждого выброса вычисляется ошибка сети.

Когда произведены все выбросы, для обучаемого блока выбираются те

значения весов, которые соответствуют наименьшей ошибке. После этого

обучаемый блок обучается на

эп

эпохах.

Назовем описанный выше процесс этапом обучения блока.Этапсосто-

ит из

выбр

случайных выбросов начальных значений весов и

эп

обучаю-

щих эпох.

Затем в первый слой добавляются еще один нейрон, и связи от этого

нейрона к нейронам второго слоя. Теперь обучаемый блок включает в

себя второй нейрон первого слоя (со всеми входящими и выходящими из

него связями), а также

нейронов второго слоя, но только со связями от

второго нейрона первого слоя и смещениями. Для этого обучаемого блока

тоже выполняется этап обучения.

Аналогичным образом нейроны продолжают добавляться в первый

слой. При этом каждый нейрон должен улучшать общее качество аппрокси-

мации ряда сетью. Качество аппроксимации ряда оценивается с помощью

298

ошибки, усредненной по всем примерам и по всем выходам:

(4)

где

– ошибка -го нейрона выходного -го слоя НС, полученная на

-м примере.

Для уменьшения структуры сети и увеличения аппроксимирующих

свойств каждого нейрона полезно ввести параметр

, показывающий, на-

сколько каждый нейрон должен улучшать общее качество аппроксимации

функции

нейронной сетью.

Алгоритм настройки нейронной сети.

Упростим выражение градиента:

(5)

где

– локальная ошибка -го нейрона обучаемого блока, принадлежащего

-му нейрону.

Тогда градиент весов

(6)

где

при

299

Градиент для весов

(7)

где

– локальная ошибка -го нейрона -го слоя сети;

при

Рис. 3. Ошибка обучения НС переменной структуры на функции

На рис. 3 показаны результаты обучения НС переменной структуры на

временном ряде, сформированном из экспериментальных функций. Видно,

что увеличение размеров сети приводит к уменьшению ошибки. Данная

аппроксимация позволяет с достаточной степенью точности делать прогноз

экстраполируемой функции.

300