Пятковский О.И. Интеллектуальные информационные системы (нейронные сети)

Подождите немного. Документ загружается.

( )











−<+−

+>−−

≤

. при ,

, при ,

,- при ,0

εααεαα

εαα

(4.

10)

где

− допуск или допустимая погрешность,

– требуемое значение сиг-

нала,

α −

ответ сети; так как если целевое значение

измерено с погрешностью

, то достаточно, если выданный сетью ответ попадет в интервал

[

]

εαεα

+− , .

При достижении этого результата пример считается решенным. Оценка вида

(4.10) позволяет ускорить процесс обучения и получить более сглаженные ней-

росетевые функции, так как тогда требования к сложности нейросети выража-

ются не в виде оценки константы Липшица [41,110](4.5), а в виде (4.6), т.е. ста-

новятся более мягкими. Сглаженная функция, в свою очередь, обладает более

высокими экстраполяционными и интерполяционными способностями [199].

Для задач классификации целевая переменная является дискретной (но-

минальной). Ее кодирование проводится в соответствие с (4.4), т.е. сеть будет

иметь несколько выходных полей, каждому из которых соответствует опреде-

ленный класс. Тогда ответом нейросети на предъявленный пример будет счи-

таться номер класса, соответствующий номеру выходного параметра, на кото-

ром зафиксировано наибольшее значение сигнала (интерпретатор «победитель

забирает все» [41]). В этом случае в качестве оценки работы нейросети пред-

почтительнее использовать оценку вида «расстояние до множества правильных

ответов», предложенную в [41]:







<−≠∃

≥

−

≠

∀

εααρ

, ,

, , ,0

(4.11)

где k – номер «истинного» класса,

– выходные сигналы сети, i=1..P, P –

число выходных сигналов,

ε −

требуемый уровень отличия «истинного» сигна-

ла от остальных,

– функция расстояния до множества правильных ответов:

∑













−

(4.12)

где

– текущие выходные сигналы (за исключением

), пере-

обозначенные таким образом, что

j+1

, j=1..P-1, P – число выходных сигна-

лов, l – максимальный номер, такой, что верно неравенство

≥

∑

при l<P-

1, или равенство l=P-1.

2.8 Настройка параметров нейросети.

Задание функции ошибки определенного вида позволяет вычислить для

каждого примера обучающей выборки оценку работы нейросети и определить

направление изменения ее параметров для уменьшения значения оценки Н.

Процесс итерационного изменения параметров нейросетевой функции называ-

ется обучением [40,41].

Выбор нейросетевого решателя в виде функции (4.2) позволяет приме-

нить градиентные методы оптимизации для поиска такого вектора параметров

а*

, который доставляет минимум выбранному функционалу ошибки, т.е. вы-

полняется условие 0

∂

. Для этого вычисляются значения

∂

для каждого

. При использовании стандартной оценки МНК по всей выборке (4.9), имеем

∑

∂

(4.13)

( )

sss

yFH −= xa, ,

(4.14)

где S – число примеров в обучающей выборке, s – номер примера, H

–

оценка для s-го примера. Вычисление

∂

основано на формуле дифференци-

рования сложной функции:

∂

)(

xa,

⋅=

(4.15)

В соответствии с (4.2), (4.14) для выходного (k+1-го) слоя:

−= )(

)(

xa,

∂

(4.16)

),(

−

kkk

∂

(4.17)

),()),((

−

⋅−=

kkk

iss

fyF

faxa

∂

(4.18)

Мы получили формулу для вычисления производной по параметрам вы-

ходного слоя. Чтобы найти

∂

для слоя, посылающего сигналы выходному

слою нейронной сети, выразим

∂

))((

⋅−=

iss

ayF

xa,

∂

(4.19)

Тогда

iss

ayF

∂

⋅⋅−=

))((

xa,

(4.20)

где

























⋅+⋅=

∑

−

jjl

axccx

∂

(4.21)

– производная функции (4.3) по l – му параметру. На основе формул

(4.18) – (4.21) можно рекурсивно вычислить производные по всем настраивае-

мым параметрам сети, что позволяет использовать тот или иной градиентный

метод оптимизации, например, метод наискорейшего спуска [40], который за-

ключается в итерационном изменении параметров в соответствие с правилом:

htata

∂

⋅−=+ )()1(

(4.22)

где t – номер итерации, h – шаг оптимизации. Величина шага вычисляется

на каждой итерации путем одномерной оптимизации функции H(a

,h,) при фик-

сированных a

На практике метод (4.22) часто оказывается малоэффективным по срав-

нению с методами квадратичной численной оптимизации в связи со сложным

рельефом функции Н. Из теории квадратичной оптимизации известно, что ме-

тод Ньютона позволяет найти минимум квадратичной формы за один шаг. Од-

нако, поиск обратной матрицы вторых производных для всех параметров ней-

росети требует слишком больших вычислительных затрат, кроме этого она мо-

жет не быть положительно определена, поэтому применяют методы, исполь-

зующие аппроксимацию вторых производных Н по параметрам

а,

например

BFGS-метод [41]. Известным методом этого класса является метод сопряжен-

ных градиентов [41,230]. Несмотря на то, что функция Н в общем случае не яв-

ляется квадратичной, метод сопряженных градиентов работает достаточно эф-

фективно [230]. В качестве правила изменения параметров нейросети в этом

случае выбирается:

)()()1( tdhtata

iii

⋅

(4.23)

где d

(t) – направление оптимизации, h – шаг оптимизации.

В соответствие с [230], одной из эффективных формул, определяющих

направление d

(t), является формула Полака – Рибера (Polak – Ribiere):

)1()1(

)(

−−+−=

tdt

∂

(4.24)

где

)

)(

()

)(

(

)

)()1(

()

)1(

(

)(

∂

−

+∂

∂

+∂

∂

(4.25)

)0(

∂

−= .

На основе приведенных формул строится алгоритм градиентной оптими-

зации параметров нейросети:

1. Инициализация массива настраиваемых параметров а некоторыми

равномерно распределенными в интервале [-0.01, 0.01] случайными величи-

нами.

2. Вычисление F(a,x) для очередного примера задачника.

3. Вычисление Н для примера в соответствии с выбранным из (4.9)-

(4.11) видом оценки.

4. Вычисление

∂

для текущего примера по формулам (4.18)-(4.21),

накопление суммарного градиента.

5. Если обработаны не все примеры, перейти к п.2

6. Выбор направления оптимизации в соответствии с методом (4.22)

или (4.23)-(4.25).

7. Одномерная оптимизация шага градиентного спуска h в выбранном

направлении.

8. Изменение параметров а.

9. Вычисление Н.

10.Если (Н>H

min

) и (||

∂

||>0), то перейти к п.2, иначе - конец обучения.

При изменении параметров нейросети необходимо контролировать их

значение, чтобы избежать затруднений в обучении. В случае использования

функции (4.3) в качестве функции активации, диапазон наиболее эффективных

значений параметров а – интервал [-1,1] [41]. Для удержания значений а в дан-

ном диапазоне применяют проективный метод контроля











−<−

≤

−

1,1

,1,1

,11,

(4.26)

Общей проблемой методов локальной оптимизации, к которым относятся

градиентные методы, является остановка в локальных минимумах, далеких от

оптимального решения. Локальный минимум характеризуется условиями:

(Н>H

min

) и (||

∂

||0). В этом случае применяется сдвиг значений параметров

нейросети в случайном направлении: а = а + , где  – равномерно распреде-

ленная на интервале [

min

, 

max

] случайная величина. Задание значений 

min



max

определяет степень изменения параметров нейросети. Интервал может по-

степенно увеличиваться, если изменения не приводят к выходу из локального

минимума.

2.9 Оценка и коррекция нейросетевой модели

Для оценки качества полученной модели используется оценка работы

нейросети на тестовой выборке, или ошибка обобщения. Она характеризует

способность ИНС обрабатывать новые данные в отличие от ошибки обучения,

которая отражает качество настройки нейросети на конкретные примеры. Наи-

более распространенным методом оценки моделей является метод перекрестно-

го оценивания [252].

В случае, если ошибка сети превышает допустимую, необходимо вер-

нуться на предыдущие этапы построения модели и изменить некоторые пара-

метры нейросети.

Первым этапом коррекции модели является генерация нескольких экзем-

пляров нейросети и их обучение, т.к. результаты обучения зависят от началь-

ных значений весов синапсов, которые генерируются для каждой сети случай-

ным образом. После обучения нескольких экземпляров, выбирается сеть с ми-

нимальной тестовой ошибкой. Различные нейросети могут ошибаться на раз-

личных примерах тестовой выборки. В этом случае можно сформировать коми-

тет из нейросетей и вычислять окончательный ответ по задаче как среднее

арифметическое ответов отдельных сетей. В этом случае средняя ошибка коми-

тета будет меньше средней ошибки каждой нейросети [57]. Изменение вида или

параметров функции оценки также может улучшить качество работы ИНС. В

[41] предлагается следующая методика обучения сетей с оценкой МНК с до-

пуском: устанавливается максимальное значение допуска, сеть обучается, затем

величина допуска постепенно снижается с дообучением сети, пока оценка не

достигнет требуемого уровня.

Если нейронная сеть заданной структуры не может удовлетворительно

решить задачу, возможно несколько вариантов действий:

1. Добавление новых нейронов, новых слоев.

Увеличение значения характеристики крутизны функции

(4.3).

3. Уменьшение значения характеристики крутизны функции

(4.3).

Первые два варианта исходят из предположения, что модель недостаточ-

но сложна или имеет недостаточную величину константы Липшица (4.5) для

освоения задачи. Третий вариант предполагает, что нейросетевая функция не-

достаточно гладка для удовлетворительной аппроксимации. Уменьшение ха-

рактеристики приведет к сглаживанию функции (4.3).

Для повышения качества модели могут быть использованы различные

методы предобработки данных, например, сглаживание и фильтрация, кодиро-

вание количественного признака как дискретного, изменение состава обучаю-

щей выборки, изменение состава параметров, описывающих исследуемый

объект. В настоящее время процесс коррекции нейросетевых моделей носит эв-

ристический характер и основан на знаниях эксперта о конкретной задаче

предметной области.

2.10 Конструктор нейронной сети

При проектировании интеллектуальных компонентов важным этапом яв-

ляется настройка структуры нейронной сети на предметную область, структуру

и параметры обучающих данных. Под выбором структуры в случае много-

слойной сети прямого распространения (4.2) понимается определение числа

слоев k нейронной сети и числа нейронов m

на каждом слое. Слои нумеруются

от слоя, принимающего входные сигналы (1-ый слой) к слою, посылающему

сигналы выходному слою(k-ый слой). Выходной (k+1-ый) слой обычно форми-

руется автоматически в соответствии с поставленной задачей. Выбор структуры

нейросетевой модели для решения конкретной задачи обычно возложен на

пользователя в связи с тем, что в настоящее время отсутствуют универсальные

методы определения оптимальной структуры нейросети. В литературе приво-

дится несколько практических замечаний по поводу определения структуры се-

ти в зависимости от задачи. В [41], например, предлагается сравнить оценку

константы Липшица для выборки (4.5) и для нейросетевой функции. Для ней-

ронной сети вида (4.2) константа Липшица определяется по формуле

∏

−

≤

mmmcL ,

(

4.27)

где с – характеристика крутизны функции (4.3), m

– число нейронов на i-

ом слое, m

– число входных параметров, k – число слоев в сети. Тогда нейро-

сеть может аппроксимировать выборку только в случае, если L

< L

. Другим

принципом построения структуры сети может быть условие, по которому ней-

ронная сеть должна иметь число настраиваемых параметров, меньшее, чем чис-

ло примеров в обучающей выборке.

Как отмечалось ранее, методы автоматизированного формирования

структуры нейросети делятся на методы наращивания и методы прореживания.

В [40,41] отмечается преимущество методов наращивания. В соответствие с

принципом автоматизации построения решателя предлагается эвристический

метод автоматизированного наращивания структуры нейросети, основанный на

методе динамического создания узлов (

Dynamic Node Creation) [261] (рис.4.17):

1. Пользователем задается число слоев k и строится начальная

структура сети, содержащая минимальное число нейронов на каждом

слое. Определяется максимальное число нейронов на каждом слое

max

2. Инициализация сети случайными параметрами. t :=1, t

=1.

3. Такт обучения всех нейронов с незафиксированными пара-

метрами, t:=t+1;

4. Проверка условий:

(

) ≤

min

;

)(

)()(

qtt

tHtH

−=<

−

∗

(5.28)

где t – номер текущего такта обучения, H(t

) – оценка обучения сети на t

такте,

− константа, 0<

<1,

и q задаются пользователем.

Если условия (5.28) не выполняются, то перейти к п.3, иначе перейти к

следующему пункту.

Если H(t) ≤ H

min

, то КОНЕЦ ОБУЧЕНИЯ, иначе перейти к следующе-

му пункту.

Проверка условия

−

)(

)()(

tHtH

(5.29)

где t

– момент добавления первого нейрона из тех, параметры которых

не зафиксированы, t

– момент добавления текущего нейро-

на,

− константа, 0<

<1.

ЕСЛИ условие (4.29) не выполняется, ТО параметры нейро-

нов, добавленные после момента t

,фиксируются и в дальнейшем обу-

чении не участвуют, ИНАЧЕ нейроны, добавленные после момента t

не внесли существенного улучшения в качество обучения сети и они

маркируются для инициализации.

Инициализация нового нейрона и всех маркированных ней-

ронов.

10.

Добавление нового нейрона в слой с наименьшим номе-

ром k, для которого m

< m

max

11.

Переход к п.3

Надо заметить, что параметры нейронов выходного слоя не фиксируются

и всегда участвуют в обучении.

∑

∑∑

∑

∑∑

∑

∑∑

∑

Такт

Инициализа ция сети начальной

структуры.

Обучение до выполнения условия

останова.

Такт

Если

(

) –

(

) >

σσ

σ σ

то параметры

фи ксируются,

;

иначе

инициализируются и

обучаются.

Инициализация и добавление нового

нейрона.

Обучение до выполнения условия

останова.

Такт

Если

(

) –

(

) >

σσ

σ σ

то параметры

фи ксируются,

;

иначе

инициализируется и

обучается.

Инициализация и добавление

нового нейрона.

Фиксированные параметры

Обучаемые параметры

Рис. 4.17. Алгоритм автоматизированного формирования структуры мно-

гослойной нейронной сети

В [239] отмечается, что для ряда задач применение метода динамического

создания узлов может приводить к значительному увеличению времени по-

строения нейросети, т.к. вся сеть переобучается после добавления каждого ней-

рона. Предлагаемый алгоритм отличается от метода динамического создания

узлов тем, что часть параметров сети фиксируется и не участвует в обучении.

Это достигается введением условия в п.5 и константы, регулирующей количе-

ство обучаемых нейронов. При задании значения mnблизкого к 1, вся сеть будет

инициализироваться случайными параметрами после добавления каждого но-

вого узла, что соответствует созданию новой сети. При задании значения ,

близкого к 0, обучаться будет только добавленный нейрон. Фиксация части па-

раметров сети может значительно ускорить процесс обучения [239].

2.11 Контрастер нейросети.

Рассмотрим следующий важный блок нейрокомпьютера –контрастер

нейронной сети [ 110]. Его назначение – сводить число связей сети до мини-

мально необходимого или до «разумного» минимума (степень разумности ми-

нимума определяется пользователем). Наиболее важным следствием примене-

ния процедуры контрастирования является получение логически прозрачных

сетей – сетей, работу которых легко описать и понять на языке логики

[37,42,43].

Упрощение (контрастирование) нейронной сети строится как последова-

тельный процесс исключения из сети наименее значимого элемента и дальней-

шего подучивания сети. Если после шага упрощения невозможно доучивание

сети до требуемой точности, то возвращаемся к сети, полученной на предыду-

щем шаге, и завершаем процесс упрощения. Из анализа литературы [41,42,110]

можно сформулировать следующие задачи, решаемые с помощью контрастиро-

вания нейронных сетей.

Упрощение архитектуры нейронной сети.

Уменьшение числа входных сигналов.

Сведение параметров нейронной сети к небольшому набору выде-

ленных значений.

Получение явных знаний из данных.

Процессы контрастирования работают как при проектировании информа-

ционных систем, так и при эксплуатации в процессе доучивания интеллекту-

альных блоков. При работающих информационных системах данную функцию

желательно выполнять при периодическом запуске процедур обучения сетей в

автоматическом режиме.

Уменьшение числа входных сигналов. При постановке задачи для нейрон-

ной сети не всегда удается точно определить, сколько и каких входных данных

нужно подавать на вход. В случае недостатка данных сеть не сможет обучиться

решению задачи. Однако, гораздо чаще на вход сети подается избыточный на-

бор входных параметров. Например, в задачах диагностики состояния хозяйст-

вующего субъекта, часто исследуется на первых этапах значительно большее

число показателей, чем это необходимо. Затем, при помощи методов факторно-

го анализа выбираются наиболее существенные. Однако, следует отметить, что

использование данных методов требует от менеджера достаточной математиче-

ской подготовки. При использовании нейронных сетей этот процесс можно в

максимальной степени автоматизировать и сделать незаметным для конечного

пользователя. Поэтому методы определения значимости входных параметров

имеют важное значение в экономических информационных системах. Алго-

ритмы определения значимости входных сигналов приведены в работах

[37,41].

2.12 Логически прозрачные сети, получение явных знаний

Одним из основных недостатков нейронных сетей, с точки зрения многих

пользователей, является то, что из обученной нейронной сети нельзя извлечь

алгоритм решения задачи. Таким образом, нейронные сети позволяют получать

неявные знания из данных. Однако, в 1995 году была сформулирована идея ло-

гически прозрачных сетей, то есть сетей, на основе структуры которых можно

построить вербальное описание алгоритма получения ответа [42,111]. Это дос-

тигается при помощи специальным образом построенной процедуры контра-

стирования. Алгоритмы формирования логически прозрачных сетей представ-

лены в работах [42,111,113]. После получения логически прозрачной нейронной

сети наступает этап построения вербального описания (формирования явных

знаний). Принцип построения вербального описания представлен в работе

[111].

2.13 Решение дополнительных задач с помощью нейросетевых

компонентов

Прямой задачей интеллектуального блока является получение значения

количественной или качественной оценки, характеризующей вектор входных

параметров. Учитывая специфику применения интеллектуального блока в со-

ставе информационной системы, актуальны также некоторые дополнительные

задачи, связанные с получением информации об исследуемом объекте или про-

цессе и о модели получения решения.

Традиционно нейронная сеть рассматривается как «черный ящик» с точки

зрения получения информации о способе преобразования входных переменных

в выходные. Однако, пользователь информационной системы может быть заин-

тересован не только в получении некоторого целевого значения, но и в поясне-

нии, какие входные параметры являются определяющими для формирования

ответа, каков характер влияния каждого входного параметра на целевой, как

необходимо изменить входные переменные, чтобы добиться требуемого значе-

ния выходной переменной. Получение перечисленной информации составляет

дополнительную задачу для нейросетевого блока. Приведем методы ее реше-

ния.

Обученная нейронная сеть представляет собой информационную модель

объекта или процесса, описываемого набором эмпирических данных. Следова-

тельно, ее можно использовать в качестве имитационной модели для оценки

качества полученного решателя или получения нового знания.