Лабоцкий В.В. Управление знаниями
Подождите немного. Документ загружается.
111
человека, мы воспользуемся этим предположением только для грубой
оценки, вполне достаточной для практических целей.
Физическое быстродействие отдельных нейронов, ячеек памяти
человека, на 8 порядков величины меньше быстродействия современного
компьютера и проигрывает суперкомпьютерам более десяти порядков
величины. Однако самый мощный компьютер "перегреется" при решении
задачи, которую человек решает буквально в секунду
. Вспомните
способность человека через десятки лет узнавать знакомые лица людей, с
которыми еще быть может он ходил в детский сад. Другими словами, для
таких сложных задач мозг "запускает" параллельные программы,
содержащие около 100 шагов. Это известно, как правило, ста шагов.
Рассуждая аналогичным образом, можно обнаружить, что количество
информации, посылаемое от одного
нейрона другому, должно быть очень
маленьким (несколько бит). Отсюда следует, что основная информация не
передается непосредственно, а захватывается и распределяется в связях
между нейронами.
9.2. МОДЕЛЬ ТЕХНИЧЕСКОГО НЕЙРОНА
МакКаллок и Питтс предложили использовать бинарный пороговый
элемент в качестве модели искусственного нейрона. Этот математический
нейрон вычисляет взвешенную сумму n входных сигналов x
j
, j = 1, 2... n, и
формирует на выходе сигнал величины 1, если эта сумма превышает
определенный порог u, и 0 - в противном случае.
Часто удобно рассматривать u как весовой коэффициент, связанный с
постоянным входом x
0
= 1. Положительные веса соответствуют
возбуждающим связям, а отрицательные - тормозным. МакКаллок и Питтс
доказали, что при соответствующим образом подобранных весах
совокупность параллельно функционирующих нейронов подобного типа
способна выполнять универсальные вычисления.
Нейронная сеть может рассматриваться как направленный граф со
взвешенными связями, в котором искусственные нейроны являются
узлами. По архитектуре связей сети могут быть
сгруппированы в два
класса: сети прямого распространения, в которых графы не имеют петель,
и рекуррентные сети, или сети с обратными связями.
В наиболее распространенном семействе сетей первого класса,
называемых многослойным перцептроном, нейроны расположены слоями
и имеют однонаправленные связи между слоями. Сети прямого
распространения являются статическими в том смысле, что на заданный
вход они вырабатывают одну совокупность выходных значений, не
зависящих от предыдущего состояния сети. Рекуррентные сети являются
динамическими, так как в силу обратных связей в них модифицируются
входы нейронов, что приводит к изменению состояния сети.
Нейронная сеть прямого распространения представляет собой
структуру, состоящую из узлов и связей между ними (рис. 9.2). Узлы
112
нижнего уровня называются рецепторами, верхнего уровня – решающими
узлами, а между узлами верхнего и нижнего уровня имеется, как правило,
некоторое количество скрытых слоев. Число рецепторов равно числу
полей исследуемой базы данных, число решающих узлов равно числу
предсказываемых параметров. На рецепторы системы подается значение
некоторой записи, с решающих узлов считываются значения
предсказываемых параметров.
Каждому узлу сети приписывается некоторое числовое значение.
Значение, приписываемое каждому узлу нижнего уровня, или рецептору,
равно значению некоторого поля (переменной) из записи, которая в
данный момент подается на вход нейронной сети. Значения, связываемые
с нейронами более верхних уровней, определяются по следующему
алгоритму. В обученной сети каждой связи между
нейронами
приписывается некоторый вес, действительное число, лежащее, как
правило, в диапазоне от -1 до +1. Отдельный нейрон условно показан в
нижней части (рис. 8.2). Чтобы определить значение, связанное с каким-
либо нейроном, вычисляется входной уровень нейрона – взвешенная
сумма значений всех нейронов предыдущего уровня, связанных с данным
нейроном; множители равны весам соответствующих связей. Если a
i
–
значение на нейроне, связанном с i-ым входом данного нейрона, а w
i
– вес
соответствующей связи, то входной уровень определяется как
wa
ii
p
∑
= .
113
Рис. 9.2. Предсказание с помощью нейронной сети
Каждый нейрон имеет так называемую передаточную функцию f,
которая для каждого значения порогового уровня возвращает некоторое
число, приписываемое нейрону t=f(p). Обычно это монотонно
возрастающая антисимметричная функция с f(-∞) = -1, f(0)=0 и f(∞)=1.
Часто в качестве такой функции берут гиперболический тангенс
()
,
kpkp
kpkp
ee
ee
pf
−
−
+
−
=
где k>0 – параметр, определяющий крутизну зависимости при р=0.
Таким образом, последовательно вычисляются значения для нейронов все
более высоких слоев, пока, наконец, не вычисляются значения для
решающих узлов, т.е. предсказываемые параметры.
Перед использованием нейронную сеть необходимо предварительно
обучить. Есть много разновидностей алгоритмов обучения нейросети
общая идея у них такова.
Первоначально веса
всех межнейронных связей имеют
произвольные, как правило, одинаковые значения. Далее многократно
проводится следующий процесс. Из группы данных, используемой для
114
обучения, для которой известно значение как входных, так и выходных
переменных, берется одна запись и подается на вход нейросети. По
описанному алгоритму вычисляются выходные значения. Очевидно, что
полученные значения весьма далеки от значений искомых зависимых
переменных. Тогда проводится такое изменение весов связей между
нейронами, которое уменьшает эту разницу. Эта
операция проводится
многократно для каждой записи из обучающей выборки. Как правило,
процесс обучения начинается со связей нейронов самого верхнего уровня и
потом распространяется на нейроны нижележащих слоев, поэтому этот
метод обучения называется обратным распространением ошибки. В
результате обучения мы получаем сеть, которая более или менее верно
описывает значения выходного параметра
для обучающих примеров, и
можно ожидать, что она будет так же хорошо предсказывать выходные
параметры и на других данных.
При проектировании и обучении нейронных сетей необходимо
соблюдать определенную осторожность, поскольку основной задачей
является достижение минимальной ошибки обобщения, или прогноза, а не
обучения. Негативным результатом обучения искусственной нейронной
сети может быть так
называемое переобучение, при котором сеть, по
существу, запоминает обучающие факты; при этом она обладает
минимальной предсказательной способностью, если на ее вход подаются
новые факты.
Переобученная нейронная сеть не будет обладать гибкостью,
способностью к обобщениям. Для уменьшения вероятности переобучения
необходимо, по возможности, не увеличивать количество слоев и нейронов
в скрытых слоях
и использовать как можно больше фактов при обучении.
Существуют эмпирические правила, помогающие определять диапазоны
изменения числа скрытых нейронов и обучающих фактов.
Нейронные сети имеют следующие недостатки:
•
Первый недостаток заключается в том, что очень трудно оценить
статистическую значимость получаемых в процессе обучения
прогностических моделей. Сеть обучается очень хорошо предсказывать
значения выходных параметров на этих записях, но очень трудно понять,
насколько устойчива эта зависимость, определяющая предсказываемые
значения, насколько значима полученная связь, и будет ли она так же
хорошо работать
для других данных. Все дело здесь в большом количестве
степеней свободы. Фактически, степенью свободы является каждый вес
связи между нейронами, и если, скажем, наша сеть включает несколько
десятков нейронов, число ее степеней свободы составляет несколько сотен.
Разумеется, что подгонкой по этим степеням свободы можно достичь
очень точного предсказания для обучающей
выборки, но совершенно
неочевидно, что предсказания будут также правильны и для новых данных,
не использованных в обучении.
115
•
Второй недостаток заключается в том, что нейронная сеть – это
очень специфическая структура, и она хорошо имитирует, хорошо может
выразить только достаточно узкий круг возможных зависимостей.
Естественно ее использование, скажем, для описания некоторых
аналоговых распределенных систем распознавания образов, когда веса
связей могут быть непосредственно физически интерпретированы как
энергии связей отдельных нейронов сети
. Однако, подобные приложения
очень редки. А, скажем, сильно нелинейные зависимости, зависимости с
разрывами, с острыми пиками и другими особенностями сравнительно
плохо воспроизводятся нейронной сетью в силу ее непрерывного
характера. Тем не менее, это очень популярный класс систем, который
часто неплохо работает и используется во многих прикладных областях.
•
Третий недостаток нейросетевой парадигмы является
необходимость иметь очень большой объем обучающей выборки, в
следствии, чего нейросетевые методы довольно требовательны к
вычислительным мощностям, и в наиболее тяжелых случаях, когда
требуется обрабатывать большое количество данных, имеет смысл
применять параллельную архитектуру. Весьма эффективны такие
системы, где каждый процессор реализует отдельный нейрон; аппаратная
реализация такой
архитектуры весьма естественна. Однако такие
программно-аппаратные комплексы весьма дороги. Их высокая стоимость
и определила широкое распространение программ, способных эмулировать
работу нейросети на обычных компьютерах.
Основной недостаток
, сдерживающий использование нейронных
сетей для извлечения знаний – их “непрозрачность”. Построенная модель,
как правило, представляет собой ”черный ящик” и не имеет четкой
интерпретации. Знания, зафиксированные как веса нескольких сотен
межнейронных связей, совершенно не поддаются анализу и интерпретации
человеком. Кроме того, правильно настроенная нейросеть, хотя и может
адекватно оценивать сходные ситуации, обычно плохо
проводит анализ
принципиально новых ситуаций, не представленных примерами в
материале обучения.
9.3. КАКИЕ ЗАДАЧИ РЕШАЮТ НЕЙРОСЕТИ
Нейросети наиболее приспособлены к решению широкого круга
задач, так или иначе связанных с обработкой образов. Вот список
типичных постановок задач для нейросетей:
•
Аппроксимация функций по набору точек (регрессия);
•
Классификация данных по заданному набору классов;
•
Кластеризация данных с выявлением заранее неизвестных классов-
прототипов;
•
Сжатие информации;
•
Восстановление утраченных данных;
•
Ассоциативная память;
116
•
Оптимизация, оптимальное управление.
Этот список можно было бы продолжить и дальше. Заметим, однако,
что между всеми этими внешне различными постановками задач
существует глубокое родство. За ними просматривается некий единый
прототип, позволяющий при известной доле воображения сводить их друг
к другу.
Возьмем, например, задачу аппроксимации функции по набору точек.
Это типичный пример
некорректной задачи, т.е. задачи не имеющей
единственного решения. Чтобы добиться единственности, такие задачи
надо регуляризировать – дополнить требованием минимизации некоторого
регуляризирующего функционала. Минимизация такого функционала и
является целью обучения нейросети. Задачи оптимизации также сводятся к
минимизации целевых функций при заданном наборе ограничений. С
другой стороны, классификация – это ни что иное,
как аппроксимация
функции с дискретными значениями (идентификаторами классов), хотя ее
можно рассматривать и как частный случай заполнения пропусков в базах
данных, в данном случае – в колонке идентификаторов класса. Задача
восстановления утраченных данных, в свою очередь - это ассоциативная
память, восстанавливающая прообраз по его части. Такими прообразами в
задаче кластеризации выступают центры кластеров
. Наконец, если
информацию удается восстановить по какой-нибудь ее части, значит мы
добились сжатия этой информации, и т. д.
Нейрокомпьютинг предоставляет единую методологию решения
очень широкого круга практически интересных задач. Это не что иное,
как новый инструмент анализа данных. И лучше других им может
воспользоваться именно специалист в своей предметной
области.
Основные трудности на пути еще более широкого распространения
нейротехнологий – в неумении широкого круга профессионалов
формулировать свои проблемы в терминах, допускающих простое
нейросетевое решение.
9.4. НЕЙРОННЫЕ СЕТИ В ПАКЕТЕ STATISTICA
9.4.1. Аппроксимация
Цель примера – продемонстрировать основные этапы реализации
нейронно-сетевого подхода для решения задачи аппроксимации. В
качестве примера рассмотрим следующую задачу: Задан массив,
состоящий из нескольких значений функции
bxa
y
+
=
.
Создать нейронную сеть такую, что при вводе этих значений на
входы сети на выходах получались бы значения параметров
a
и
b
. В
первую очередь необходимо определиться с размерностью входного
массива. Выберем количество значений функции y равным N=21, т.е. в
качестве входных векторов массива используем значения функции в
117
точках х=0; 0,05; …1,0. Для обучения сети необходимо сформировать
массив входных векторов для различных наборов параметров
a
и
b
.
Выбираем случайным образом значения
a
и
b
(диапазоны изменения
параметров примем равными от 0,0 до 1,0) и вычисляем компоненты
соответствующих входных векторов. Повторяем эту процедуру М=100 раз
и получаем массив входных векторов в виде матрицы размерностью
(N+2)·M. Полученный массив мы можем использовать для обучения сети.
Фрагмент этого массива представлен в табл. 9.1.
Таблица 9.1. Фрагмент входного массива для обучения сети
Исходные данные для входного массива удобно подготовить в
другом модуле, например, в модуле –
Basic Statistics/Tables.
Спецификации переменных представлены на рис. 9.3.
118
Рис. 9.3. Спецификации переменных
Рис. 9.4
В системе STATISTICA в окне Module Switcher выберем модуль
Neural Networks (рис. 9.4).
Нужно заметить, что этот модуль в стандартную конфигурацию
пакета не входит и инсталлируется отдельно!
Откроем файл data.sta с данными для входного массива (рис. 9.5).
119
Рис. 9.5
Рис. 9.6
Попробуем воспользоваться Inelligent Problem Solver и его версией
Advanced, которая позволяет управлять процессом проектирования сети
(рис. 9.6).
Выберем
Problem Type Standart …, ведь у нас не динамический ряд
данных, где каждое последующее значение зависит от предыдущих, а
уникальные независимые значения (рис. 9.7).
120
Рис. 9.7
Так как, наша будущая сеть будет иметь два выхода нажмем кнопку
Multiple… (рис. 9.8). Определим зависимые и независимые переменные
(рис. 9.9 и рис.
Рис. 9.10).
При выборе независимых переменных снимем отметку при Search for
an effective subset of the specified variables. В противном случае будет
сформирована сеть с одним входом!
Рис. 9.8