Федотов В.Х. Нейронные сети в MS Excel

Подождите немного. Документ загружается.

A B C … A B C …

B C … A B C … A B C

19 В-19 C 1 А-19 A 4 Н-19 C 5 Аг-19 E 2 К19 C 4

20 В-20 C 1 А-20 A 4 Н-20 C 4 Аг-20 E 3 К20 B 3

21 В-21 C 3 А-21 A 4 Н-21 B 4 Аг-21 D 3 К21 C 3

22 В-22 C 1 А-22 A 4 Н-22 C 5 Аг-22 D 3 К22 C 3

23 В-23 C 1 А-23 A 5 Н-23 C 5 Аг-23 D 2 К23 D 3

24 В-24 B 2 А-24 A 5 Н-24 B 5 Аг-24 E 1 К24 B 3

25 В-25 B 2 А-25 A 5 Н-25 B 5 Аг-25 D 3 К25 B 3

26 В-26 B 2 А-26 A 5 Н-26 B 4 Аг-26 C 1 К26 C 4

27 В-27 B 2 А-27 A 5 Н-27 A 4 Аг-27 D 1 К27 C 4

28 В-28 B 2 А-28 A 5 Н-28 B 5 Аг-28 E 2 К28 B 2

29 В-29 B 2 А-29 A 5 Н-29 B 5 Аг-29 D 3 К29 B 3

30 В-30 B 2 А-30 A 5 Н-30 B 5 Аг-30 E 1 К30 C 4

31 В-31 B 2 А-31 A 5 Н-31 B 5 Аг-31 E 3 К31 B 4

32 В-32 C 3 А-32 A 5 Н-32 B 5 Аг-32 C 3 160 К32 C 4

Алгоритм 7. Сеть Кохонена вида «3х3»

Мы создали сеть Кохонена с 5х5 =25 кластерами, для

которой была отмечена избыточная степень кластеризации.

Проведем повторное обучение сети на основе 3х3 кластеризации,

т.е. сгруппируем исходные данные в 9 кластерах. Возможный

алгоритм решения приведен ниже.

1. Загрузим вновь таблицу с исходными данными в Excel.

Выделим диапазон А2-L162.

2. Вызовем

эмулятор сети Кохонена на панели инструментов

Neural Analysis. Включим опцию использования первой колонки

таблицы (А) под названия. Нажмем ОК.

3. Загрузим сохраненный проект командой Load Project –

файл Kohonen_Vavilon_5_5.kmp.

4. В окне Patterns видно, что входы уже определены в

предыдущем сеансе работы. Корректировать их не будем.

Нормировка тоже присутствует (метод Mean/Variance).

5. Выполним команду Create Patterns для

того, чтобы иметь

возможность скорректировать число главных компонент. В

предыдущем сеансе работы их было выбрано семь и потери

информации составляли всего 6 %. Это означает, что мы можем

еще уменьшить число главных компонент (вспомним, что

допустимая ошибка составляет 10%).

Появляется диалоговое окно с сообщением о том, что это

действие приведет к разрушению текущей сети

и данных, и

вопрос - Продолжить? (Current network and data will be desrtoyed.

Continue ?). Поскольку мы всегда можем регенерировать сеть

командой Create Network, ответим Да.

Напомним, что для использования технологии анализа

главных компонент должен быть включен переключатель

Extract principal components. Он включен, и мы можем

приступить к процессу корректировки числа главных компонент.

В окне PC Analyzer установим их число =6. Нажмем ОК.

Вернемся в главное окно программы. Видно, что

остаточная

информация теперь составляет 91%, т.е. потери информации 9%,

что вполне приемлемо.

6. Создание сети Кохонена с 3х3 =9 кластерами. Выполним

команду Create Network и перейдем в окно Dialog, где зададим

параметры карты: число ячеек по горизонтали и по вертикали

равно 3. Нажмем ОК. Начинается процесс повторного обучения

сети с новыми параметрами карты. Подождем его

окончания.

Обучение закончилось быстрее, чем для сети с 25 кластерами.

7. Проанализируем результаты. Перейдем на вкладку Results.

Выполним команду Create New Map. Остальные параметры

карты оставим прежними (цель – ИПЦ, раскраска – среднее,

число цветов - 2). Получим карту Кохонена вида 3х3,

содержащую 9 кластеров. Импортируем эту карту в документ

Word. Для этого воспользуемся командой Actions/Copy tobitmap

меню карты ИПЦ Map. Перейдем в документ Word и выполним

команду Вставка. Получим следующую карту.

Как видно, получилась совершенно другая картина

кластеризации. Все образцы визуально разбились на 2 класса:

первый кластер - ячейка С1 и второй - все остальные.

Однако делать окончательные выводы еще рано по многим

причинам. Например, вспомним, что для раскраски этой карты

использовано только 2 цвета. Попробуем изменить визуальное

отображение карты, доведя число цветов до числа кластеров

, т.е.

используя для раскраски карты 9 цветов. Для этого

воспользуемся еще раз командой Create New Map. Откроется

окно настройки карты (Choose parameters to create map). Зададим

здесь число цветов =9 и нажмем ОК. Увидим, что цветовые

оттенки трех средних кластеров несколько изменились, а

остальные остались прежними. Другие изменения увидеть

трудно из-за отсутствия полноценного цветного отображения

карты в данной

версии программы.

Это говорит о том, что на самом деле сеть обнаружила как

минимум 3 кластера. Первый кластер - ячейка С1, второй –

ячейки В1-В3 и третий - все остальные. Однако на самом деле

получилось все-таки 9 кластеров. В этом можно убедиться,

пощелкав дважды каждую ячейку мышкой или с помощью

команды Cell description на вкладке Results. Просмотрев

информацию этой команды, можно увидеть статистические

характеристики найденной кластерной структуры. Слева внизу

показаны интервалы значений ИПЦ.

Кла-

стер

Ячей-

ка

Число

образцов

Параметры центра

кластера (В-выручка)

Средние параметры

кластера (В-выручка)

1 А1 25

ИПЦ=106, В=6,05⋅10

ИПЦ=106, В=4,86⋅10

2 А2 13

ИПЦ=109, В=4,54⋅10

ИПЦ=109, В=6,92⋅10

3 А3 20

ИПЦ=105, В=4,75⋅10

ИПЦ=105, В=4,56⋅10

4 В1 25

ИПЦ=105, В=2,41⋅10

ИПЦ=105, В=1,75⋅10

5 В2 8

ИПЦ=108, В=1,84⋅10

ИПЦ=108, В=2,09⋅10

6 В3 12

ИПЦ=105, В=3,44⋅10

ИПЦ=105, В=3,57⋅10

7 С1 23 ИПЦ=126, В=913

ИПЦ=126, В=1,85⋅10

8 С2 21

ИПЦ=108, В=4,39⋅10

ИПЦ=108, В=2,68⋅10

9 С3 13

ИПЦ=105, В=1,05⋅10

ИПЦ=105, В=1,12⋅10

Всего 160 ИПЦ=116,В= 3,17ּ10

ИПЦ=116,В= 1,28ּ10

Из этой таблицы видно, что кластер С1 резко отличается от

других по целевому параметру ИПЦ, а остальные кластеры

довольно близки. В этом смысле полученная ранее двухцветная

карта Кохонена может быть признана вполне

удовлетворительной. Другими словами, существенно различных

кластеров имеется все-таки только два.

8. Попытаемся дальше лучше понять процесс обучения. Для

этого поварьируем параметры обучения. Перейдем к главному

меню Program, выберем пункт Preferences и команду Set

Custom. В открывшемся окне Program preferences на вкладке

Параметры обучения сети (Training parameters) мы увидим.

Мы уже упоминали, что эти параметры рекомендуется

модифицировать только квалифицированным пользователям. С

учетом этого постараемся действовать осторожно. Поварьируем

в обе стороны сначала первый параметр - число итераций.

Установим его равным 100 и вернемся к шагу 6 нашего

алгоритма. Построим новую сеть командой Create Network и

отобразим соответствующую ей карту. Легко заметить, что

процесс обучения заканчивается значительно быстрее. Затем

выберем значение равное 500 и вновь повторим процесс и т.д.

Как это влияет на кластеризацию

показано ниже.

Как видно, вначале вид карты Кохонена существенно

менялся с ростом допустимого числа итераций. Но при числе

итераций 2000 и больше карта практически не менялась. Это

говорит о том, что процесс обучения стабилизировался и

приобрел устойчивый характер, а полученная карта может

считаться статистически приемлемой. Следовательно,

установленное по умолчанию значение этого параметра

выбрано

удовлетворительно и его можно было не менять (в нашем

случае). Соответственно, в левом нижнем углу мы видим ту же

карту, что получали раньше по умолчанию.

Число итераций =100 Число итераций =500 Число итераций =1000

Число итераций

=2000(по молчанию)

Число итераций

=3000

Число итераций

=10000

Вернем параметры к стандартному значению командой Set

default и поработаем со вторым. Он позволяет регулировать

начальную жесткость обучения в интервале [0,100]. Перейдем к

Program/Preferences/SetCustom. На вкладке Параметры

обучения сети изменим значение этого параметра. Его влияние

на результаты обучения сети показано ниже.

Как видно, этот параметр существенно влияет на результаты

обучения, хотя практически не влияет на скорость обучения. Его

рост приводит к более дифференцированной кластеризации

вплоть до того, что все образцы распадаются на два жестко

изолированных кластера. Это согласуется с результатами,

которые мы получили выше интуитивно.

Жесткость =0 Жесткость =0,1- 0,5 Жесткость =1

Жесткость=2

(по умолчанию)

Жесткость =5 Жесткость =10-100

Вернем значения по умолчанию Set default. Начнем

изменять третий параметр – шаг (delta), который может

принимать значения в интервале [0,10]. Результаты показаны

ниже.

Как видно, наблюдается довольно сложное влияние этого

параметра на обучение сети и процесс кластеризации вплоть до

сокращения числа кластеров до 1. Время обучения при этом

практически не меняется.

Дельта =0 Дельта =0,01

(по умолчанию)

Дельта =0,1

Дельта =1 Дельта =2 Дельта =3-10

Вернем стандартное значение третьему параметру командой

Set default и поэкспериментируем с четвертым - коэффициентом

спада (decay factor). Он может принимать значения в интервале

[0,1]. Результаты показаны ниже.

Спад =0 Спад =0,001

(по умолчанию)

Спад =0,1

Спад =0,5 Спад =0,7 Спад = 1

Как видно, наиболее существенное влияние на обучение этот

параметр оказывает вблизи нуля, а при значениях от 0,5 и выше

он практически не влияет на кластеризацию.

9. Сохраним нейропроект. Перейдем на вкладку Project,

выполним команду Save Project и зададим имя проекта,

например, Kohonen_Vavilon_3_3.kmp.

10. Теперь можно закрыть окно программы Kohonen

Map. Дальнейший анализ удобнее проводить

стандартными методами в Excel.

11. Сохраним только результаты работы нейросети в Excel,

начиная с ячейки М3 командой Output.

M N O … M N O … M N O … M N O … M N O

3 В-1 C 3 35 А-1 C 3 67 Н-1 C 3 99 Аг-1 C 3 131 К-1 C 3

4 В-2 C 3 36 А-2 C 3 68 Н-2 C 3 100 Аг-2 C 3 132 К-2 C 3

5 В-3 C 3 А-3 C 3 Н-3 C 3 Аг-3 C 3 К-3 C 3

В-4 C 3 А-4 C 3 Н-4 C 3 Аг-4 C 2 К-4 C 2

В-5 C 1 А-5 A 1 Н-5 C 1 Аг-5 C 2 К-5 B 1

В-6 C 1 А-6 A 1 Н-6 B 1 Аг-6 C 2 К-6 C 1

В-7 C 1 А-7 A 1 Н-7 C 1 Аг-7 C 1 К-7 B 1

В-8 C 1 А-8 A 1 Н-8 C 1 Аг-8 C 1 К-8 B 1

В-9 C 1 А-9 A 1 Н-9 C 2 Аг-9 C 1 К-9 C 2

В-10 C 2 А-10 A 1 Н-10 C 1 Аг-10 C 2 К10 C 1

В-11 C 2 А-11 A 1 Н-11 C 2 Аг-11 C 2 К11 C 2

В-12 C 1 А-12 A 1 Н-12 C 2 Аг-12 C 2 К12 C 2

В-13 C 1 А-13 A 1 Н-13 C 2 Аг-13 B 1 К13 B 1

В-14 B 1 А-14 A 1 Н-14 C 2 Аг-14 C 1 К14 C 1

В-15 C 3 А-15 A 1 Н-15 C 3 Аг-15 C 3 К15 C 3

В-16 C 2 А-16 A 1 Н-16 C 2 Аг-16 C 3 К16 C 3

В-17 C 1 А-17 A 3 Н-17 B 2 Аг-17 C 1 К17 C 2

В-18 B 1 А-18 A 3 Н-18 B 2 Аг-18 C 2 К18 B 2

В-19 C 1 А-19 A 3 Н-19 B 2 Аг-19 C 2 К19 A 2

В-20 C 1 А-20 A 3 Н-20 A 2 Аг-20 C 2 К20 B 2

В-21 B 1 А-21 A 3 Н-21 A 2 Аг-21 C 2 К21 B 1

В-22 C 1 А-22 A 3 Н-22 B 3 Аг-22 C 2 К22 B 2

В-23 C 1 А-23 A 3 Н-23 B 3 Аг-23 B 1 К23 C 2

В-24 B 1 А-24 A 3 Н-24 B 3 Аг-24 C 1 К24 B 2

В-25 B 1 А-25 A 3 Н-25 B 3 Аг-25 C 2 К25 B 2

В-26 B 1 А-26 A 3 Н-26 B 3 Аг-26 C 1 К26 A 2

В-27 B 1 А-27 A 3 Н-27 A 3 Аг-27 C 1 К27 A 2

В-28 B 1 А-28 A 3 Н-28 B 3 Аг-28 C 2 К28 B 1

В-29 B 1 А-29 A 3 Н-29 B 3 Аг-29 C 2 К29 A 2

В-30 B 1 А-30 A 3 Н-30 B 3 Аг-30 C 1 К30 A 2

В-31 B 1 А-31 A 3 Н-31 B 3 Аг-31 C 2 К31 A 2

34 В-32 B 1 А-32 A 3 Н-32 B 3 Аг-32 C 1 162 К32 A 2

12 9 17 218 10 29 30 24

12. Можно также построить новые диаграммы,

отображающие результаты работы сети Кохонена средствами

Excel. Для этого удобно отсортировать полученную таблицу по

кластерам, т.е. двум колонкам одновременно – N и O. Затем

подсчитываем число образцов в каждом кластере с помощью

функции

БСЧЕТА( ) или ПРОМЕЖУТОЧНЫЕ ИТОГИ( ) или

команды Данные/Итоги и др. Воспользуемся командой

Данные/Итоги с функцией Количество значений. Получим

следующую таблицу и соответствующий точечный график – наш

вариант карты Кохонена.

Кластер Значение Количество

1 1 12

2 2 9

3 3 17

4 1 21

5 2 8

6 3 10

7 1 29

8 2 30

9 3 24

012345678

Класте

Количество об

аз

ов

Или другие типы диаграмм – пузырьковую, где диаметр

пузырька соответствует количеству образцов в кластере,

круговую и т.д.

Пузырьковая диаграмма Круговая диаграмма

Контрольные задания

Задание 1. Персептрон. Провести обучение, тестирование и

прогнозирование сети. Допустимая ошибка обучения 0,2.

Привести график Отклика сети.

Варианты заданий приведены в следующей таблице:

Первые

буквы

фамилии

Ва-

ри-

ант

Входные

нейроны

Вы-

ход-

ные

ней-

роны

Число

ней-

ронов

скры-

того

слоя

Число

обуча-

ющих

при-

меров

Число

тесто-

вых

приме-

ров

Число

прог-

нозных

зна-

чений

А, Б

х1,х2,х3 х0

3 30 2 10

В, Г

х2,х3,х4 х5

4 29 3 9

Д, Е, Ж

х3,х4,х5 х7

5 28 4 8

З, И

х4,х5,х6 х0

3 27 5 7

К, Л

х6,х7,х1 х5

4 28 4 6

М, Н

х7,х1,х2 х0

5 29 3 5

О, П, Р

х1,х2,х3 х5

3 30 2 4

С, Т, У

х1,х2,х4 х5

4 29 3 3

Ф, Х, Ц,

Ч,Ш

х1,х2,х5 х0

5 28 4 2

Щ, Ъ, Ы,

Ь, Э, Ю, Я

х1,х2,х6 х7

3 27 5 1

Выполняется на основе исходных данных таблицы,

приведенной в Алгоритме 1. Заголовок этой таблицы со списком

входных и выходных нейронов приведен ниже:

х0 х1 х2 х3 х4 х5 х6 х7

Индекс

потре-

битель-

ских цен

(ИПЦ)

Выручка

Себе-

стои-

мость

Прибыль от

реализации

Балансовая

прибыль

Стои-

мость

основ-

ных

фондов

Рента-

бель-

ность

общая

Рента-

бель-

ность

собст-

венного

капитала

Задание 2. Сеть Кохонена. Выбрать главные компоненты и

построить самоорганизующуюся карту Кохонена с заданным

числом кластеров. Допустимые потери информации 10%.

Привести вид полученной карты.

Варианты заданий приведены в следующей таблице: