Федотов В.Х. Нейронные сети в MS Excel

Подождите немного. Документ загружается.

11. Приступим непосредственно к обучению. Нажмем

кнопку Start training. За ходом обучения сети можно наблюдать

по изменению параметров в области Информация об обучении

(Training Info), показанной в правом нижнем углу следующего

рисунка. Ждем, пока процесс обучения остановится сам или

прерываем его искусственно кнопкой Остановить обучение

(Stop Training).

Процесс обучения остановился сам. Как видно, на данный

момент прошло 9336 эпох (Epoches), и текущая ошибка обучения

(Training error) составляет 0,2. Заметим, что у вас могут

получиться другие результаты. Это объясняется тем, что

начальные значения весов выбираются случайным образом, хотя

реализованный в программе механизм выбора случайных чисел -

фиксированный. В данном случае сработал один из критериев

остановки обучения. Посмотрим их с помощью команды

Критерии остановки (Stopping criteria).

Как видно, процесс обучения остановился по достижении

требуемой точности обучения равной 0,2, а максимальное число

эпох равное 10 000 не было достигнуто. В этом окне можно

изменять критерии остановки обучения, например – подбором.

Однако на результаты обучения влияют и другие параметры.

За ходом обучения можно наблюдать и в графическом виде в

окнах, вызываемых нажатием

клавиш в области Graphs.

Выберем окно История обучения (Errors History).

Эта диаграмма показывает, что ошибка обучения

стабилизировалась уже в районе 1000-й эпохи. Следовательно,

можно ослабить критерий точности. Желательно остановить

процесс обучения в момент, когда ошибки обучения и

обобщения начнут сильно расходиться. Это сигнализирует о

начале режима «переобучения».

Результаты обучения можно визуально оценить и на графике

Network answers. Соответствующее окно показано ниже

(зеленая линия с точками показывает отклик сети, а оранжевая –

реальные данные).

Можно управлять параметрами процесса обучения, что

рекомендуется только квалифицированным пользователям.

Например, командой Randomize sinapses можно изменить

начальные значения весов сети. При этом выдается окно

Randomization, которое позволяет перемешать веса сети и

выбрать их новые начальные значения, а также добавить так

называемый «шум». Все эти настройки могут оказать

существенное влияние на работу

сети, вплоть до потери

устойчивости и сходимости.

В окне Randomization имеется два варианта реализации

алгоритма обучения – без шума и с шумом. В первом варианте

(Randomize synapses) начальные веса сети выбираются

случайным образом в заданном интервале. Верхняя граница

интервала определяется пользователем в окошечке Ввода весов

(Enter range). Как видно, по умолчанию эта граница выбрана

равной 0,5, что соответствует интервалу [-0,5,+0,5]. Это число

можно изменить, однако рекомендуется оставаться в диапазоне

[-1,+1]. В частности, в нашем примере уменьшение этого

значения до 0,35 приводило к ускорению процесса обучения.

Обратим внимание на то, что нажатие кнопки ОК

приводит к инициализации начальных значений весов по

алгоритму случайных чисел. Поэтому для воспроизводимости

результатов обучения рекомендуется перед началом каждого

обучения выполнять процедуру рандомизации - команду

Randomize synapses и ОК. При этом простое закрытие окна

(× или Cancel) приведет к использованию в качестве начальных -

значений весов, полученных в предыдущем цикле обучения.

Если сеть имеет слишком много элементов, то она может

запомнить весь учебный набор. В нашем примере ресурсами сети

«4-3-1» являются восемь вершин, в т.ч. 3 «скрытых» и 15 связей,

в т.ч. 12 – в первом слое. Число учебных образцов равно 32, т.е.

больше числа даже всех,

а не только скрытых ресурсов сети.

Поэтому в данном случае сеть не может механически запомнить

все учебные образцы, для запоминания которых требуется 12х5=

=60 элементов. Такие возможности могут быть заведомо

реализованы, например, сетью с 60:4 =15 скрытыми элементами

в промежуточном слое. Однако и при меньшем числе элементов

«переобучение» не исключено. Добавление шума к

синапсам

(Add noise to sinapses) как раз и служит для борьбы с эффектом

переобучения. Добавление случайной доли (до 10%) шума к

учебным образцам позволяет снизить вероятность запоминания

исходных данных. При этом важно, чтобы шум добавлялся к

исходному (немодифицированному) набору данных. Иначе эти

данные могут «поплыть», т.е. перестать соответствовать

первоначальным закономерностям.

Блок выбора

алгоритма обучения позволяет изменить

стандартный алгоритм обратного распространения на его

адаптивный вариант (Select algorithm) и/или отредактировать

управляющие параметры выбранного алгоритма (Edit current

algorithm).

По умолчанию выбраны следующие значения. Начальная

ошибка элементов (Initial delta) =0,1, может варьироваться в

интервале [0,10]. Минимальная ошибка (Minimal delta) =

1⋅10

-8

может варьироваться в интервале [0,1]. Максимальная ошибка

(Maximal delta) =10, может варьироваться в интервале [0,100].

Шаг снижения Nu(-) =0,5, может варьироваться в интервале

[0,1]. Шаг повышения Nu(+) =1,2, может варьироваться в

интервале [0,10]. Эти параметры следует регулировать

осторожно и только квалифицированным пользователям.

12. Обучение закончено. Теперь можно выполнить еще один

этап работы с сетью - экспортировать результаты работы сети

назад в книгу Excel. Для этого перейдем на последнюю закладку

Вывод (Output). Она содержит 2 блока параметров и одну

кнопку управления сохранением:

− блок Опции вывода (Output options) служит для выбора

одного из двух следующих режимов: Вывод только отклика сети

(Output only network answer) или Вывод всех данных (Output all

data), т.е. и отклика и исходной информации;

−

блок Место вывода (Output place) служит для выбора одного

из двух вариантов места сохранения результатов работы сети:

текущий лист (Use active Excel Worksheet) или выбранный лист

выбранной книги (Select Workbook/Worksheet). Дополнительно

имеется возможность уточнить левую верхнюю ячейку

диапазона вывода на выбранном листе (Left upper cell of output),

которая по умолчанию принимается равной А1.

Выбранные в нашем примере параметры обеспечивают

сохранение

только результатов работы нейросети в указанной

книге на листе Нейро_Вавилон.xls в блоке ячеек, начинающемся

с клетки L2.

Выполним команду Output. Получим следующую таблицу:

A B C D E F G H I J K

1 I х1 х2 х3 х4 х5 х6 х7

Год

Кв

ар

та

№

ИПЦ

Выруч-

ка

Себе-

стои-

мость

При-

быль

от

реализ

Балан-

совая

при-

быль

Стоим.

основ-

ных

фондов

Рен-

таб

об-

щая

Рен-

таб.

соб-

ств

ИПЦ

1995 1 1 132,2 201840 200120 1720 1906 156120 1,2 4,7 130,79

1995 2 2 130,3 206151 204134 2017 2102 188200 1,1 4,3 129,64

1995 3 3 126,6 248842 245620 3222 2117 190264 1,1 4,3 128,05

1995 4 4 115,4 243189 240136 2940 1084 202404 0,5 1,8 115,52

1996 1 5 107,3 440531 400111 40420 30245 755344 4 19,5 105,81

1996 2 6 105,6 484255 422133 62122 36780 880112 4,2 20,4 105,80

1996 3 7 105,7 508470 445050 63420 45246 814466 5,6 27,1 105,64

1996 4 8 104,5 554502 484438 67918 52047 915842 5,7 28,2 105,65

1997 1 9 104 552753 522333 30420 41222 2015612 2 12,8 104,04

1997 2 10 103,5 564299 522177 42122 46780 2055388 2,3 14,2 104,34

1997 3 11 103,3 675642 632222 43420 43444 2091426 2,1 13 101,90

1997 4 12 100,5 700213 637123 48678 39395 2163830 1,8 11,3 101,56

1998 1 13 107,6 1272210 1229765 42445 78236 1461204 5,4 21 107,25

1998 2 14 109,5 1493449 1432173 61276 76883 1582006 4,9 19,1 110,04

Год

Кв

ар

та

№

ИПЦ

Выруч-

ка

Себе-

стои-

мость

При-

быль

от

реализ

Балан-

совая

при-

быль

Стоим.

основ-

ных

фондов

Рен-

таб

об-

щая

Рен-

таб.

соб-

ств

ИПЦ

1998 3 15 120,8 1858141 1792262 65879 73245 1902642 3,8 15,1 120,60

1998 4 16 118 2029936 1941401 74123 60158 1928648 3,1 10,7 118,12

1999 1 17 113,2 2931555 2529111 402444 367200 7156120 5,1 22,6 113,09

1999 2 18 111,4 3333699 2932444 401255 375400 7388200 5,1 22,4 111,46

1999 3 19 111,7 4148223 3732344 415879 386250 7614264 5,1 22,4 106,47

1999 4 20 100,2 4229238 3821512 393314 429608 7842968 5,5 24,2 105,58

2000 1 21 105,1 4812096 4440203 582420 486620 10156144 4,8 20,6 104,72

2000 2 22 105,6 5513465 4532222 581111 532300 10188248 5,2 22,4 104,68

2000 3 23 106,1 5757577 4511107 625233 588100 10114246 5,8 25 104,70

2000 4 24 107,2 6562879 4633225 655719 652725 10233682 6,4 27,4 104,67

2001 1 25 106,1 10433333 4742424 690234 686111 10156144 6,8 22,1 104,75

2001 2 26 105 10462269 4755577 703846 702300 10188248 6,9 22,4 104,73

2001 3 27 103,4 10400553 4727524 710246 708100 10114246 7 25,4 104,76

2001 4 28 103,3 10609859 4822663 724964 712725 14294322 5 26,2 104,61

2002 1 29 103,9 10625287 4829676 721400 712344 10156144 7 22,6 104,76

2002 2 30 103,8 10631179 4832354 736800 732106 10188248 7,2 22,5 104,78

2002 3 31 103,8 10631157 4832344 740277 738212 10114246 7,3 25,1 104,82

2002 4 32 103,7 10984046 4992748 764333 752566 22440110 3,4 25,2 104,66

Выбор второго режима вывода - Вывод всех данных (Output

all data) приводит к формированию более информативной

таблицы, содержащей все включенные в модель данные и не

включающей неиспользуемые данные.

A B C D E F

Себе-

стоимость

(Input)

Прибыль от

реализации

(Input)

Балансовая

прибыль

(Input)

Рентабель-

ность общая

(Input)

ИПЦ

(Output)

ИПЦ

(Predicted)

200120 1720 1906 1,2 132,2 130,79

204134 2017 2102 1,1 130,3 129,64

245620 3222 2117 1,1 126,6 128,05

240136 2940 1084 0,5 115,4 115,52

400111 40420 30245 4 107,3 105,81

422133 62122 36780 4,2 105,6 105,80

445050 63420 45246 5,6 105,7 105,64

484438 67918 52047 5,7 104,5 105,65

522333 30420 41222 2 104 104,04

522177 42122 46780 2,3 103,5 104,34

Себе-

стоимость

(Input)

Прибыль от

реализации

(Input)

Балансовая

прибыль

(Input)

Рентабель-

ность общая

(Input)

ИПЦ

(Output)

ИПЦ

(Predicted)

632222 43420 43444 2,1 103,3 101,90

637123 48678 39395 1,8 100,5 101,56

1229765 42445 78236 5,4 107,6 107,25

1432173 61276 76883 4,9 109,5 110,04

1792262 65879 73245 3,8 120,8 120,60

1941401 74123 60158 3,1 118 118,12

2529111 402444 367200 5,1 113,2 113,09

2932444 401255 375400 5,1 111,4 111,46

3732344 415879 386250 5,1 111,7 106,47

3821512 393314 429608 5,5 100,2 105,58

4440203 582420 486620 4,8 105,1 104,72

4532222 581111 532300 5,2 105,6 104,68

4511107 625233 588100 5,8 106,1 104,70

4633225 655719 652725 6,4 107,2 104,67

4742424 690234 686111 6,8 106,1 104,75

4755577 703846 702300 6,9 105 104,73

4727524 710246 708100 7 103,4 104,76

4822663 724964 712725 5 103,3 104,61

4829676 721400 712344 7 103,9 104,76

4832354 736800 732106 7,2 103,8 104,78

32 4832344 740277 738212 7,3 103,8 104,82

33 4992748 764333 752566 3,4 103,7 104,66

13. И, наконец, сохраним наш нейропроект с результатами

работы командой Save Project, расположенной на вкладке Data.

На запрос имени файла проекта ответим – Vavilon.wnp.

Предварительно, конечно, нужно выбрать папку для его

размещения.

14. Можно теперь закрыть окно программы Winnet.

Дальнейший анализ полученных результатов будем проводить

стандартными статистическими методами в Excel.

Найдем уравнение

нейрорегрессии и ошибку прогноза:

ИПЦ(н)=117,81+1,70

⋅

-6

х2-3,003⋅10

-5

х3+1,76ּ10

-5

х4-1,99х6, где:

х2 - себестоимость, х3 -прибыль от реализации, х4 - балансовая

прибыль, х6 - общая рентабельность.

Для сравнения приведем и уравнение обычной регрессии:

ИПЦ(о)=117,59+1,96⋅10

-6

х2-4,79⋅10

-6

х3-1,022⋅10

-5

х4-1,960х6.

Соответствующая статистика приведена в таблице.

Нейростатистический показатель Значение

Число обучающих примеров, n 32

Число независимых переменных, k 4

Общая нейроошибка, Σ(y

нейро

- y

средн

)

1983,74

Ошибка регрессии, Σ(y

расч

- y

средн

)

648,12

Остаток, Σe(t)

=Σ(y

нейро

-y

средн

)

- Σ(y

расч

-y

средн

)

1335,62

Коэф. детерминации, R

=1-Σe(t)

/ Σ(y

нейро

–y

средн

)

0,33

Коэффициент множественной корреляции, R=

√

0,57

Скорректированный

Rкор

=1-(1- R

)(n-1)/(n-k-1) 0,23

Стандартная ошибка 7,03

MS регрессии, Σ(y

расч

-y

средн

)

162,03

MS остатка, Σe(t)

/(n-k-1)

49,47

Критерий Фишера, F = (R

/k)/((1- R

)(n-k-1)) 3,28

Значимость критерия Фишера 0,03

Табличное значение критерия Фишера при доверительной

вероятности 0,95, ν1 =k =4, ν2 =n-k-1 =27 составляет 2,73.

Поскольку Fрасч =3,28> Fтабл =2,73, то уравнение регрессии

можно считать адекватным.

Для оценки независимости рассчитаем критерий Дарбина-

Уотсона: d=Σ(e(t)-e(t-1))

/ Σe(t)

=1,41777E-05. В качестве

критических табличных уровней при n =32 и k =4 для уровня

значимости 5% возьмем значения di=1,18 и du=1,73. Расчетное

значение не попало в интервал, т.е. оценки можно считать

независимыми.

В следующей таблице показан расчет коэффициентов

уравнения нейрорегрессии и сопутствующая статистика

Стьюдента (t-критерий):

Переменная Коэффициент

регрессии

Стандартная

ошибка

Критерий

Стьюдента

ИПЦ-(Output) 117,81 3,42 34,42

Себестоимость 1,70129E-06 3,05E-06 0,5578

Прибыль от реализации -3,00265E-05 5,598E-05 -0,5363

Балансовая прибыль 1,75885E-05 5,599E-05 0,3141

Рентабельность общая -1,99 0,94 -2,12

Табличное значение критерия Стьюдента при уровне

значимости 5% и степенях свободы 32-4-1 =27 составляет 2,052.

Так как расчетное значение больше табличного только для

последнего коэффициента (рентабельность), то только он может

рассматриваться как значимый. Остальные коэффициенты

можно опустить.

С учетом проведенного анализа результаты

нейромоделирования могут быть записаны в виде

приближенного уравнения нейрорегрессии (х6 - общая

рентабельность): ИПЦ(нейро)

≈

117,815-1,994х6. Общая оценка

работы нейросети приведена в следующей таблице.

Год Квар-

тал

№

п/п

ИПЦ

(факти-

ческий)

ИПЦ

(предска-

занный

нейро-

сетью)

Относи-

тельная

ошибка

нейро-

прогноза,

ИПЦ

(расчет

по уравнению

нейро-

регрессии)

Относи-

тельная

ошибка

нейро-

регрессии,

1995 1 1 132,20 130,79 -0,01 115,42 -0,17

1995 2 2 130,30 129,64 -0,01 115,62 -0,15

1995 3 3 126,60 128,05 0,01 115,62 -0,11

1995 4 4 115,40 115,52 0,00 116,82 0,01

1996 1 5 107,30 105,81 -0,01 109,84 0,03

1996 2 6 105,60 105,80 0,00 109,44 0,04

1996 3 7 105,70 105,64 0,00 106,65 0,01

1996 4 8 104,50 105,65 0,01 106,45 0,02

1997 1 9 104,00 104,04 0,00 113,83 0,10

1997 2 10 103,50 104,34 0,01 113,23 0,10

1997 3 11 103,30 101,90 -0,01 113,63 0,10

1997 4 12 100,50 101,56 0,01 114,23 0,14

1998 1 13 107,60 107,25 0,00 107,05 -0,01

1998 2 14 109,50 110,04 0,01 108,04 -0,01

1998 3 15 120,80 120,60 0,00 110,24 -0,11

1998 4 16 118,00 118,12 0,00 111,63 -0,06

1999 1 17 113,20 113,09 0,00 107,65 -0,06

1999 2 18 111,40 111,46 0,00 107,65 -0,04

1999 3 19 111,70 106,47 -0,05 107,65 -0,04

1999 4 20 100,20 105,58 0,05 106,85 0,07

2000 1 21 105,10 104,72 0,00 108,24 0,03

2000 2 22 105,60 104,68 -0,01 107,45 0,02

2000 3 23 106,10 104,70 -0,01 106,25 0,00

2000 4 24 107,20 104,67 -0,03 105,05 -0,02

2001 1 25 106,10 104,75 -0,01 104,26 -0,02

2001 2 26 105,00 104,73 0,00 104,06 -0,01

2001 3 27 103,40 104,76 0,01 103,86 0,00

2001 4 28 103,30 104,61 0,01 107,85 0,05

2002 1 29 103,90 104,76 0,01 103,86 0,00

2002 2 30 103,80 104,78 0,01 103,46 0,00

2002 3 31 103,80 104,82 0,01 103,26 -0,01

2002 4 32 103,70 104,66 0,01 111,04 0,07

Сумма квадратов ошибок = 0,01 0,15