Федотов В.Х. Нейронные сети в MS Excel

Подождите немного. Документ загружается.

и уровнем инфляции (выход модели), оцениваемом через

поквартальный индекс потребительских цен в Чувашии (ИПЦ).

Модель будет использоваться для прогнозирования развития

данного предприятия на будущие периоды времени (кварталы).

Алгоритм 1. Персептрон «4-3-1»

1. Разместим исходные данные на листе книги Excel,

например, так. В первой и второй строках запишем условные и

полные названия колонок, а

с 3-й по 34-ю – сами данные.

A B C D E F G H I J K

1 I х1 х2 х3 х4 х5 х6 х7

Год

Квар

тал

№

ИПЦ

Выруч-

ка

Себе-

стои-

мость

При-

быль

от

реализ

Балан-

совая

при-

быль

Стоим.

основ-

ных

фондов

Рен-

таб.

об-

щая

Рен-

таб.

собст-

венная

3 1995 1 1 132,2 201840 200120 1720 1906 156120 1,2 4,7

… 1995 2 2 130,3 206151 204134 2017 2102 188200 1,1 4,3

1995 3 3 126,6 248842 245620 3222 2117 190264 1,1 4,3

1995 4 4 115,4 243189 240136 2940 1084 202404 0,5 1,8

1996 1 5 107,3 440531 400111 40420 30245 755344 4 19,5

1996 2 6 105,6 484255 422133 62122 36780 880112 4,2 20,4

1996 3 7 105,7 508470 445050 63420 45246 814466 5,6 27,1

1996 4 8 104,5 554502 484438 67918 52047 915842 5,7 28,2

1997 1 9 104 552753 522333 30420 41222 2015612 2 12,8

1997 2 10 103,5 564299 522177 42122 46780 2055388 2,3 14,2

1997 3 11 103,3 675642 632222 43420 43444 2091426 2,1 13

1997 4 12 100,5 700213 637123 48678 39395 2163830 1,8 11,3

1998 1 13 107,6 1272210 1229765 42445 78236 1461204 5,4 21

1998 2 14 109,5 1493449 1432173 61276 76883 1582006 4,9 19,1

1998 3 15 120,8 1858141 1792262 65879 73245 1902642 3,8 15,1

1998 4 16 118 2029936 1941401 74123 60158 1928648 3,1 10,7

1999 1 17 113,2 2931555 2529111 402444 367200 7156120 5,1 22,6

1999 2 18 111,4 3333699 2932444 401255 375400 7388200 5,1 22,4

1999 3 19 111,7 4148223 3732344 415879 386250 7614264 5,1 22,4

1999 4 20 100,2 4229238 3821512 393314 429608 7842968 5,5 24,2

2000 1 21 105,1 4812096 4440203 582420 486620 10156144 4,8 20,6

2000 2 22 105,6 5513465 4532222 581111 532300 10188248 5,2 22,4

Год

Квар

тал

№

ИПЦ

Выруч-

ка

Себе-

стои-

мость

При-

быль

от

реализ

Балан-

совая

при-

быль

Стоим.

основ-

ных

фондов

Рен-

таб.

об-

щая

Рен-

таб.

собст-

венная

2000 3 23 106,1 5757577 4511107 625233 588100 10114246 5,8 25

2000 4 24 107,2 6562879 4633225 655719 652725 10233682 6,4 27,4

2001 1 25 106,1 10433333 4742424 690234 686111 10156144 6,8 22,1

2001 2 26 105 10462269 4755577 703846 702300 10188248 6,9 22,4

2001 3 27 103,4 10400553 4727524 710246 708100 10114246 7 25,4

2001 4 28 103,3 10609859 4822663 724964 712725 14294322 5 26,2

2002 1 29 103,9 10625287 4829676 721400 712344 10156144 7 22,6

2002 2 30 103,8 10631179 4832354 736800 732106 10188248 7,2 22,5

33 2002 3 31 103,8 10631157 4832344 740277 738212 10114246 7,3 25,1

34 2002 4 32 103,7 10984046 4992748 764333 752566 22440110 3,4 25,2

2. Нажмем кнопку Нейроэмулятор на панели инструментов

Neural Analysis. В появившемся диалоговом окне Select data

source опишем размещение нашей таблицы. В поле

«Использовать первую колонку для обозначения имен» (Use first

row as column name) поставим галочку. Нажимаем ОК.

3. Откроется основное окно Winnet - эмулятора

многослойного персептрона. Окно содержит 4 вкладки Data,

Network, Training и Output, отражающие все этапы работы с

нейросетью. Выберем вкладку Data, предназначенную для

выполнения первого этапа работы с сетью - определения и

пре/постпроцессирования данных.

4. Определим входы с помощью кнопки Select Inputs.

В окне All Data увидим полный список из 8 параметров

нашей модели. Выберем в качестве входных последние 7. Для

этого выполним, например команду Select All, которая перенесет

все параметры в окно Inputs. Затем вернем «лишний» параметр

ИПЦ назад в окно All Data кнопкой корректировки < .

Полученный результат показан ниже.

5. Выполним препроцессирование входных данных с

помощью кнопки Normalization. Этот шаг позволяет избавиться

от лишних вычислительных проблем за счет выравнивания

диапазонов переменных. Выберем, например, вариант

Mean/Variance, при котором данные переводятся в

безразмерную форму вычитанием среднего и нормированием на

их дисперсию. Нажимаем ОК. Теперь все входы становятся

сравнимыми по порядку величины.

Как видно, имеются и другие способы препроцессирования

данных – линейная нормализация ((-1,+1) normalization) и

нелинейное преобразование биполярным сигмоидом -

гиперболическим тангенсом thx=(e

–1)/(e

+1) (than-

normalization) к диапазону [-1,+1]. Вернемся в окно Select Inputs

с помощью кнопки ОК.

6. Далее с помощью кнопки Select Outputs аналогично

предыдущим пунктам выбираем выходной параметр - ИПЦ и

нормализуем его с помощью Mean/Variance. Результат:

7. Определим значимость входных параметров. Нажмем

кнопку Boxcounting, и система самостоятельно, используя

новейший алгоритм Boxcounting, определит статистическую

значимость входов для заданных выходов. В окне Boxcounting

results в графическом виде мы увидим, что наиболее значимыми

параметрами являются х2 и х6 (≈0,4 и 0,3 соответственно), а

значимость параметров х1 и х5 – близка к нулю и

они

несущественны с точки зрения влияния на результирующую

переменную. Остальные переменные занимают промежуточное

положение по значимости.

Внизу показываются значения параметров нормализации:

Среднее(Mean predictability) =0,095 и Дисперсия(Variance) =

=0,109. Чем больше их отношение отличается от 1, тем лучше

предсказательная сила соответствующей модели. Вычислим

отношение Среднее/Дисперсия ≈0,87. Как видно, оно близко к

единице, т.е. предсказательная

сила данной сети невысока.

Уменьшение количества входов позволяет сократить время

обучения нейросети или дает возможность увеличить ее

нелинейные свойства. Поэтому вернемся в основное окно и

удалим незначимые входы х1 и х5 из списка Inputs.

8. Процедуру по определению значимости входов можно и

нужно повторить столько раз, сколько нужно. Так, выполним ее

еще один раз, вновь выполняя команду Boxcounting.

Параметры нормализации изменились: среднее возросло,

дисперсия осталась прежней. Отношение Среднее/Дисперсия =

=0,137/0,109 ≈1,26 стало дальше от единицы, т.е.

предсказательная сила модели стала лучше. Исключим и

последнюю переменную.

Параметры нормализации вновь изменились: среднее

уменьшилось, отношение Среднее/Дисперсия =0,062/0,109 ≈0,57

стало еще дальше от единицы, а предсказательная сила модели

стала еще лучше. Этот процесс можно было бы продолжить и

дальше (исключить третий и, возможно, второй столбцы), но мы

на этом пока остановимся. Получившаяся схема входов-выходов

примет вид:

9. Теперь создадим простую двухслойную нейросеть (с

одним скрытым слоем) и архитектурой «4-3-1». Перейдем на

закладку Network и выполним команду Create Net.

В окне Network Constructor определим структуру сети:

− число слоев без входного (Number of layer) =2;

− число входов (Number of inputs) =4;

− число нейронов в 1-м слое (Layer1, neurons) =3;

− порядок нелинейности первого слоя (order) =1;

− тип

выходной функции первого слоя (function) = tanh;

− число нейронов во втором слое (neurons) =1;

− порядок нелинейности второго слоя (order) =1;

− тип выходной функции 2-го слоя (function) = linear.

Подтверждаем выбор нажатием ОК и возвращаемся в

исходное окно, где конфигурация сети «4-3-1» будет отражена

графически.

На практике редко используется архитектура нейросети с

количеством скрытых слоев более одного. Нелинейность

нейросети определяется количеством нейронов в этом скрытом

слое. Использовать порядок нелинейности нейрона больше 1

рекомендуется только квалифицированным пользователям.

При создании нейросети следует также учитывать, что

общее число связей сети (весов) должно быть в несколько раз

или даже на порядок меньше объема обучающей выборки. Это

обеспечит достаточно гладкую аппроксимацию данных. В

противном случае нейросеть просто «переобучится», т.е.

запомнит данные, потеряв возможность делать статистически

значимые предсказания на новых данных.

В нашем примере имеется 15 связей, а объем выборки равен

32. Таким образом, необходимое условие успешного обучения

формально выполняется (32 больше, чем 15, в 2 с лишним раза),

но для получения заведомо более качественного результата

имеется 2 варианта - увеличение числа примеров до 150 (и более)

или уменьшение числа связей до 3-5.

Первый путь реализуется легко введением достаточного

числа

дополнительных обучающих примеров. Второй вариант

интереснее, и он может быть реализован разными способами.

Например, сокращением числа входов до двух и уменьшением

числа нейронов в промежуточном слое до двух. Тогда получится

сеть типа «2-2-1» с пятью связями и т.д. Однако дальше мы

продолжим работу с сетью вида «4-3-1».

10. Начнем подготовку к

обучению сети. Перейдем на

следующую закладку Training.

Перед обучением надо задать тестовое множество из

всей совокупности обучающих примеров. Примеры из

этого множества не будут участвовать в обучении. На них

будут строиться оценки предсказательных свойств

обученной сети. Нажмем кнопку Edit test set. В

открывшемся окне зададим размер тестовой выборки

(Number of test examples) =0, а ее характер установим в режим

случайной выборки (Random test set).

Как правило, число примеров в тестовой выборке составляет

20-30% и не менее нескольких десятков. Однако с учетом

малости нашей выборки мы выбрали это число равным нулю.

Поэтому тестовые примеры придется, возможно, добавить

позже.

Характер обучающей выборки установлен Random, так как

для задач аппроксимации наиболее естественным является

случайный выбор тестового множества.

Отдельная опция Random+Last examples полезна для

прогнозирования временных рядов. При этом последние

примеры всегда исключаются из обучения и являются

прогнозом. Подтвердим выбранные настройки нажатием кнопки

ОК и вернемся в основное окно.