2. Strategien 14
– vorausgesetzt sie überschreitet einen Schwellenwert – über eine Ausgabe-
funktion an die nächste Schicht weiter.
Der Vollständigkeit halber sei gesagt, dass die Überprüfung des Schwel-
lenwertes allgemeiner gehalten und dafür einer so genannten Aktivierungs-
funktion anheim gestellt werden kann, welche auch noch die vergangene Akti-
vierung miteinbeziehen und den gesamten Output modifizieren könnte. Diese
Modifikation findet jedoch zumeist über eine sigmoide Ausgabefunktion statt
und die vergangene Aktivierung wird bei den hier beschriebenen Beispielen
nicht beachtet.
Haben die Eingabewerte nun die Ausgabeschicht erreicht, hat das Netz-
werk ein Muster in ein, zumeist anderes, transformiert. Ist ein ANN trainiert,
können Muster einer semantischen Kategorie auf jeweils eine bestimmte Aus-
gabe gemappt werden. Den systematischen Zusammenhang zwischen Mus-
tern innerhalb solcher Kategorien zu entdecken und sie von Mustern anderer
Kategorien abzugrenzen, ist die Aufgabe eines lernenden ANNs.
Neben der oben beschriebenen Topologie sind Hopfield- sowie Kohonen-
Netze
2
populär. Letztere ermöglichen ein so genanntes unsupervised Lernver-
fahren
3
, während herkömmliche Netze supervised trainiert werden. Das heißt
man lässt das Netz Eingabedaten selbständig Clustern zuordnen bzw. gibt
an, welche Ausgabe man sich zu einem Eingabevektor erwartet. Das Trai-
nieren erfolgt meistens über die Modifikation der Verbindungsgewichte. Hier
wird kurz auf ein beliebtes supervised Verfahren namens Backpropagation
eingegangen.
Dabei wird ein Trainingsset von Mustern und der zu jedem Muster ge-
wünschten Ausgabe erstellt. Das Netz wird nun mit jedem Muster konfron-
tiert und jeweils die Abweichung des tatsächlichen Outputs zum gewünschten
Output berechnet. Anhand dieser werden nun von der Ausgabeschicht rück-
wärts vorsichtig alle Verbindungsgewichte derart verändert, dass der Fehler
kleiner wird. Nach vielen solchen Zyklen generalisiert im Optimalfall das
ANN, das heißt es hat das Prinzip erlernt, anhand dessen der User Unter-
scheidungen vorgab (nach [53]).
Ein vorsichtiges, schrittweises Modifizieren der Gewichte ist deshalb wich-
tig, da zum einen jene aller Kanten, zurück bis zur Eingabeschicht, verändert
werden sollen – ein vollständiges, exaktes Justieren der Gewichte ausschließ-
lich für die Kanten der letzten verdeckten Schicht zur Ausgabeschicht würde
das Modifizieren der Gewichte restlicher Kanten obsolet machen. Zum an-
deren müssen über die Gewichte die Fehler aller zu trainierenden Muster
minimiert werden – ein solcher Kompromiss bedingt eine langsame Annähe-
rung an die Optimalkonfiguration.
Nimmt man an, dass ANNs theoretisch alles lernen können, ergeben sich
daraus vielfältige Einsatzbereiche für diese in Kompositionsvorgängen. Theo-
2
Self-organizing map (SOM)
3
Adaptive resonance theory (ART) ist ein weiteres unüberwachtes Lernverfahren