Aufgabe: Einfluss stark unterschiedlicher Eingaben auf die Lernrate
Im Programmbeispiel von Mehrere Gewichte gleichzeitig "erlernen" wurden sehr unterschiedliche Eingaben verarbeitet:
Unterschiedliche Eingaben bewirken unterschiedliche quadratische Fehlerkurven.
Die durchschnittliche Anzahl Zehen pro Spieler ist 8,5 und die Gewinnerwartung beträgt demgegenüber nur 0,65. Das führt dazu, dass die Steigungen der betreffenden Ableitung beträchtlich steiler ist und rascher kleiner wird. Ein Großteil des Lernen findet also bei dem Gewicht mit der größten Eingabe statt.
Es ist eine relativ kleine Lernrate alpha = 0.01 notwendig, damit das KNN konvergiert. Durch welche einfache Maßnahme kann die Lernrate alpha verbessert werden, d.h. erhöht werden, wobei das KNN immer noch konvergiert?
Trask, Andrew W. (2020): Neuronale Netze und Deep Learning kapieren. Der
einfache Praxiseinstieg mit Beispielen in Python. (1. Aufl.).
mitp-Verlag, S. 107f.