Neuronale Netzwerke werden häufig als undurchsichtige Black-Box-Modelle betrachtet, die Funktionen approximieren, ohne klare Interpretierbarkeit. Theoretische Ansätze ermöglichen es jedoch, ihre inneren Abläufe transparenter zu beschreiben und zu visualisieren. Eine Schlüssel-Eigenschaft, die viele neuronale Netzwerke teilen, ist Stückweise Linearität, was bedeutet, dass die durch das Netzwerk dargestellte Funktion in mehrere lineare Segmente zerlegt werden kann, obwohl die Gesamtfunktion nichtlinear ist. Dieses Merkmal tritt besonders in Netzwerken auf, die die Rectified Linear Unit (ReLU) Aktivierungsfunktion verwenden, welche selbst durch zwei lineare Stücke definiert ist, die bei Null zusammentreffen. Angesichts der weitverbreiteten Nutzung von ReLU-Aktivierungen bietet die Untersuchung von Netzwerken, die durch abwechselnde lineare Transformationen und ReLU-Nonlinearitäten aufgebaut sind, wertvolle Einblicke in ihr Verhalten.\n\nZur Veranschaulichung betrachten wir ein einfaches neuronales Netzwerk mit zwei Eingangsneuronen und einem Ausgangsneuron, das ReLU-Aktivierung verwendet. Visualisiert in drei Dimensionen, mit Eingangsvariablen auf den x- und y-Achsen und Ausgang auf der z-Achse, teilt die ReLU den Eingangsraum in zwei lineare Bereiche: einen, in dem die Aktivierung aus ist (Ausgang Null), und einen, in dem sie an ist (positiver linearer Ausgang). Wichtig ist, dass die vom Netzwerk gelernte Funktion stetig und stückweise linear sein muss, wodurch Diskontinuitäten an den Grenzen der linearen Stücke ausgeschlossen sind.\n\nDie Erweiterung des Netzwerks auf acht Ausgangsneuronen in einer einzigen Schicht erhöht die Komplexität der stückweise linearen Partitionierung des Eingangsraums. Die ReLU-Aktivierungen erzeugen mehrere Grenzen, die die Eingangsfläche in Polygone unterteilen, von denen jedes einem einzigartigen Muster von Neuronenaktivierungen entspricht (einige Neuronen an, andere aus). Theoretisch könnten es 2^8 oder 256 Aktivierungsmuster sein, doch geometrische Beschränkungen begrenzen diese Zahl auf 37 machbare Regionen in zwei Dimensionen, bekannt als die 8. zentrale polygonale Zahl, wobei typischerweise 32 Regionen sichtbar sind. Diese Anordnung von Linien und Polygonen wird als polyedrischer Komplex bezeichnet und repräsentiert die stückweise lineare Zerlegung des Netzwerks.\n\nDas Hinzufügen einer zweiten Schicht mit acht ReLU-Neuronen verfeinert diese Partitionierung weiter. Die Entscheidungsgrenzen der zweiten Schicht bleiben innerhalb jeder durch die erste Schicht definierten Region linear, führen jedoch "Knicks" ein, wenn sie von einer Region in eine andere übergehen, was Änderungen in den Aktivierungsmustern widerspiegelt. Einige Aktivierungsmuster werden je nach Bias und Eingaben unzulässig, wodurch bestimmte Grenzen effektiv enden. Der Prozess zur Berechnung dieser Regionen umfasst das Durchlaufen aller möglichen Aktivierungsmuster innerhalb jeder übergeordneten Region und die Überprüfung der Machbarkeit durch Lösen linearer Ungleichungen, die aus Netzwerkparametern abgeleitet sind.\n\nIn der dritten Schicht entwickeln die stückweise linearen Partitionen komplexe, kurvenähnliche Strukturen, obwohl sie aus linearen Segmenten bestehen. Die Visualisierung dieser Regionen, eingefärbt nach Ausgangsstärke, zeigt, wie bestimmte Bereiche höhere Ausgangswerte liefern, die in der grafischen Darstellung heller erscheinen. Die Rückkehr zu dreidimensionalen Ansichten bietet ein intuitives Verständnis der Funktionslandschaft des Netzwerks.\n\nDiese Untersuchung konzentrierte sich bisher auf ein einzelnes neuronales Netzwerk, das trainiert wurde, um das Jane Street Rings-Muster zu approximieren. Der polyedrische Komplex entwickelt sich jedoch dynamisch mit der Veränderung der Netzwerkgewichte. Beginnend mit einem zufällig initialisierten, untrainierten Netzwerk teilt sich der Eingangsraum nur in wenige große Polygone, die grobe stückweise lineare Approximationen darstellen. Mit fortschreitendem Training und Anpassung der Gewichte steigt die Komplexität, was zu vielen kleineren Polygonen und nuancierteren Entscheidungsgrenzen führt, die die Zielmuster besser approximieren.\n\nRicson, der seit 2020 Teil des Jane Street Forschungsteams ist, führt diese Arbeit neben seinen Interessen in Astrofotografie und Sprachmodellierung durch. Seine Forschung hebt sowohl die Leistungsfähigkeit als auch die Interpretierbarkeit stückweise linearer neuronaler Netzwerke hervor und bietet Werkzeuge zur Visualisierung und zum Verständnis, wie solche Modelle Eingangsbereiche durch geschichtete ReLU-Aktivierungen partitionieren.
