Ein neuronales Netz ist ein Netzwerk aus künstlichen Neuronen. Diese sogenannten künstlichen neuronalen Netze sind ein Teilgebiet der künstlichen Intelligenz und Forschungsinhalt der Neuroinformatik. Da sich ein neuronales Netz in seinem Aufbau und seiner Funktionsweise an natürlichen neuronalen Netzen orientiert, ist der Ursprung neuronaler Netze in der Biologie zu finden. Jedoch sind künstliche neuronale Netze keine bloße Nachbildung natürlicher neuronaler Netze, vielmehr handelt es sich um abstrakte Modelle der Informationsverarbeitung.
Aufbau und Funktionsweise neuronaler Netze
Künstliche Neuronen wie McCulloch-Pitts-Neuronen stellen die Grundlage neuronaler Netze dar. Sie verarbeiten Eingangswerte, gewichten diese und erzeugen mithilfe einer Aktivierungsfunktion eine Ausgabe. Wie genau ein neuronales Netz aufgebaut ist, hängt im Wesentlichen von der Aufgabe ab, die es erfüllen soll. Nach der Konstruktion des Netzes findet die sogenannte Trainingsphase statt. Während dieser Phase lernt das Netz, eine bestimmte Aufgabe zu lösen, wobei verschiedene Lernverfahren zur Anwendung kommen können. Dazu zählen insbesondere die Änderung der Gewichte an den Verbindungen zwischen den einzelnen Neuronen und, je nach Verfahren, auch Anpassungen der Netzstruktur. Ein neuronales Netz ist eine Umsetzung des konnektionistischen Paradigmas, welches ein bestimmtes Verhalten als das Ergebnis der Interaktion verschiedener Komponenten ansieht. Bestimmte rekurrente neuronale Netze können unter theoretischen Voraussetzungen die Berechenbarkeit einer Turingmaschine erreichen. Diese Aussage gilt jedoch nicht pauschal für jedes neuronale Netz.
Geschichte neuronaler Netze
Die Anfänge neuronaler Netze gehen auf den Neurophysiologen Warren McCulloch und den Logiker Walter Pitts zurück. Bereits im Jahr 1943 beschrieben sie ein formales Neuronenmodell, mit dem sich logische Operationen darstellen ließen. Im Jahr 1949 veröffentlichte der Psychologe Donald O. Hebb eine nach ihm benannte Lernregel – die Hebb’sche Lernregel -, die eine wichtige Grundlage für spätere Lernverfahren neuronaler Netze bildete. 1951 konstruierten Marvin Minsky und Dean Edmonds den Neurocomputer SNARC, der vor allem experimentellen Zwecken diente. Ab 1957 entwickelte Frank Rosenblatt das Perceptron und setzte das Modell später auch als Hardware um. Das Perceptron-Konvergenz-Theorem beschreibt, unter welchen Voraussetzungen dieses Lernverfahren eine Lösung findet. Um 1960 stellten Bernard Widrow und Marcian E. Hoff mit ADALINE ein frühes praktisch eingesetztes neuronales Modell vor. 1969 analysierten Seymour Papert und Marvin Minsky die Grenzen einschichtiger Perceptrons mathematisch. Die dabei aufgezeigten Einschränkungen trugen dazu bei, dass die Forschung und Förderung im Bereich neuronaler Netze zeitweise an Bedeutung verlor.
Im Jahr 1974 beschrieb Paul Werbos in seiner Dissertation die Anwendung der Fehlerrückführung, des sogenannten Backpropagation-Algorithmus, auf mehrschichtige neuronale Netze. In den 1980er-Jahren wurde dieses Lernverfahren weiter verbreitet und zu einer wesentlichen Grundlage für das Training mehrschichtiger Netze. In den folgenden Jahrzehnten gewannen künstliche neuronale Netze in den Bereichen Wissenschaft und Technik zunehmend an Bedeutung. Heutige Forschung beschäftigt sich unter anderem mit tiefen neuronalen Netzen, effizienteren Trainingsmethoden, erklärbaren Modellen und sogenannten Spiking Neural Networks.
Struktur neuronaler Netze
Ein neuronales Netz besitzt eine bestimmte Struktur, die als Topologie bezeichnet wird. Die Topologie des Netzes legt fest, wie viele Neuronen auf wie vielen Ebenen zu finden sind und auf welche Weise die einzelnen Neuronen miteinander verbunden sind. Die Darstellung eines neuronalen Netzes kann mit Hilfe eines Graphen erfolgen, wobei die Neuronen die Knoten und die Verbindungen die Kanten des Graphen bilden. Zwischen der Struktur des Netzes und dem verwendeten Lernverfahren gibt es einen engen Zusammenhang.
Zu den gängigsten Netztopologien zählen das einschichtige Feedforward-Netz, das mehrschichtige Feedforward-Netz und das rekurrente Netz. Das einschichtige Feedforward-Netz ist eine besonders einfache Struktur für ein neuronales Netz. Diese Art von Netzen besitzt neben der Eingabe nur eine trainierbare Ausgabeschicht. Mit der Feedforward-Eigenschaft ist gemeint, dass die Verarbeitung der Eingabe ausschließlich in Richtung der Ausgabeschicht und somit nicht zyklisch erfolgt. Ein mehrschichtiges neuronales Netz besitzt neben der Ausgabeschicht mindestens eine verborgene Neuronenschicht. Durch diese zusätzlichen Schichten sind mehrschichtige Feedforward-Netze in der Lage, auch komplexere Zusammenhänge abzubilden. Ein rekurrentes neuronales Netz besitzt im Gegensatz zu Feedforward-Netzen auch rückgerichtete Kanten, die als Rückkopplungen bezeichnet werden. Diese Rückkopplungen bewirken ein dynamisches Verhalten des neuronalen Netzes. Zudem kann das Netz dadurch Informationen aus vorherigen Verarbeitungsschritten berücksichtigen und eine Form von Gedächtnis erhalten.
Lernverfahren für neuronale Netze
Um zu erreichen, dass ein neuronales Netz zu einem bestimmten Eingabemuster ein geeignetes Ausgabemuster erzeugt, werden verschiedene Lernverfahren für künstliche neuronale Netze verwendet. Beim überwachten Lernen erhält das Netz Eingabemuster, zu denen die zugehörigen Zielwerte bereits vorliegen. Diese Musterlösungen werden mit den vom Netz berechneten Ausgaben verglichen. Auf Grundlage der Abweichungen wird die Netzkonfiguration schrittweise verändert, bis ein festgelegtes Abbruchkriterium erreicht ist. Die Delta-Regel und der Backpropagation-Algorithmus gehören zu dieser Klasse von Lernverfahren. Beim bestärkenden Lernen erhält das System dagegen keine vollständige Musterlösung für jede Eingabe. Es lernt anhand von Belohnungen oder negativen Rückmeldungen, welche Handlungen in einer bestimmten Situation vorteilhaft sind. Auch beim unüberwachten Lernen steht kein vorgegebener Ausgabewert zur Verfügung. Das Netz soll stattdessen Strukturen, Gruppen oder Regelmäßigkeiten in den Eingabedaten erkennen. Die Hebb’sche Lernregel ist ein frühes Beispiel für ein solches selbstorganisierendes Lernprinzip.
Damit sich beurteilen lässt, ob das Netz nicht nur Trainingsbeispiele auswendig gelernt hat, werden Daten üblicherweise in Trainings-, Validierungs- und Testdaten aufgeteilt. Entscheidend ist nicht allein ein geringer Fehler auf den Trainingsdaten, sondern die Fähigkeit, auch für zuvor unbekannte Eingaben brauchbare Ergebnisse zu liefern.
Anwendung und Grenzen neuronaler Netze
Aufgrund seiner besonderen Eigenschaften ist ein neuronales Netz vor allem für solche Anwendungen interessant, bei denen sich relevante Zusammenhänge nur schwer als feste Regeln formulieren lassen. Anwendungen dieser Art sind beispielsweise im Bereich der Bild- oder Texterkennung zu finden. Weitere Einsatzgebiete umfassen Sprachverarbeitung, Prognosen und die Erkennung von Mustern in großen Datenbeständen. Ein weiterer Anwendungsbereich für künstliche neuronale Netze ist die Regelungstechnik. In diesem Bereich kann ein neuronales Netz herkömmliche Regler ergänzen oder für bestimmte Aufgaben ersetzen. Zudem ist ein neuronales Netz in der Lage, den Reglern Sollwerte vorzugeben, die mittels einer Vorhersage über den Prozessverlauf ermittelt wurden. Auch in technikfernen Bereichen finden neuronale Netze Anwendung. Die Früherkennung von Tornados oder die Prognose wirtschaftlicher Entwicklungen stellen Beispiele solcher Einsatzgebiete dar.
Jedoch ist die praktische Anwendung künstlicher neuronaler Netze mit Problemen verbunden, die aus den Grenzen dieser Modelle resultieren. So führt das Trainieren neuronaler Netze in der Regel zu nichtlinearen, hochdimensionalen Optimierungsproblemen. Diese Probleme sind nur schwer zu lösen, was unter anderem daran liegt, dass oftmals nicht mit Sicherheit gesagt werden kann, ob ein globales oder ein lokales Optimum vorliegt. Auch das Sammeln geeigneter Trainingsdaten kann sich als schwierig und zeitaufwendig erweisen, sodass diese Daten unter Umständen manuell erzeugt oder aufbereitet werden müssen.
Ein weiterer Nachteil ist das Problem der sogenannten Überanpassung. Damit ist gemeint, dass ein neuronales Netz dazu tendiert, Besonderheiten der während der Trainingsphase präsentierten Daten zu lernen, ohne ausreichend auf neue Daten verallgemeinern zu können. Um eine Überanpassung zu begrenzen, müssen Architektur, Datenmenge, Regularisierung und Validierungsverfahren aufeinander abgestimmt werden. Ein weiteres Problem betrifft die Kodierung und Qualität der Trainingsdaten. Die Form, in der diese Daten vorliegen, beeinflusst die Lerngeschwindigkeit in wesentlichem Maße. Zudem hängt von ihrer Repräsentation ab, ob das zugrunde liegende Problem vom neuronalen Netz überhaupt gelernt werden kann.
Auch ein gut trainiertes Netz liefert nicht automatisch richtige oder nachvollziehbare Ergebnisse. Verzerrte, unvollständige oder für den späteren Einsatz untypische Trainingsdaten können zu systematischen Fehlern führen. Bei der Beurteilung eines Modells sind deshalb neben der Treffergenauigkeit auch Robustheit, Erklärbarkeit, Rechenaufwand und die Folgen möglicher Fehlentscheidungen zu berücksichtigen.
Zusammenfassung
Ein neuronales Netz ist ein spezialisiertes Modell aus der künstlichen Intelligenz, das auf der Grundlage von künstlichen Neuronen arbeitet und sich an biologischen neuronalen Netzwerken orientiert. Diese Technologie ist im Bereich der Neuroinformatik angesiedelt und wird mit verschiedenen Lernverfahren trainiert, um spezifische Aufgaben zu erfüllen.
Die Geschichte neuronaler Netze reicht bis ins Jahr 1943 zurück und hat seitdem zahlreiche Entwicklungsphasen durchlaufen. Markante Meilensteine umfassen Lernregeln wie die Hebb’sche Lernregel und Algorithmen wie Backpropagation. In den letzten Jahrzehnten haben neuronale Netze in Wissenschaft und Technik zunehmend an Bedeutung gewonnen.
Die Struktur eines neuronalen Netzes kann variiert werden, um unterschiedliche Aufgabenstellungen zu bewältigen. Typische Netztopologien umfassen einschichtige und mehrschichtige Feedforward-Netze sowie rekurrente Netze, die über Rückkopplungen Informationen aus vorherigen Verarbeitungsschritten berücksichtigen können.
Es gibt diverse Lernverfahren, mit denen neuronale Netze trainiert werden können. Diese reichen von überwachtem Lernen, bei dem bekannte Zielwerte mit den berechneten Ausgaben verglichen werden, bis zu unüberwachtem und bestärkendem Lernen.
Während neuronale Netze in vielfältigen Anwendungsgebieten wie Bild- und Texterkennung oder Regelungstechnik eingesetzt werden, gibt es auch Herausforderungen. Dazu gehören Optimierungsprobleme, die Schwierigkeit bei der Sammlung geeigneter Trainingsdaten, begrenzte Nachvollziehbarkeit und das Risiko der Überanpassung.
Häufige Fragen und Antworten
Ein neuronales Netz ist ein Netzwerk aus künstlichen Neuronen und ein Teilgebiet der künstlichen Intelligenz. Es orientiert sich in Aufbau und Funktionsweise an natürlichen neuronalen Netzen, bildet diese aber nicht detailgetreu nach. Vielmehr handelt es sich um ein abstraktes Modell der Informationsverarbeitung. Künstliche neuronale Netze werden unter anderem in der Neuroinformatik erforscht und eingesetzt.
Ein neuronales Netz besteht aus künstlichen Neuronen, die meist in Schichten angeordnet sind. Die Anzahl der Schichten und Neuronen pro Schicht hängt von der Aufgabe des Netzes ab. Die Neuronen sind über gewichtete Verbindungen miteinander verbunden. Während der Trainingsphase werden diese Gewichte angepasst, damit das Netz in den Daten relevante Zusammenhänge erlernen und auf neue Eingaben anwenden kann.
Es gibt verschiedene Lernverfahren für neuronale Netze. Beim überwachten Lernen erhält das Netz Eingaben und bekannte Zielwerte. Die Gewichte an den Verbindungen werden angepasst, um die Abweichung zwischen gewünschter und berechneter Ausgabe zu verringern. Beim unüberwachten Lernen ermittelt das Netz Strukturen und Muster aus den Eingabedaten, ohne dass Zielwerte vorgegeben sind. Bestärkendes Lernen basiert dagegen auf Belohnungen und negativen Rückmeldungen, anhand derer ein System geeignete Handlungen erlernt.
