Ein neuronales Netz ist ein Netzwerk aus künstlichen Neuronen. Diese sogenannten künstlichen neuronalen Netze sind ein Teilgebiet der künstlichen Intelligenz und Forschungsinhalt der Neuroinformatik. Da sich ein neuronales Netz in seinem Aufbau und seiner Funktionsweise an natürlichen neuronalen Netzen orientiert, ist der Ursprung neuronaler Netze in der Biologie zu finden. Jedoch sind künstliche neuronale Netze keine bloße Nachbildung natürlicher neuronaler Netze, vielmehr handelt es sich um abstrakte Modelle der Informationsverarbeitung.
Aufbau und Funktionsweise neuronaler Netze
Künstliche Neuronen wie Mc-Culloch-Pitts-Neuronen stellen die Grundlage neuronaler Netze dar. Wie genau ein neuronales Netz aufgebaut ist, hängt im Wesentlichen von der Aufgabe ab, die es erfüllen soll. Nach der Konstruktion des Netzes findet die sogenannte Trainingsphase statt. Während dieser Phase lernt das Netz, eine bestimmte Aufgabe zu lösen, wobei verschiedene Lernverfahren zur Anwendung kommen können. Zu diesen Lernverfahren zählen beispielsweise das Entwickeln neuer und das Löschen vorhandener Verbindungen sowie die Änderung der Gewichte an den Verbindungen zwischen den einzelnen Neuronen. Ein neuronales Netz ist eine Umsetzung des konnektionistischen Paradigmas, welches ein bestimmtes Verhalten als das Ergebnis der Interaktion verschiedener Komponenten ansieht. Hinsichtlich der Berechenbarkeit stellt ein neuronales Netz ein zur Turingmaschine äquivalentes Modell dar.
Geschichte neuronaler Netze
Die Anfänge neuronaler Netze gehen auf den Neurophysiologen Warren McCulloch und den Logiker Walter Pitts zurück. Bereits im Jahr 1943 beschrieben diese ein neuronales Netz, welches in der Lage war, jede arithmetische und logische Funktion zu berechnen. Im Jahr 1949 veröffentlichte der Psychologe Donald O. Hebb eine nach ihm benannte Lernregel – die Hebb’sche Lernregel -, die die Grundlage aller späteren Lernverfahren für neuronale Netze bieten sollte. 1951 konstruiert Marvin Minsky im Rahmen seiner Dissertation den Neurocomputer Snark, der jedoch nicht in der Praxis eingesetzt werden konnte. Der erste erfolgreiche Neurocomputer wird zwischen 1957 und 1958 von Charles Wightman und Charles Rosenblatt konstruiert. Rosenblatt formuliert im Jahr 1959 das Perceptron-Konvergenz-Theorem. Das erste kommerziell erfolgreiche neuronale Netz wird 1960 von Marcian E. Hoff und Bernhard Widrow vorgestellt, 1969 wird das Perceptron von Seymour Papert und Marvin Minsky mathematisch analysiert. Die im Rahmen dieser Analyse entdeckten Probleme führten jedoch zum vorläufigen Ende der Forschung im Bereich neuronaler Netze.
Im Jahr 1974 entwickelte Paul Werbos mit dem Backpropagation-Algorithmus ein Lernverfahren für neuronale Netze, das in der Lage war, die bestehenden Probleme zu beheben. In den folgenden Jahrzehnten gewannen künstliche neuronale Netze in den Bereichen Wissenschaft und Technik zunehmend an Bedeutung. Derzeit befasst sich die Forschung vor allem mit den sogenannten Spiking Neural Networks.
Struktur neuronaler Netzen
Ein neuronales Netz besitzt eine bestimmte Struktur, die als Topologie bezeichnet wird. Die Topologie des Netzes legt fest, wie viele Neuronen auf wie vielen Ebenen zu finden sind und auf welche Weise die einzelnen Neuronen miteinander verbunden sind. Die Darstellung eines neuronalen Netzes kann mit Hilfe eines Graphen erfolgen, wobei die Neuronen die Knoten und die Verbindungen die Kanten des Graphen bilden. Zwischen der Struktur des Netzes und dem verwendeten Lernverfahren gibt es einen engen Zusammenhang.
Zu den gängigsten Netztopologien zählen das einschichtige Feedforward-Netz, das mehrschichtige Feedforward-Netz und das rekurrente Netz. Das einschichtige Feedforward-Netz ist die einfachste Struktur für ein neuronales Netz. Diese Art von Netzen besitzt mit der Ausgabeschicht nur eine einzige Neuronenschicht. Mit der Feedforward-Eigenschaft ist gemeint, dass die Verarbeitung der Eingabe ausschließlich in Richtung der Ausgabeschicht und somit nicht zyklisch erfolgt. Ein mehrschichtiges neuronales Netz besitzt neben der Ausgabeschicht mindestens eine nicht sichtbare Neuronenschicht. Durch diese zusätzlichen Schichten sind mehrschichtige Feedforward-Netze in der Lage, auch komplexere Aufgaben zu lösen. Ein rekurrentes neuronales Netz besitzt im Gegensatz zu Feedforward-Netzen auch rückgerichtete Kanten, die als Rückkopplungen bezeichnet werden. Diese Rückkopplungen bewirken ein dynamisches Verhalten des neuronalen Netzes. Zudem wird das Netz mit einem Gedächtnis ausgestattet.
Lernverfahren für neuronale Netze
Um zu erreichen, dass ein neuronales Netz zu einem bestimmten Eingabemuster das entsprechende Ausgabemuster erzeugt, werden verschiedene Lernverfahren für künstliche neuronale Netze verwendet. Lernverfahren können in verschiedener Weise eingesetzt werden. Beim überwachten Lernen erhält das Netz ein Eingabemuster, zu dem das zugehörige Ausgabemuster bereits vorliegt. Diese „Musterlösung“ wird mit der vom Netz berechneten Ausgabe verglichen. Auf Grundlage dieses Vergleichs wird die Netzkonfiguration so lange verändert, bis die erwartete Ausgabe und die tatsächliche Ausgabe identisch sind. Die bekanntesten Lernverfahren für neuronale Netze, wie beispielsweise die Hebb’sche Lernregel, die Delta-Regel oder der Backpropagation-Algorithmus, gehören zu dieser Klasse von Lernverfahren. Steht zu einem Eingabemuster das entsprechende Ausgabemuster nicht zur Verfügung, dann kann ein bestärkendes Lernverfahren Anwendung finden. Auch beim unüberwachten Lernen steht ein entsprechender Ausgabewert dem Netz nicht zur Verfügung. Somit erfolgt der Lernvorgang ausschließlich durch die Eingabe des zu lernenden Musters. Entsprechend den jeweiligen Ausgabemustern verändert sich das neuronale Netz anschließend von selbst.
Anwendung und Grenzen neuronaler Netze
Aufgrund seiner besonderen Eigenschaften ist ein neuronales Netz vor allem für solche Anwendungen interessant, bei denen nur wenig oder kein explizites Wissen hinsichtlich des zu lösenden Problems vorliegt. Anwendungen dieser Art sind beispielsweise im Bereich der Bild– oder Texterkennung zu finden. Ein weiterer Anwendungsbereich für künstliche neuronale Netze ist die Regelungstechnik. In diesem Bereich kann ein neuronales Netz herkömmliche Regler ersetzen. Zudem ist ein neuronales Netz in der Lage, den Reglern Sollwerte vorzugeben, die mittels einer Vorhersage über den Prozessverlauf ermittelt wurden. Auch in technikfernen Bereichen finden neuronale Netze Anwendung. Die Früherkennung von Tornados oder die Prognose wirtschaftlicher Entwicklungen stellen Beispiele solcher technikferner Einsatzgebiete dar.
Jedoch ist die praktische Anwendung künstlicher neuronaler Netze noch immer mit Problemen verbunden, die aus den Nachteilen dieser Netze resultieren. So führt das Trainieren neuronaler Netze in der Regel zu nichtlinearen, hochdimensionalen Optimierungsproblemen. Diese Probleme sind nur schwer zu lösen, was daran liegt, dass oftmals nicht mit Sicherheit gesagt werden kann, ob ein globales oder ein lokales Optimum vorliegt. Auch das Sammeln geeigneter Trainingsdaten kann sich als schwierig und zeitaufwendig erweisen, so dass diese Daten unter Umständen manuell erzeugt werden müssen. Ein weiterer Nachteil ist das Problem der sogenannten Überanpassung. Damit ist gemeint, dass ein neuronales Netz dazu tendiert, die während der Trainingsphase präsentierten Daten auswendig zu lernen, ohne die zugrunde liegenden Muster zu erkennen. Um eine Überanpassung zu vermeiden, muss die Architektur des Netzes mit äußerster Vorsicht gewählt werden. Ein weiteres Problem betrifft die Kodierung der Trainingsdaten. Die Form, in der diese Daten vorliegen, bestimmt die Lerngeschwindigkeit in wesentlichem Maße, zudem hängt von der Kodierung der Daten ab, ob das dadurch repräsentierte Problem vom neuronalen Netz überhaupt gelernt werden kann.
Zusammenfassung
Ein neuronales Netz ist ein spezialisiertes Modell aus der künstlichen Intelligenz, das auf der Grundlage von künstlichen Neuronen arbeitet und sich an biologischen neuronalen Netzwerken orientiert. Diese Technologie ist im Bereich der Neuroinformatik angesiedelt und wird in verschiedenen Lernverfahren trainiert, um spezifische Aufgaben zu erfüllen.
Die Geschichte neuronaler Netze reicht bis ins Jahr 1943 zurück und hat seitdem zahlreiche Entwicklungsphasen durchlaufen. Markante Meilensteine umfassen die Erfindung von Lernregeln wie der Hebb’schen Lernregel und Algorithmen wie der Backpropagation. In den letzten Jahrzehnten haben neuronale Netze in Wissenschaft und Technik zunehmend an Bedeutung gewonnen.
Die Struktur eines neuronalen Netzes kann variiert werden, um unterschiedliche Aufgabenstellungen zu bewältigen. Typische Netztopologien umfassen einschichtige und mehrschichtige Feedforward-Netze sowie rekurrente Netze, die über Rückkopplungen und ein Gedächtnis verfügen.
Es gibt diverse Lernverfahren, mit denen neuronale Netze trainiert werden können. Diese reichen von überwachtem Lernen, bei dem eine bekannte Ausgabe mit der berechneten verglichen wird, bis zu unüberwachtem und bestärkendem Lernen.
Während neuronale Netze in vielfältigen Anwendungsgebieten wie Bild- und Texterkennung oder Regelungstechnik eingesetzt werden, gibt es auch Herausforderungen. Dazu gehören Optimierungsprobleme, die Schwierigkeit bei der Sammlung geeigneter Trainingsdaten und das Risiko der Überanpassung.
Häufige Fragen und Antworten
Was ist ein neuronales Netz?
Ein neuronales Netz ist ein Netzwerk aus künstlichen Neuronen und ein Teilgebiet der künstlichen Intelligenz. Es orientiert sich in Aufbau und Funktionsweise an natürlichen neuronalen Netzen und ist eine abstrakte Modellierung der Informationsverarbeitung. Künstliche neuronale Netze werden in der Neuroinformatik erforscht und eingesetzt.
Wie ist ein neuronales Netz aufgebaut?
Ein neuronales Netz besteht aus künstlichen Neuronen, die in Schichten angeordnet sind. Die Anzahl der Schichten und Neuronen pro Schicht hängt von der Aufgabe des Netzes ab. Die Neuronen sind über Verbindungen miteinander verbunden und die Gewichte dieser Verbindungen werden während der Trainingsphase angepasst. Dadurch ist das Netz in der Lage, bestimmte Aufgaben zu lösen.
Welche Lernverfahren gibt es für neuronale Netze?
Es gibt verschiedene Lernverfahren für neuronale Netze, darunter das überwachte Lernen, bei dem das Netz Eingabe- und Ausgabedaten erhält und die Gewichte an den Verbindungen angepasst werden, um eine gewünschte Ausgabe zu erzeugen. Beim unüberwachten Lernen erlernt das Netz Strukturen und Muster aus den Eingabedaten, ohne dass eine bekannte Ausgabe vorgegeben ist. Andere Lernverfahren wie das verstärkende Lernen basieren auf Belohnungssystemen und regen das Netz an, bestimmte Verhaltensweisen zu erlernen.