Ein künstlicher intelligenter Agent muss mit einer Vielzahl von Fertigkeiten ausgestattet sein, um unter uns in der Welt zu interagieren. Diese Voraussetzungen für intelligentes Verhalten können grob in zwei Hauptkategorien unterteilt werden, kognitive Fähigkeiten und physische Fertigkeiten. Die kognitiven Fähigkeiten beziehen sich auf das Verstehen und Problemlösen, wohingegen die physischen Fertigkeiten sich auf Bewegungen eines intelligenten Roboters in der echten Welt beziehen. In dieser Thesis untersuchen wir drei Forschungsfragen, die sich mit diesen verschiedenen Fertigkeiten beschäftigen. Konkret, wie kann einem Roboter neues Wissen auf eine natürliche Art beigebracht werden? Wie können Neuronale Netzwerke abstrakte Lösungsstrategien lernen, die unabhängig von der Komplexität der Aufgabe, der Datenrepräsentation und dem Aufgabengebiet sind? Wie kann ein Roboter seine Bewegungen effizient während ihrer Ausführung mit einem biologisch-inspiriertem stochastischem Neuronalen Netzwerk anpassen? Diese Fragen umfassen Kernanforderungen an intelligente autonome Agenten, welche wir als Verstehen-Berechnen-Anpassen kategorisieren, in Anlehnung an das klassische Sense-Plan-Act Modell in der Robotik. Um diese Fragen zu beantworten, untersuchen wir die Fähigkeiten von Neuronalen Netzwerken basierten Modellen im Bezug auf diese kognitiven und physischen Fertigkeiten.

Im Detail, die erste Frage beschäftigt sich mit der Fähigkeit des Erkennens, welche sich auf ein Verstehen der Welt bezieht und welche durch das Lernen eines Sets von Fertigkeiten aus unmarkierten Demonstrationen von vollständigen Aufgabenausführungen untersucht wird. Hierfür haben wir die Aufgabe der Segmentierung von Trajektorien und das Lernen einer Fertigkeiten Bibliothek studiert. Für eine natürliche Schnittstelle um einem Roboter neue Aufgaben beizubringen, ist es wünschenswert dass der Benutzer nur die vollständige Aufgabe demonstrieren muss, ohne sich über alle für die Aufgabe benötigten Fertigkeiten Gedanken machen zu müssen und ohne händisch die Demonstrationen markieren zu müssen. Solch eine Schnittstelle erlaubt es nicht nur Nicht-Experten das unterrichten von Robotern, sondern stellt auch eine günstigere Möglichkeit des Unterrichtens von Robotern da, denn das Demonstrieren von allen einzelnen Fertigkeiten oder das händische Segmentieren und Markieren von Demonstrationen ist zeitaufwendig und teuer. Die hier vorgestellte Methode lernt gleichzeitig Trajektorien zu segmentieren und die benötigte Fertigkeiten Bibliothek von unmarkierten Demonstrationen. Zusätzlich zu dieser Segmentierung und Entdeckung von Fertigkeiten, lernt die Methode auch das Zusammenspiel zwischen einzelnen Fertigkeiten, d.h. sie modelliert wie wahrscheinlich eine bestimmte Fertigkeit auf eine andere folgt. Dieses zusätzliche Wissen, oder Verständnis, kann zum Beispiel dafür genutzt werden, das menschliche Verhalten vorherzusagen, um ein intelligenteres adaptives Verhalten des Roboters in Mensch-Roboter Szenarien zu ermöglichen. Die Methode wurde erfolgreich mit mehreren verschiedenen Trajektorien Datensets mit unterschiedlicher Komplexität evaluiert.

Die zweite vorher erwähnte benötigte kognitive Fähigkeit, Problemlösen, bezieht sich auf die zweite Fragen und damit den Berechnen Schritt. Im Detail haben wir die Herausforderung des Lernens von algorithmischen Lösungen untersucht, d.h., das Lernen von abstrakten Strategien, die einfach auf unbekannte Probleminstanzen übertragen werden können. Dieses Übertragen von abstraktem Wissen und Lösungsstrategien auf neue Aufgabengebiete ist eine weitere wichtige Eigenschaft von intelligentem Verhalten. Hierzu untersuchten wir das Lernen von algorithmischen Lösungen, welche durch drei Anforderungen charakterisiert sind, die die abstrakte Natur der Lösung hervorheben: das Skalieren auf beliebige Konfigurationen und Komplexitäten von Aufgaben, und die Unabhängigkeit von sowohl der Datenrepräsentation als auch des Aufgabengebiets. Zu diesem Zweck haben wir ein neues Modell entwickelt, den Neural Harvard Computer, das auf Neuronalen Netzwerken mit externen Speichern basiert und dessen modularer Aufbau von der von Neumann und Harvard Architektur von modernen Computern inspiriert ist. Dieses Modell ermöglicht das Lernen von abstrakten algorithmischen Lösungen durch seinen modularen Aufbau und die Trennung des Informationsflusses in Daten und Kontrollsignale. Die algorithmischen Lösungen werden in einem verstärkendem Lernen Szenario gelernt und operieren ausschließlich auf den Kontrollsignalen, was die Unabhängigkeit von der Datenrepräsentation und des Aufgabengebiets ermöglicht. Die Generalisierungs- und Abstraktionsfähigkeiten des Modells wurde durch das Lernen von 11 verschiedenen Algorithmen evaluiert, bei denen das Modell verlässlich algorithmische Lösungen mit perfekter Generalisierung und Abstraktion gelernt hat. Dies ermöglicht Probleme mit einer deutlich höheren Komplexität zu Lösen als während des Lernens und das Übertragen auf neue Repräsentationen und Aufgabengebiete.

Letztendlich muss ein intelligenter Roboter in der echten Welt interagieren, was sich auf den dritten Schritt Anpassen bezieht, die Frage nach effizienter Onlineanpassung. Um mit der komplexen, dynamischen und oft unstrukturierten echten Welt zurecht zu kommen, zusätzlich zum Beschäftigen mit anderen Agenten und Menschen, muss der Agent die Fähigkeiten haben seine Modelle und Bewegungen während der Interaktion anzupassen. Diese Onlineanpassung gehört zu den erwähnten physischen Fertigkeiten, die für intelligentes Verhalten nötig sind. Zusätzlich muss diese Onlineanpassung effizient im Bezug auf die Anzahl der physischen Interaktionen und Aufgabenunabhängig sein, da nicht jede Situation vorhergesehen werden kann wenn der Agent oder das Modell konstruiert werden. In dieser Thesis studieren wir die Onlineanpassung mit einem biologisch inspiriertem feuerndem Neuronalem Netzwerk, welches Bewegungen generiert indem es seine inhärente Dynamik simuliert. Die zugrundeliegenden stochastisch feuernden Neuronen imitieren das Verhalten von Ortszellen im Hippocampus und ihre dekodierte Aktivität repräsentiert die geplante Bewegung. Aufgabenunabhängige Anpassung wird durch intrinsische Motivationssignale erreicht, welche durch kognitive Dissonanz inspiriert sind und die das Lernen steuern. Diese Signale messen den Unterschied zwischen der Erwartung des Agenten von der Welt (das aktuelle Modell) und die Beobachtung der tatsächlichen Welt, und die Onlineanpassung wird durch diese Ungleichheit ausgelöst und gesteuert. Sample-Effizienz wird durch eine mentale Wiederholungsstrategie erreicht, die widerfahrende Situationen verstärkt, und welche durch die inhärente Stochastizität des Modells implementiert ist. Wir haben das Modell zur Onlineanpassung und Bewegungsgenerierung mit einem anthropomorphen KUKA LWR Roboterarm evaluiert, wobei der Roboter sich an unbekannte Hindernisse anpassen musste während er die Aufgabe hatte Wegpunkten zu folgen. Die Onlineanpassung erfolgte innerhalb von Sekunden und von wenigen physischen Interaktionen, während der durchgehenden Interaktion mit der Umgebung.

Zusammengefasst untersucht diese Thesis drei Schlüsselaspekte von intelligentem Verhalten im Bezug auf kognitive und physische Fähigkeiten. Im Detail untersuchten wir wie auf Neuronalen Netzwerken basierte Modelle benutzt werden können, um die vom Lernen zu Verstehen, über Lernen zu Berechnen, bis hin zu Lernen Anzupassen gestellten Forschungsfragen zu untersuchen. Dabei hat jedes Thema seine eigenen Anforderungen an das Neuronale Netzwerk und die benutzten Lernmethoden. Diese Modularität und Diversität von Teilroutinen ist ein entscheidender Aspekt, um künstliche Intelligenz zu erschaffen.