Roboter sind ein immer größer werdender Teil unseres täglichen Lebens. Sie übernehmen einfache Aufgaben im Haushalt, wie Staubsaugen und Rasenmähen. Sie ermöglichen einen stabilen und zuverlässigen Ablauf an vielen Arbeitsplätzen in Großbetrieben, wie in der Automobil und Elektronik Branche. Darüber hinaus werden Roboter in der Gesellschaft immer mehr akzeptiert, wie zum Beispiel Systeme für das autonome Fahren. Roboter fangen sogar an in die Betreuung von Senioren und Bedürftigen vorzudringen, um eine Lücke zu schließen die durch eine schnell alternde Gesellschaft geschaffen wird. Zusätzlich erlauben die steigende Komplexität und Leistungsfähigkeit moderner Robotersysteme immer schwerere Aufgaben in immer komplizierter werdenden Szenarien und Umgebungen zu lösen. Bald wird das Antreffen und Interagieren mit Robotern als so natürlich angesehen wie das interagieren mit Menschen.

Wenn es hingegen darum geht das Verhalten von Robotern zu definieren und zu verstehen, werden immer noch experten benötigt. Roboter folgen üblicherweise vordefinierten Routinen, die von Menschen mit jahrelanger Erfahrung programmiert und abgestimmt wurden. Unbeabsichtigtes Verhalten wird zu einer bestimmten stelle im Quellcode zurückverfolgt und kann durch kann durch das anwenden einer bestimmten Programmiersprache angepasst werden. Die meisten Menschen, die in der Zukunft mit Roboter-Haushältern und -Mitarbeitern werden interagieren werden, werden jedoch nicht über die benötigten Fähigkeiten verfügen um Roboter in solchem Detail zu instruieren. Diese Abhängigkeit von Experten stellt eine wesentliche Hürde für den Einsatz von Robotern als unsere täglichen Begleiter im Haushalt und auf der Arbeit da. Diese Dissertation präsentiert mehrer neue Ansätze, die das Ziel verfolgen die Interaktion zwischen Nicht-Experten und Robotern. Im Fokus stehen hier die Instruktion und das Verstehen der Roboter Fähigkeiten bezüglich gegebener Aufgaben.

Kapitel 3 stellt eine neue Methode vor, die ungelabelte Demonstrationen in Sequenzen von Bewegungsprimitiven segmentiert und gleichzeitig eine Bibliothek von Primitiven lernt. Diese Methode erlaubt es einem Nicht-Experten eine gesamt Aufgabe zu demonstrieren anstelle jedes einzelnen primitives. Bewegungsprimitive repräsentieren eine einfache, atomare und üblicherweise parametrisierte Bewegung. Die präsentierte Methode segmentiert jede Demonstration, indem sie ähnliche, wieder auftretende Muster über alle Demonstrationen hinweg identifiziert und diese als Zufallsvariable einer stochastischen Repräsentation eines Bewegungsprimitivs behandelt. Die Methode ist als ein Expectation-Maximization Ansatz formuliert und wurde in mehreren Aufgaben evaluiert, inklusive dem Zusammenbau eines einfachen Stuhls und das segmentieren von Tischtennis Demonstrationen.

In Kapitel 4 werden die zuvor segmentierten Demonstrationen und die gelernten Primitive dazu genutzt, formale Grammatiken für Bewegungsprimitive zu lernen. Formale Grammatiken sind ein etabliertes Konzept zur Analyse formaler Sprachen und wurden in diversen Gebieten angewendet, beginnend in der Linguistik, über Compiler Architektur bis hin zur Robotik. Die einfachste Klasse der Grammatiken, reguläre Grammatiken, stimmen in ihrer stochastischen form mit Hidden Markov Modellen überein. Die intuitive, hierarchische Repräsentation der Transitionen als Regeln hingegen, vereinfacht es Nicht-Epxperten das von der Grammatik beschrieben Verhalten zu verstehen. Eine Sequenz von Bewegungen kann nun als ein von einer Grammatik produzierter Satz betrachtet werden. Die Produktion jedes Satzes kann durch eine Baumstruktur, Parse Tree, dargestellt werden, was ein einfaches Verstehen der beteiligten Regeln erlaubt. stochastische kontextfreie Grammatiken sind eine Übermenge der regulären Grammatiken und sind daher ebenfalls ausdrucksstärker als Hidden Markov Modelle. Das Lernen von stochastische kontextfreie Grammatiken für natürliche Sprachen gilt als schweres, ungelöstes Problem. Allerdings, zeigen Sequenzen von Bewegungsprimitiven wesentlich simplere Strukturen auf, die das Lernen von Grammatiken erleichtern. Die präsentierte Methode wurde erfolgreich auf verschiedenen Aufgaben evaluiert, wie zum Beispiel das Platzieren von Spielsteinen in einem Tic-Tac-Toe Szenario oder das Übergeben von Teilen beim Zusammenbauen einer Holzkiste.

Kapitel 5 führt das Konzept des Reinforcement Learning in das Gebiet der formalen Grammatiken ein. Wir wenden den Natural Policy Gradient Ansatz an um die Grammatik Parameter zu lernen die Sequenzen produzieren die wiederum eine gegeben Ausgabe lösen. Dies erlaubt das selbständige verbessern des Roboter-Verhaltens. Zum Beispiel, eine Aufräum-Aufgabe kann auf Effizienz optimiert werden, während Selbstkollisionen des Roboters vermieden werden. Die Grammatik Parameter entsprechen den Wahrscheinlichkeiten der Produktionen einer jeden Regel. Daher muss sicher gestellt werden dass die Wahrscheinlichkeits Bedingungen eingehalten werden, während die Parameter gelernt werden. Die angewendete Natural Policy Gradient Methode garantiert genügend kleine Parameter Anpassungen, dass die Parameter graduell angepasst werden. Wir leiten die Natural Policy Gradient Methode für Formale Grammatiken her und evaluieren sie auf mehreren Aufgaben.

Zusammen bilden die in dieser Dissertation vorgestellten Ansätze eine Imitation Learning Pipeline die das Instruieren, Interagieren und Kollaborieren mit Robotern vereinfacht. Ausgehend von ungelabelten Demonstration wird eine Bibliothek von Bewegungsprimitiven gelernt, während die Demonstrationen zeitgleich in Sequenzen von Primitiven segmentiert werden. Diese Sequenzen werden dann genutzt um eine Formale Grammatik für Bewegungsprimitive zu lernen. Die Struktur der Grammatik und die entsprechenden Parse Trees formen eine verständliche Repräsentation der Roboter-Fähigkeiten bezüglich einer gegebenen Aufgabe. Abschließend ermöglicht ein Reinforcement Learning Ansatz die selbstständige Optimierung der Grammatik hinsichtlich einer gegebenen Zielfunktion.