Ein grundlegendes Problem der Robotik ist die Frage, wie man einen Roboter so programmieren kann, dass er mit seiner begrenzten Ausstattung eine Aufgabe erfüllt. Die klassische Robotik löst dieses Problem durch die sorgfältige Entwicklung miteinander verbundener Module. Der größte Nachteil ist, dass dieser Ansatz arbeitsintensiv ist und bei unstrukturierten Umgebungen und Beobachtungen nahezu unmöglich wird. Anstelle der manuellen Entwicklung kann man ausschließlich Black-Box-Modelle und Daten verwenden. In diesem Paradigma ersetzen vernetzte tiefe Netzwerke alle Module der klassischen Robotik. Die Parameter des Netzwerks werden mit Hilfe von Reinforcement Learning oder self-supervised Kostenfunktionen gelernt, die die Zukunft vorhersagen.

In dieser Arbeit wollen wir zeigen, dass sich diese beiden Ansätze der klassischen Technik und der Black-Box Deep Networks nicht gegenseitig ausschließen. Man kann Erkenntnisse aus der klassischen Robotik auf die Black-Box Deep Networks übertragen und so bessere Lernalgorithmen für Robotik und Steuerung erhalten. Um zu zeigen, dass die Einbeziehung von vorhandenem Wissen in Form von Inductive Biases in maschinelle Lernalgorithmen die Leistung verbessern kann, stellen wir drei verschiedene Algorithmen vor: (1) Der Differentiable Newton Euler Algorithm (DiffNEA) interpretiert die klassische Systemidentifikation von starren Körpern neu. Durch den Einsatz von automatischer Differenzierung, virtuellen Parametern und gradientenbasierter Optimierung garantiert dieser Ansatz physikalisch konsistente Parameter und lässt sich auf eine größere Klasse dynamischer Systeme anwenden. (2) Deep Lagrangian Networks (DeLaN) kombiniert tiefe Netzwerke mit Lagrangescher Mechanik, um dynamische Modelle zu lernen, die Energie sparen. Die Verwendung von zwei Netzwerken zur Darstellung der potentiellen und kinetischen Energie ermöglicht die Berechnung eines physikalisch plausiblen dynamischen Modells unter Verwendung der Euler-Lagrange-Gleichung. (3) Robust Fitted Value Iteration (rFVI) nutzt die kontroll-affine Dynamik mechanischer Systeme, um die Value Iteration auf das adversarische Reinforcement Learning mit kontinuierlichen Aktionen auszuweiten. Der daraus resultierende Ansatz ermöglicht die Berechnung der optimalen Strategie, die robust gegenüber Änderungen in der Dynamik ist.

Jeder dieser Algorithmen wird an physikalischen Systemen evaluiert und mit den klassischen Engineering- und Deep-Learning-Baselines verglichen. Die Experimente zeigen, dass die Inductive Biases die Leistung im Vergleich zu Black-Box Deep Learning Ansätzen erhöhen. DiffNEA löst Ball-in-Cup auf dem physikalischen Barrett WAM mit offline modellbasiertem Reinforcement Learning und nur vier Minuten an Daten. Die Deep-Networks-Modelle versagen bei dieser Aufgabe trotz der Verwendung von mehr Daten. DeLaN erhält ein Modell, das für die Energiesteuerung unteraktiver Systeme verwendet werden kann. Black-Box-Modelle können nicht angewandt werden, da sie nicht auf die Energie des Systems schließen können. rFVI lernt robuste Strategien, die das Furuta-Pendel und den Karrenmast hochschwingen können. Die rFVI-Politik ist robuster gegenüber Änderungen der Pendelmasse im Vergleich zu Deep Reinforcement Learning mit einheitlicher Domänenrandomisierung.

Zusammenfassend lässt sich sagen, dass diese Arbeit die Kombination von Vorwissen und Deep Learning vorstellt. Die vorgestellten Algorithmen zeigen, dass tiefe Netzwerke auf kreativere Weise als naive Input-Output-Mappings für dynamische Modelle und Strategien eingesetzt werden können. Im Vergleich zu den Deep-Learning-Baselines können die vorgeschlagenen Ansätze auf mehr Probleme angewendet werden und die Leistung verbessern.