Die optimale Steuerung von Robotern, Fahrzeugen oder industriellen Anlagen ist von entscheidender Bedeutung, da sie einen besseren, z.B. energieefizienteren oder schnelleren, Betrieb dieser Systeme erlaubt, als mit manuell erstellten Kontrollstrategien möglich ist. Die Theorie und numerischen Methoden der optimalen Steuerungen erlauben die Berechnung von Steuersignalen für hochdimensionale dynamische Systeme auf Grundlage mathematisch definierter, allgemeiner Zielvorgaben. Sie basiert auf mathematischen Modellen der nichtlinearen Systemdynamiken, welche in vielen Fällen in hoher Qualität für Roboter und Fahrzeuge verfügbar sind und üblicherweise auf den Gesetzen der Technischen Mechanik, insbesondere der Mehrkörperdynamik, beruhen (White-Box-Verfahren). Werden die berechneten optimalen Steuersignale jedoch auf realen Systemen ausgeführt, so führen Modell-Ungenauigkeiten oder unvorhergesehene Störungen von außen über kurz oder lang zu Abweichungen von der vorausberechneten Zustandstrajektorie. Dies motiviert die Suche nach einem optimalen Regler, der optimale Steuerungen nicht nur auf einem vorausberechneten Pfad oder einer Trajektorie des Systemzustands, sondern in Echtzeit für beliebige Systemzustände berechnet, sodass das geregelte System sich auch bei Störungen optimal verhält. Explizite Formulierungen optimaler Regler existieren nur für bestimmte Systeme, wie solchen mit linearer Dynamik und quadratischer Gütefunktion, aber nicht für beliebige Roboter mit typischerweise nichtlinearen Systemdynamiken. Im Gegensatz zu White-Box-Ansätzen, die auf expliziten mathematischen Modellen der Systemdynamik beruhen, basieren Verfahren des maschinellen Lernens auf datengestützten Black-Box-Modellen und können optimale Regler für allgemeinere Probleme mit nichtlinearen Systemdynamiken bestimmen. Allerdings hängen diese stark von den verwendeten Trainings-Szenarien ab, in welchen große Mengen an Trainingsdaten gesammelt werden. Sie können über diese Szenarien hinaus jedoch nicht gut verallgemeinern. White-Box-Ansätze hingegen sind oft auch in neuen Szenarien sehr gut anwendbar. Die Hauptmotivation dieser Dissertation ist die Untersuchung der Kombination von White-Box-Verfahren basierend auf der Theorie und Numerik optimaler Steuerungen und Black-Box-Verfahren des maschinellen Lernens, um von den Vorteilen beider Verfahren zu profitieren. Der Schwerpunkt liegt dabei auf dem Extremalfeld-Ansatz, bei welchem ein annähernd optimaler Regler aus einer Reihe optimaler Referenztrajektorien gelernt wird. Es nutzt die Vorteile maschineller Lernverfahren und gleichzeitig die Fähigkeit numerischer Optimalsteuerungslöser, Vorwissen über die Problemstruktur bei der Berechnung der optimalen Lösung zu berücksichtigen und nichtlineare Nebenbedingungen zu beachten. In dieser Arbeit werden die Referenztrajektorien iterativ von sorgfältig ausgewählten Startzuständen berechnet, um bei der Wahl eines Startzustands Informationen von bereits berechneten Trajektorien und dem aktuellen Modell der optimalen Regelung berücksichtigen zu können. Wegen des Fluchs der Dimensionalität (curse of dimensionality) ist es sehr schwierig, die hochdimensionalen Zustandsräume der Gelenkwinkel eines Roboters mit Trainingsdaten vollständig abzudecken, woraus die Notwendigkeit erwächst, sich auf kleinere Teilräume zu konzentrieren, welche für eine bestimmte Aufgabe relevant sind. Um das Problem, einen problemrelevanten Bereich des Gelenkwinkel-Raumes ausreichend und gleichzeitig effizient mit Daten abzudecken, zu adressieren, werden drei sich ergänzende Strategien zur Auswahl neuer Startzustände entwickelt. Diese verwenden Informationen von den numerischen Optimalsteuerungslösern, von bereits berechneten Trajektorien und Unsicherheits-Schätzungen, die zur aktuellen Approximation des Reglers verfügbar sind. Ferner wird der Ansatz vorgestellt, den gelernten Regler auf einen Proportional-Integral (PI)-Regler umzuschalten, sobald der Systemzustand in die Nähe des Zielzustands kommt, um das dynamische System um den Zielzustand zu stabilisieren, ohne diesen Bereich mit vielen Trainingsdaten abdecken zu müssen. Die Interpolation zwischen den optimalen Trajektorien zur Anpassung an die Regler ist ein wesentlicher Bestandteil des Extremalfeld-Ansatzes. Sie stellt spezifische Anforderungen an die Approximationsverfahren, welche in dieser Arbeit formuliert werden. Zwei gängige Methoden zur Funktionsapproximation, Gauß-Prozesse und künstliche neuronale Netze, werden hinsichtlich ihrer Eignung für die Approximation von optimalen Reglern auf Grundlage dieser Anforderungen verglichen und analysiert. Die Qualität der Approximation des optimalen Reglers im Extremalfeld-Ansatz kann sich verschlechtern, wenn Daten aus mehreren unterschiedlichen Lösungsclustern zusammengeführt werden, da die Approximationsmethode zwischen diesen verschiedenen Lösungen mit unterschiedlichen Strukturen direkt interpolieren und diese dadurch verwischen kann. Derzeitige Ansätze zum Clustern von Trajektorien, die zur Lösung dieses Problems verwendet werden können, basieren oft auf Lernverfahren oder verwenden punktweise euklidische Abstände zwischen zwei Trajektorien. Es wird ein regel-basierter Ansatz zum Clustern von Trajektorien entwickelt, der darauf beruht, charakteristische Merkmale aus den Graphen der Bewegungs-Trajektorien zu extrahieren, um daraus eine komprimierte Repräsentation der Trajektorie zu erstellen, welche dann in einem Distanzmaß für Zeichenketten verwendet werden kann. Die vorgeschlagenen Methoden werden an verschiedenen Robotermodellen mit nichtlinearer Dynamik in Simulationen (einschließlich eines detaillierten nichtlinearen Dynamikmodells eines Industrieroboterarms) und physikalischen Experimenten (Furuta-Pendelarm) evaluiert.