Maschinelles Lernen und seine verschiedenen Anwendungen haben Innovationen in der Robotik, der synthetischen Wahrnehmung und der Datenanalyse vorangetrieben. Vor allem in den letzten zehn Jahren ist das Interesse an der Erforschung und Entwicklung künstlicher Intelligenz explosionsartig gestiegen, und in einigen Bereichen wurden sie bereits erfolgreich eingeführt und eingesetzt. Eine wichtige Triebkraft hinter diesen Fortschritten war die Fülle an Daten und die Entwicklung einfacher Berechnungsmodelle und Werkzeuge, die bis zu massiven Lernautomaten skaliert werden können. Monolithische neuronale Netze mit Milliarden von Parametern, die auf automatischer Differenzierung beruhen, sind ein Paradebeispiel für die bedeutende Rolle, die effiziente Berechnungen bei der Verbesserung der Fähigkeit etablierter Darstellungen zur Extraktion intelligenter Muster aus unstrukturierten Daten gespielt haben.

Trotz der Fortschritte, die in den digitalen Bereichen der Bildverarbeitung und der Verarbeitung natürlicher Sprache gemacht wurden, hinken Anwendungen der optimalen Steuerung und der Robotik deutlich hinterher und waren nicht in der Lage, von den neuesten Trends des maschinellen Lernens in gleichem Maße zu profitieren. Diese Diskrepanz lässt sich durch die begrenzte Übertragbarkeit von Lernkonzepten, die auf vollständiger Differenzierbarkeit beruhen, auf stark strukturierte physische und menschliche Interaktionsumgebungen erklären, ganz zu schweigen von den erheblichen Kosten der Datengenerierung bei realen physikalischen Systemen. Diese Faktoren schränken daher den Anwendungsbereich von unstrukturierten, überparametrisierten Datenverarbeitungsmaschinen im mechanischen Bereich des Roboterlernens und der Robotersteuerung stark ein.

In dieser Arbeit werden Modellierungsparadigmen für hierarchische und schaltende Systeme untersucht, um einige der zuvor hervorgehobenen Probleme zu lösen. Diese Forschungsrichtung ist motiviert durch die Erkenntnisse der universellen Funktionsapproximation über lokal-kooperierende Einheiten und das Versprechen regularisierter Repräsentationen durch explizites Strukturdesign. Darüber hinaus erforschen wir Ideen aus der robusten Optimierung, die sich mit Problemen der Modellabweichung in statistischen Modellen befassen, und skizzieren, wie verwandte Methoden eingesetzt werden können, um die Traktabilität von Filterung in stochastischen Hybridsystemen zu verbessern.

In Kapitel 2 betrachten wir die hierarchische Modellierung für allgemeine Regressionsprobleme. Der vorgestellte Ansatz ist eine generative probabilistische Interpretation lokaler Regressionstechniken, die nichtlineare Funktionen durch einen Satz lokaler linearer oder polynomialer Einheiten approximieren. Die Anzahl der verfügbaren Einheiten ist bei solchen Modellen von entscheidender Bedeutung, da sie ein direktes Gleichgewicht zwischen der Repräsentationsfähigkeit und der parametrischen Komplexität herstellt. Diese Ambiguität wird durch die Anwendung von Prinzipien aus der Bayes'schen Nichtparametrik angegangen, um flexible Modelle zu formulieren, die ihre Komplexität an die Daten anpassen und potenziell eine unendliche Anzahl von Komponenten umfassen können. Um diese Repräsentationen zu erlernen, stellen wir zwei effiziente Variationsinferenztechniken vor, die gut mit den Daten skalieren und die Vorteile hierarchischer lokaler Regressionsmodelle hervorheben, wie z.B. den Umgang mit nicht-kontinuierlichen Funktionen, die Abschwächung katastrophalen Vergessens und die Ermöglichung von Paramaterteilung und schnellen Vorhersagen. Schließlich validieren wir diesen Ansatz auf große Datensätze der inversen Dynamik und testen die gelernten Modelle in realen Kontrollszenarien.

Kapitel 3 befasst sich mit der diskret-kontinuierlichen hybriden Modellierung und Steuerung stochastischer dynamischer Systeme, was den Umgang mit Zeitreihendaten voraussetzt. In diesem Szenario entwickeln wir eine automatische Systemidentifikationstechnik, die nichtlineare Systeme in hybride Automaten zerlegt, und nutzen die resultierende Struktur, um eine schaltende Rückkopplungssteuerung über hierarchisches Bestärkungslernen zu erlernen. Dabei stützen wir uns auf eine erweiterte Markov-Modell-Architektur für geschlossene Regelkreise, die Zeitkorrelationen über lange Horizonte erfasst und einen grundlegenden Bayes'schen Inferenzrahmen für das Lernen hybrider Repräsentationen und die Filterung der verborgenen diskreten Zustände bietet, um die Steuerung entsprechend anzuwenden. Schließlich betten wir diese Struktur in einen neuartigen hybriden Suchalgorithmus mit relativer Entropie ein, der eine Reihe von lokalen polynomialen Rückkopplungsreglern und Wertfunktionen optimiert. Wir validieren den Gesamtansatz des Schaltsystems, indem wir die Vorhersageleistung mit gängigen Black-Box-Darstellungen vergleichen. Wir liefern auch qualitative empirische Ergebnisse für hybrides Bestärkungslernen bei gängigen nichtlinearen Steuerungsaufgaben.

In Kapitel 4 widmen wir uns einem allgemeinen und grundlegenden Problem des Lernens für die Steuerung, nämlich der Robustheit bei datengesteuerter stochastischer Optimierung. Die Frage der Sensitivität hat angesichts der zunehmenden Popularität der Einbettung statistischer Modelle in stochastische Kontrollsysteme hohe Priorität. Allerdings sind die Daten dynamischer, insbesondere mechanischer Systeme aufgrund der hohen Erhebungskosten und der begrenzten Abdeckung des Zustands-Aktions-Raums oft knapp. Das Ergebnis sind in der Regel schlechte Modelle mit enger Gültigkeit und brüchigen Kontrollgesetzen, insbesondere in einem schlecht gestellten, überparametrisierten Lernbeispiel. Wir schlagen vor, die stochastische Steuerung zu robustifizieren, indem wir die schlimmstmögliche Verteilung über die Dynamik finden und eine entsprechende robuste Strategie optimieren, die die Wahrscheinlichkeit von katastrophalen Fehlern minimiert. Wir erreichen dieses Ziel durch die Formulierung eines zweistufigen iterativen Minimax-Optimierungsproblems, das den pessimistischsten Gegner in einer Trust-Region um ein nominales Modell findet und zur Optimierung eines robusten optimalen Reglers verwendet. Wir testen diesen Ansatz an einer Reihe von linearen und nichtlinearen stochastischen Systemen und liefern empirische Beweise für seine Praxistauglichkeit. Schließlich geben wir einen Ausblick darauf, wie ähnliche mehrstufige Optimierungstechniken bei der approximativen Filterung stochastischer Schaltsysteme angewendet werden können, um das Problem der exponentiellen Explosion von Zustandsmischungskomponenten zu lösen.

Zusammenfassend stellen die einzelnen Beiträge dieser Arbeit eine Sammlung von miteinander verbundenen Prinzipien für strukturiertes und robustes Lernen dar. Auch wenn noch viele Herausforderungen zu bewältigen sind, legt diese Arbeit den Grundstein, um über zukünftige Fragen des strukturierten Lernens nachzudenken, die darauf abzielen, die Perspektiven der optimalen Steuerung und des statistischen maschinellen Lernens für die automatische Dekomposition und Optimierung hierarchischer Modelle zu kombinieren.