Das Lernen der Regelung von Robotern ohne menschliche Betreuung und zeitraubende spezifische Entwicklungsarbeit ist ein langwährender Traum in der Schnittstelle von Machine Learning und Robotik. Falls von Erfolg gekrönt, würde dies viele neue Anwendungsfälle eröffnen, wie zum Beispiel Soft Robotics, Mensch-Maschine-Interaktionen oder die schnelle Anpassung an neuartige Aufgaben oder neue robotische Systeme. Getrieben ist dieser Traum von unüberwindbaren Limitierungen klassischer Regelungsverfahren, wie der Beschränkung auf niedrigdimensionale Zustandsräume. Als Alternative zu klassischen Regelungsverfahren benötigt Reinforcement Learning kein Vorwissen über etwaige Roboterdynamiken und zusammen mit Deep Learning Methoden öffnet es die Tür zur Verwendung hochdimensionaler Sensorinformation wie Kameras oder Behrüngssensoren. Trotz dieser Versprechungen hat Reinforcement Learning (RL) bisher nur begrenzten Erfolg in der Regelung von echten Robotern aufgrund seiner Datenineffizienz (unter anderem). Modellbasierte Methoden versprechen hier Abhilfe zu schaffen, setzen aber die Erstellungen eines präzisen Simulators voraus. Eben diese kommt allerdings bereits mit vielen der Herausforderungen, die auch klassische Regelungsverfahren unterlegen sind, und daher sind sie keine ideale Option, wenn man tatsächlich universelle Methoden zur Regelung entwickeln möchte. Stattdessen erscheint das Lernen eines Solchen die eigentliche Lösung. Ein gelernter Zustandsraum kann hochdimensionale Sensoren kompakt darstellen, während er immernoch alle Informationen beinhaltet, die für die Vorhersage und Regelung von Bedeutung sind. In dieser Arbeit zeigen wir, wie man Systemidentifikation von komplexen und nicht-linearen Systemen basierend auf hochdimensionalen Sensordaten durch allgemeine Lernverfahren bewerkstelligen kann. Trotz ihrer Komplexität sind solche Systeme oft durch eine Anzahl an linearen Systemen gut zu approximieren - falls man den Zustandsraum entsprechend aufteilen kann. Dieser Mechanismus erlaubt uns nicht nur eine gute Approximation der Dynamik zu finden, er gibt uns auch Einsicht in das zugrundeliegende System. Mittels Variational Inference, Deep Learning und einer kontinuierlichen Approximation diskreter Zufallsvariablen, zeigen wir, wie man eine interpretierbare Zustandsraumdarstellung lernt, die Konzepte wie Geschwindigkeit und Beschränkungen durch Wände aus hochdimensionalen und unvollständigen Beobachtungen explizit extrahiert. In Szenarien mit zeitvarianten Systemdynamiken zeigen wir, wie unsere Methode die der Veränderung zugrundeliegenden, aber unbeobachteten, Systemvariablen, wie zum Beispiel Massen oder Längen in Robotiksimulationen, automatisch inferieren kann. Diese Inferenz geschieht dabei als Teil unseres gelernten Filters und ohne erneutes Anpassen der Modellparameter. Diese gelernte Zustandsraumdarstellung führt nicht nur zu einer verbesserten Vorhersagefähigkeit, sondern stellt sich auch als gute Informationsquelle für eine gelernte Policy heraus. Aufbauend auf dieser Arbeit zeigen wir, wie man diese Methode verwenden kann, um echte Roboterdynamiken zu approximeren - wie die einer selbst gebauten Drohne und die eines Roboterarms. Kein Vorwissen über die Flugdynamik oder die Kinematik wird vorausgesetzt. Darauf aufgesetzt zeigen wir, wie man eine parametrisierte Policy und Value Function damit optimieren kann; ganz allein basierend auf simulierten Erfahrungen und deren Gradienten. Solch eine gelernte Policy kann eine Drohne zu einem bestimmten Ort fliegen oder den Endeffektor eines Roboterarms an einen zufälligen kartesischen Ort durch direkte Kontrolle der Gelenke fahren. Das Ganze wird erreicht mit unter einer Stunde an Erfahrungen in der echten Welt. Die gelernte Policy ist ausschließlich im gelernten Simulator optimiert und kann auf die echte Welt ohne weitere Veränderungen erfolgreich übertragen werden. Anschließend schlagen wir ein neuartiges Kriterium zur Exploration für autonome Agenten vor: Empowerment Gain. Anders als andere Explorationskriterien umfasst diese Methode die komplette Wahrnehmungs-Handlungs-Schleife, sowie die aktuellen Handlungsfähigkeiten eines Agenten. Perspektivisch wird diese Methode uns helfen Zustandsraumdarstellungen zu lernen, die tatsächlich relevant für die Regelung von Systemen sind. Eine Schlüsselbeobachtung dieser Arbeit ist, dass wir kein Modell der Welt in ihrer Gesamtheit lernen müssen, wir benötigen lediglich ein Modell, dass uns erfolgreiche Interaktion mit der Umwelt erlaubt. Wir vergleichen dieses Kriterium zu bekannten Kriterien wie Novelty Seeking, Surprise Maximization oder Learning Progress und zeigen auf, wie es jene, in einer gewissen Weise, beinhaltet. Während unsere Methode weiterhin garantiert den gesamten Beobachtungsraum zu erforschen, bevorzugt sie jene Bereiche, in der ein Agent mehr potenziellen Einfluss auf die Welt entwickeln kann. Schlussendlich geben wir in dieser Arbeit eine Antwort zu drei großen Fragen: (1) wie lerne ich Zustandsraumdarstellungen basierend auf beliebigen Sensordaten, (2) wie verwende ich diese Darstellung zur Regelung und (3) welche Teile der Welt muss ich eigentlich explorieren und modellieren. Während der letzte Teil in der konzeptuellen und theoretischen Phase verweilt, demonstrieren wir die ersten beiden Antworten in der echten Welt auf zwei ganz unterschiedlichen Systemen. Obwohl wir eine erfolgreiche Anwendung auf zwei konkreten Systemen beleuchten, sind die entwickelten Methoden sehr allgemein gehalten und deutlich genereller anwendbar.