Die ersten Schritte zur Verwendung von mobilen Robotern zur Durchführung von Manipulationsaufgaben in entfernten Umgebungen sind in jüngster Zeit möglich gemacht worden. Dies eröffnet neue Möglichkeiten für Forschung und Entwicklung, da Roboter dem Menschen helfen können, Aufgaben in vielen Szenarien durchzuführen. Ein entfernter Roboter kann als Avatar in Anwendungen, wie zum Beispiel für medizinische oder industrielle Nutzung, in Rettungsaufgaben, die gefährliche Umgebungen für Menschen darstellen können, sowie für weiter entfernte Szenarien wie planetare Exploration verwendet werden. Bei den typischsten Anwendungen der letzten Jahre war die Forschung zum Einsatz von Robotern zur Minderung von Katastrophenszenarien von großem Interesse im Bereich der Robotik.

Katastrophenszenarien stellen Herausforderungen dar, die man in Angriff nehmen muss. Ihre unstrukturierte Natur macht es schwierig, sie vorherzusagen, und obwohl einige Annahmen für menschlich gestaltete Szenarien gemacht werden können, gibt es keine Gewissheit über die erwartbaren Bedingungen. Kommunikation mit einem Roboter in diesen Szenarien könnte ebenfalls problematisch sein; Drahtgebundene Kommunikation begrenzt Erreichbarkeit und drahtlose Kommunikation ist durch Bandbreite begrenzt. Trotz der großen Fortschritte in der Robotik-Forschung limitieren diese Schwierigkeiten die derzeitigen Ansätze für autonomen Roboter, um effizient in unstrukturierten entfernten Szenarien zu funktionieren. Auf der einen Seite ist es immer noch ein ungelöstes Problem, physikalische und abstrakte Informationen von unbekannten Objekten autonom in unkontrollierten Umgebungsbedingungen zu erlangen. Mehrere Herausforderungen müssen überwunden werden, wie unter anderem die Objekterkennung, die Planung, die Manipulation und die Missionsplanung. Auf der anderen Seite erfordern reine teleoperierte Roboter eine zuverlässige Kommunikationsverbindung, die eine robuste Erreichbarkeit, Bandbreite und Latenz hat und alle notwendigen Rückmeldungen liefern kann, die ein menschlicher Bediener benötigt, um ein ausreichend gutes Situationsbewusstsein zu erreichen, z. B. Weltmodell, Roboterzustand, Kräfte und wirkende Drehmomente. Die Verarbeitung dieser Informationsmenge und die notwendige Schulung zur Durchführung von Gelenkbewegungen mit dem Roboter stellen eine hohe geistige Arbeitsbelastung für den Bediener dar, die zu sehr geringen Ausführungszeiten führt. Zusätzlich ist ein reiner teleoperierter Ansatz fehleranfällig, da der Erfolg in einer Manipulationsaufgabe stark von der Fähigkeit und dem Fachwissen des menschlichen Bedieners des Roboters abhängt. Sowohl autonome als auch teleoperierte Roboteransätze haben Vor- und Nachteile. Aus diesem Grund ist ein Ansatz entwickelt worden, der beide Welten miteinander vereint.

In einem Ansatz, bei dem ein Mensch einen semi-autonomen Fernroboter überwacht, können die Stärken von beiden, vollen autonomen und rein teleoperierten Ansätzen kombiniert werden, während gleichzeitig ihre Schwächen angegangen werden können. Eine Fernmanipulationsaufgabe kann in Unteraufgaben wie Planung, Wahrnehmung, Aktion und Auswertung unterteilt werden. Eine ordnungsgemäße Verteilung dieser Unteraufgaben zwischen dem menschlichen Bediener und dem entfernten Roboter kann die Effizienz und das Potenzial des Erfolgs in einer Manipulationsaufgabe erhöhen. Ein Mensch kann einerseits eine Aufgabe planen (Planung), Objekte in den vom Roboter erfassten Sensordaten identifizieren (Wahrnehmung), und den Abschluss einer Aufgabe (Auswertung) validieren. Auf der anderen Seite ist es anspruchsvoll, im Gelenkraum ein Robotersystem wie einen humanoiden Roboter fernsteuern zu können, der leicht über 25 Freiheitsgrade haben kann. Aus diesem Grund werden bei diesem Ansatz die komplexen Teilaufgaben wie Bewegungsplanung, Bewegungsausführung und Hindernisvermeidung (Aktion) autonom vom entfernten Roboter durchgeführt. Mit dieser Aufteilung der Aufgaben entsteht die Herausforderung, die Absicht des Betreibers in eine Aktion des Roboters umzuwandeln.

Diese Arbeit untersucht Konzepte, wie eine flexible Interaktion zwischen der Intension des Bedieners und einen entfernten Roboter gestaltet werden kann. Während sich aktuelle Ansätze auf objektgreifzentrierte Ansätze konzentrieren, zielt diese Arbeit auf die Bereitstellung physikalischer und abstrakter Eigenschaften der betrachteten Objekte ab. Mit diesen Informationen kann der Roboter autonome Teilaufgaben durchführen, wie die Fortbewegung durch die Umgebung, das Greifen von Objekten und die Manipulation auf einem Affordanz-Level, wodurch Kollisionen mit der Umgebung vermieden werden, um die erforderliche Manipulationsaufgabe effizient beenden zu können.

Zu diesem Zweck wurde das Konzept der Objekt-Vorlage (OV) in dieser Arbeit entwickelt. Eine OV ist eine virtuelle Darstellung eines Objekts von Interesse, die Informationen enthält, die ein entfernter Roboter verwenden kann, um ein solches Objekt oder andere ähnliche Objekte zu manipulieren. Das hier vorgestellte OV-Konzept geht über aktuell verwendete Konzepte hinaus, indem es die Fähigkeiten des Roboters erweitert, um Affordanz-Informationen des Objekts zu nutzen. Dieses Konzept beinhaltet physikalische Informationen (Masse, Schwerpunkt, Trägheitstensor) sowie abstrakte Informationen (potentielle Griffe, Affordanzen und Nutzen). Da Menschen sehr gut darin sind, eine Situation zu analysieren und neue Wege zur Lösung von Aufgaben zu finden, sogar mit Objekten für unterschiedliche Zwecke, ist es wichtig, die Planung und die Wahrnehmung, die der Bediener durchführt, zu kommunizieren. So kann der Roboter die Aktion basierend auf den in der OV enthaltenen Informationen ausführen. Dies vereint die menschliche Intelligenz mit Roboterfähigkeiten. Beispielsweise kann als eine Implementierung in einer 3D-Umgebung eine OV als ein 3D-Geometriegitter visualisiert werden, das ein Objekt von Interesse simuliert. Ein Mensch kann die OV manipulieren und verschieben, so dass sie mit den visualisierten Sensordaten des realen Objekts überlappt. Informationen des OV-Typs und seiner Pose können komprimiert und gesendet werden, indem Kommunikation mit geringer Bandbreite verwendet wird. Dann kann der entfernte Roboter die Information der OV verwenden, um das reale Objekt anzunähern, zu erfassen und zu manipulieren.

Die Verwendung von entfernten humanoiden Robotern als Avatare wird voraussichtlich intuitiv für Operatoren (oder potentielle menschliche Rettungskräfte) sein, da die kinematischen Ketten und Freiheitsgrade dem Menschen ähnlich sind. Dies ermöglicht es Bedienern, sich in der entfernten Umgebung zu orientieren und eine Lösung für eine Aufgabe zu finden, wobei die notwendigen Aufgabenanforderungen, wie spezielle Werkzeuge, dann eventuell nicht gefunden werden können. Aus diesem Grund ist auch ein flexibles Interaktionsverfahren erforderlich, das die Improvisation des Betreibers berücksichtigen kann. In diesem Ansatz wird die Improvisation als "eine Änderung eines Plans zur Erreichung einer bestimmten Aufgabe, abhängig von der aktuellen Situation" beschrieben. Eine menschliche Bedienperson kann dann improvisieren, indem sie die Vorteile von bekannten Objekten an neue unbekannte Objekte anpasst. Beispielsweise können durch Verwendung der in einer OV definierten Vorteile auf einem neuen Objekt, das ähnliche physikalische Eigenschaften aufweist oder dessen Manipulationsfähigkeiten derselben Klasse angehören, verwendet werden.

Die in dieser Arbeit vorgestellten experimentellen Ergebnisse bestätigen den vorgeschlagenen Ansatz, indem sie das erfolgreiche Erreichen mehrerer Manipulationsaufgaben mit Objekt-Vorlagen demonstrieren. Systematische Laborexperimente wurden durchgeführt, um die einzelnen Aspekte dieses Ansatzes zu bewerten. Die Leistung des Ansatzes wurde in drei verschiedenen humanoiden Robotersystemen getestet (einer dieser Roboter gehört einem anderen Forschungslabor). Diese drei Roboterplattformen nahmen auch am renommierten internationalen Wettbewerb DARPA Robotics Challenge (DRC) teil, der zwischen 2012 und 2015 als der ehrgeizigste und herausforderndste Roboterwettbewerb angesehen wurde.