TU Darmstadt / ULB / TUbiblio

Towards Dexterous In-Hand Manipulation through Tactile Sensing

Fernandes Veiga, Filipe (2018)
Towards Dexterous In-Hand Manipulation through Tactile Sensing.
Technische Universität Darmstadt
Dissertation, Erstveröffentlichung

Kurzbeschreibung (Abstract)

Currently, robots display manipulation capabilities that translate into actions such as picking and placing objects or poring liquid from containers. For actions that require finer in-hand manipulation to reposition objects or to use them as tools, robots are still not proficient enough. These shortcomings become even more apparent when considering the ease with which humans perform such manipulations on a daily basis, and while these limitations are not addressed, robots can not truly aid humans with their daily activities.

The scope of possible interactions and the high dimensionality intrinsic to more dexterous robotic hands makes the manipulation problem hard to approach. Traditional control approaches to dexterous in-hand manipulation often work under the assumption that physical interactions, object properties, kinematics and dynamics of the robot can all be accurately modeled. Unfortunately, these modeling assumptions do not hold in most real environments, as uncertainty accumulates along the individual models. On the other hand, developing learning approaches that would generalize for all necessary manipulations proves difficult, as state spaces composed of the robots degrees of freedom and the necessary feedback channels often becomes too high dimensional and hence hard to explore.

For dexterous in-hand manipulation, one of the most notable differences when considering human and robotic systems is the role of tactile information. The human system is composed of thousands of tactile afferents that provide detailed information of what is occurring at each interaction point during the manipulation action. On the other hand, traditional robotic manipulation approaches often rely on vision or on force feedback, either lacking information collected directly at the contact interaction or the various forms of information provided provided by tactile feedback.

In this thesis, we explore tactile sensing as a means to bridge the gap in manipulation skills between humans and robots. We do so by assessing how to extract relevant feedback signals from the high dimensional tactile spaces, by exploring how to distribute the manipulation problem complexity onto modular components and to use these components to enable the use of powerful machine learning approaches, without loss of generalization capabilities.

Chapter 2 will cover the recovery of relevant feedback signals from the tactile sensory information. Here, the desired signal is the state of the interaction between the robot and the object, particularly the knowledge of events such as slippage between the object and the finger surface. Through the use of machine learning, we predict such slip events in a manner that is generalizable to unknown objects. The ability to predict tactile slip allows analytically designed control solutions to stabilize objects when using a single finger. This is showed for cases where the opposing contact on the object is provided either by a static plane or by a human finger.

In Chapter 3, we explore and extend a neurophysiological research hypothesis to the robotics domain. This hypothesis states that for stabilizing objects in-hand, digits can be controlled independently from each other, with no form of explicit coordination. Taking full advantage of the predictive slip feedback signals and ensuring smooth control responses by each of the finger controllers, we show that a stable grips on unknown objects emerge while controlling each digit independently. We show that coordination is achieved through the perturbations observed via the tactile feedback of each individual finger.

Finally, in Chapter 4, use the modular nature of the grip stabilization control to enable the learning of manipulation policies in a hierarchical control setting. Reinforcement learning is used to learn a high-level control layer that exploits a lower-level composed of modular controllers that ensure the objects remains within the grip while being manipulated. In addition, we show that such a hierarchy facilitates the transfer of high-level policies learned in simulation onto real systems by using the low-level as an abstraction of the tactile information.

Typ des Eintrags: Dissertation
Erschienen: 2018
Autor(en): Fernandes Veiga, Filipe
Art des Eintrags: Erstveröffentlichung
Titel: Towards Dexterous In-Hand Manipulation through Tactile Sensing
Sprache: Englisch
Referenten: Peters, Prof. Dr. Jan ; Santos, Prof. Veronica
Publikationsjahr: 31 Juli 2018
Ort: Darmstadt
Datum der mündlichen Prüfung: 22 Oktober 2018
URL / URN: https://tuprints.ulb.tu-darmstadt.de/9180
Kurzbeschreibung (Abstract):

Currently, robots display manipulation capabilities that translate into actions such as picking and placing objects or poring liquid from containers. For actions that require finer in-hand manipulation to reposition objects or to use them as tools, robots are still not proficient enough. These shortcomings become even more apparent when considering the ease with which humans perform such manipulations on a daily basis, and while these limitations are not addressed, robots can not truly aid humans with their daily activities.

The scope of possible interactions and the high dimensionality intrinsic to more dexterous robotic hands makes the manipulation problem hard to approach. Traditional control approaches to dexterous in-hand manipulation often work under the assumption that physical interactions, object properties, kinematics and dynamics of the robot can all be accurately modeled. Unfortunately, these modeling assumptions do not hold in most real environments, as uncertainty accumulates along the individual models. On the other hand, developing learning approaches that would generalize for all necessary manipulations proves difficult, as state spaces composed of the robots degrees of freedom and the necessary feedback channels often becomes too high dimensional and hence hard to explore.

For dexterous in-hand manipulation, one of the most notable differences when considering human and robotic systems is the role of tactile information. The human system is composed of thousands of tactile afferents that provide detailed information of what is occurring at each interaction point during the manipulation action. On the other hand, traditional robotic manipulation approaches often rely on vision or on force feedback, either lacking information collected directly at the contact interaction or the various forms of information provided provided by tactile feedback.

In this thesis, we explore tactile sensing as a means to bridge the gap in manipulation skills between humans and robots. We do so by assessing how to extract relevant feedback signals from the high dimensional tactile spaces, by exploring how to distribute the manipulation problem complexity onto modular components and to use these components to enable the use of powerful machine learning approaches, without loss of generalization capabilities.

Chapter 2 will cover the recovery of relevant feedback signals from the tactile sensory information. Here, the desired signal is the state of the interaction between the robot and the object, particularly the knowledge of events such as slippage between the object and the finger surface. Through the use of machine learning, we predict such slip events in a manner that is generalizable to unknown objects. The ability to predict tactile slip allows analytically designed control solutions to stabilize objects when using a single finger. This is showed for cases where the opposing contact on the object is provided either by a static plane or by a human finger.

In Chapter 3, we explore and extend a neurophysiological research hypothesis to the robotics domain. This hypothesis states that for stabilizing objects in-hand, digits can be controlled independently from each other, with no form of explicit coordination. Taking full advantage of the predictive slip feedback signals and ensuring smooth control responses by each of the finger controllers, we show that a stable grips on unknown objects emerge while controlling each digit independently. We show that coordination is achieved through the perturbations observed via the tactile feedback of each individual finger.

Finally, in Chapter 4, use the modular nature of the grip stabilization control to enable the learning of manipulation policies in a hierarchical control setting. Reinforcement learning is used to learn a high-level control layer that exploits a lower-level composed of modular controllers that ensure the objects remains within the grip while being manipulated. In addition, we show that such a hierarchy facilitates the transfer of high-level policies learned in simulation onto real systems by using the low-level as an abstraction of the tactile information.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Derzeit zeigen Roboter Manipulationsfähigkeiten, die Aktionen wie das Aufnehmen und Platzieren von Objekten oder das Ausschütten von Flüssigkeit aus Behältern ermöglichen. Für Aktionen, die eine feinere in-Hand Manipulation der Objekte erfordern, um diese neu zu positionieren oder als Werkzeuge zu verwenden, sind Roboter noch nicht geschickt genug. Diese Mängel werden noch deutlicher, wenn man bedenkt, mit welcher Leichtigkeit Menschen solche Manipulationen täglich durchführen, und während diese Einschränkungen nicht adressiert werden, können Roboter dem Menschen bei ihren täglichen Aktivitäten nicht in vollem Ausmaß helfen.

Der Umfang der möglichen Interaktionen und die hohe Dimensionalität, die geschickteren Roboterhänden innewohnt, macht es schwierig, sich dem Manipulationsproblem zu nähern. Traditionelle Steuerungsansätze zur geschickteren in-Hand Manipulation funktionieren oft unter der Annahme, dass physikalische Wechselwirkungen, Objekteigenschaften, Kinematik und Dynamik des Roboters genau modelliert werden können. Leider halten diese Modellierungsannahmen den meisten realen Umgebungen nicht stand, da sich die Unsicherheiten entlang der einzelnen Modelle aufsummieren. Andererseits erweist sich die Entwicklung von Lernansätzen, die für alle notwendigen Manipulationen verallgemeinern würden, als schwierig, da Zustandsräume, die sich aus den Freiheitsgraden der Roboter und dem notwendigen Feedback zusammensetzen, oft zu hochdimensional und damit schwer zu erforschen sind.

Die Rolle der taktilen Informationen, ist für die geschickte in-Hand Manipulation einer der auffalendsten Unterschiede bei der Betrachtung von menschlichen und robotischen Systemen. Das menschliche System besteht aus Tausenden von taktilen Afferenzen, die detaillierte Informationen darüber liefern, was an jedem Interaktionspunkt während der Manipulationsaktion passiert. Andererseits verlassen sich traditionelle robotergestützte Manipulationsansätze oft auf Visuelles oder Kräfte Feedback. Oft fehlen hierbei die Informationen die direkt an der Kontaktstelle gesammelt werden, oder die verschiedenen Formen von Informationen die durch taktiles Feedback bereitgestellt werden.

In dieser Arbeit untersuchen wir die taktile Sensorik als Mittel, um die Lücke in der Manipulationsfähigkeit zwischen Mensch und Roboter zu schließen, indem wir analysieren, wie man relevantes Feedback aus den hochdimensionalen taktilen Räumen extrahieren kann und indem wir erforschen wie man die Komplexität des Manipulationsproblems auf modulare Komponenten verteilt und diese Komponenten verwendet, um den Einsatz leistungsfähiger maschineller Lernansätze zu ermöglichen, ohne Verallgemeinerungsfähigkeiten zu verlieren.

Kapitel 2 behandelt die Rückgewinnung relevanten Feedbacks aus den taktilen sensorischen Informationen. Das gewünschte Signal ist hier der Zustand der Interaktion zwischen Roboter und Objekt, insbesondere die Kenntnis von Ereignissen wie z.B. den Schlupf zwischen Objekt und Fingeroberfläche. Durch den Einsatz von maschinellem Lernen prognostizieren wir solche Gleitereignisse in einer Weise, die für unbekannte Objekte verallgemeinerbar ist. Die Fähigkeit, taktilen Schlupf vorherzusagen, ermöglicht analytisch entwickelte Kontrolllösungen zur Stabilisierung von Objekten bei Verwendung eines einzigen Fingers. Dies wird für Fälle gezeigt, in denen der gegenläufige Kontakt auf dem Objekt entweder durch eine statische Ebene oder durch einen menschlichen Finger erfolgt.

In Kapitel 3 untersuchen und erweitern wir eine neurophysiologische Forschungshypothese auf den Bereich der Robotik. Diese Hypothese besagt, dass zur Stabilisierung von Objekten in der Hand, Finger unabhängig voneinander gesteuert werden können, ohne explizite Koordination. Wir nutzen die Vorteile des prädiktiven Schlupf Feddbacks voll aus und sorgen für eine stufenlose Steuerung durch jede der Fingersteuerungen. Wir zeigen, dass stabile Griffe auf unbekannten Objekten entstehen, während jeder Finger unabhängig voneinander gesteuert wird. Wir zeigen, dass die Koordination durch die beobachteten Störungen über das taktile Feedback jedes einzelnen Fingers erreicht wird.

Schließlich, in Kapitel 4, verwenden Sie die modulare Natur der Griffstabilisierungs Kontrolle, um das Erlernen von Manipulationsstrategien in einer hierarchischen Kontrollumgebung zu ermöglichen. Reinforcement Learning wird verwendet, um eine übergeordnete Steuerungsebene zu erlernen, die eine untere Ebene aus modularen Steuerungen nutzt. Die untere Ebene stellt sicher, dass die Objekte während der Manipulation im Griff bleiben. Darüber hinaus zeigen wir, dass eine solche Hierarchie die Übertragung von übergeordneten Strategien, die in der Simulation gelernt wurden, auf reale Systeme erleichtert, indem sie die untere Ebene als Abstraktion der taktilen Informationen verwendet.

Deutsch
URN: urn:nbn:de:tuda-tuprints-91802
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Fachbereich(e)/-gebiet(e): 20 Fachbereich Informatik
20 Fachbereich Informatik > Intelligente Autonome Systeme
Hinterlegungsdatum: 27 Okt 2019 20:55
Letzte Änderung: 27 Okt 2019 20:55
PPN:
Referenten: Peters, Prof. Dr. Jan ; Santos, Prof. Veronica
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 22 Oktober 2018
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen