Robotics and Biology Laboratory

Leveraging Problem Structure in Interactive Perception for Robot Manipulation of Constrained Mechanisms

Image

Promotionsausschuss

Prof. Dr. Oliver Brock (TUB)
Prof. Dieter Fox (University of Washington)
Prof. Tamim Asfour (Karlsruhe Institute of Technology)

Roberto Martín-Martín

Titel: Leveraging Problem Structure in Interactive Perception for Robot Manipulation of Constrained Mechanisms

Zusammenfassung:

In dieser Arbeit untersuchen wir die Roboterwahrnehmung zur Unterstützung einer bestimmten Art von Manipulationsaufgaben in unstrukturierten Umgebungen, der mechanischen Manipulation von kinematischen Freiheitsgraden. Bei diesen Aufgaben besteht das Ziel des Roboters darin, eine kontrollierte Bewegung zu erzeugen, d.h. die Konfiguration der kinematischen Freiheitsgrade (DoF) der Objekte in der Umgebung zu ändern. Oft enthält die Umgebung gelenkige Objekte. Deren Manipulation ist besonders komplex, weil das Wissen über ihre Eigenschaften, das die Aufgabe erleichtern würde (z. B. ihre Bewegungseinschränkungen, die Geometrie ihrer Teile, ihre dynamischen und Reibungseigenschaften), erst dann zutage tritt, wenn der Roboter mit dem Objekt interagiert. Daher sollte die Wahrnehmung dieser Objekte die Interaktionen ausnutzen, um informationsreiche Sensorsignale zu erzeugen. Diese Art von Problem und die Wahrnehmungsmethoden, die Aktionen einbeziehen, werden als interaktive Wahrnehmung bezeichnet. In dieser Arbeit wird ein allgemeiner Ansatz für die interaktive Wahrnehmung und die Umsetzung dieses Ansatzes in Wahrnehmungssysteme vorgeschlagen, um kinematische, geometrische und dynamische Modelle von gelenkigen Objekten zu erstellen.

Wahrnehmungsprobleme im Bereich der mechanischen Manipulation von DoF durch Roboter stellen besondere Herausforderungen dar. Während sich unstrukturierte Umgebungen in der Regel ständig verändern, verschärft die mechanische Manipulation durch Roboter diese Eigenschaft noch. Tatsächlich aber enthalten diese Veränderungen in der Umgebung entscheidende Informationen für einen Roboter, der den Zustand der Welt gezielt verändern will. Die Wahrnehmung für die Robotermanipulation muss Informationen aus sich ändernden Sensorsignalen und deren Beziehung zu Veränderungen in der Umgebung und zu Handlungen extrahieren. Der Wahrnehmungsprozess muss schnell und online Informationen liefern, die nur auf vergangenen und aktuellen Sensorsignalen basieren, so dass die Informationen auf laufende Interaktionen angewendet werden können. Außerdem müssen die Wahrnehmungslösungen vielseitig genug sein, um mit einem breiten Spektrum von Umgebungs- und Aufgabenbedingungen zurechtzukommen, in denen der Roboter DoF manipulieren können sollte.

Um diese Herausforderungen zu meistern, schlagen wir einen Ansatz für interaktive Wahrnehmung vor, der vier strukturelle Regelmäßigkeiten von Wahrnehmungsproblemen im Bereich der mechanischen Manipulation von DoF durch Roboter nutzt. Erstens nutzt unser Ansatz die Abhängigkeit zwischen Roboteraktionen und Veränderungen im Sensorstrom mit Hilfe von Ideen aus der interaktiven Wahrnehmung. Zweitens nutzt unser Ansatz die zeitliche Struktur der physikalischen Prozesse, die an der mechanischen Manipulation von DoF beteiligt sind, unter Verwendung zeitlicher Rekursion. Drittens macht unser Ansatz Gebrauch von aufgabenspezifischen Prioritäten, die physikalische Regelmäßigkeiten der Welt kodieren. Diese physikalischen Prioritäten beziehen sich auf die Manipulation von DoF in unstrukturierten Umgebungen und die Sensorsignalbildung: physikalische Gesetze, die die Bewegung von Objekten regeln (z. B. Kinematik), mathematische Modelle für die Signalbildung (z. B. projektive Geometrie) und Annahmen über die physikalischen Eigenschaften der Umgebung (z. B. dass die Umgebung aus starren festen Teilen besteht). Und viertens nutzt unser Ansatz die Abhängigkeiten zwischen mehreren Wahrnehmungs-Teilaufgaben, die unterschiedliche Informationsmuster über dasselbe gelenkige Objekt extrahieren.

Der von uns vorgeschlagene Ansatz nutzt die oben beschriebene Problemstruktur mit einem miteinander verbundenen Netzwerk rekursiver Schätzprozesse, die physikalische Prioritäten kodieren und Roboterinteraktionen ausnutzen. Wir haben diesen Ansatz in mehreren Roboterwahrnehmungssystemen angewandt, die in den nachfolgenden Kapiteln vorgestellt werden, um Informationen über gelenkige Objekte - kinematische, geometrische und dynamische Eigenschaften - zu extrahieren, indem wir nur RGB-D-Informationen oder eine Kombination aus RGB-D- und propriozeptiven Signalen (z. B. angewandte Schraubenschlüssel, Konfiguration der Robotergelenke) verwenden. Wir untersuchen unseren vorgeschlagenen Ansatz anhand dieser interaktiven Wahrnehmungssysteme. Wir bewerten, ob die Systeme aufgabenrelevante Informationen für die mechanische Manipulation von DoF gelenkiger Mechanismen für verschiedene Objekte und unter unterschiedlichen und anspruchsvollen Umgebungs- und Aufgabenbedingungen extrahieren können. Um wirklich zu zeigen, dass die wahrgenommenen Informationen für die Robotermanipulation nützlich sind, ergänzen wir die Wahrnehmungssysteme mit Methoden zur Überwachung, Kontrolle und Steuerung der Roboterinteraktion auf der Grundlage der online wahrgenommenen Informationen. Darüber hinaus schlagen wir eine neuartige Methode zur Generierung und Auswahl informativer Aktionen für die interaktive Wahrnehmung auf der Grundlage der bisher gewonnenen Informationen vor und bewerten sie.

Februar 2018