TU Darmstadt / ULB / TUbiblio

New Methods of Eye-to-Eye Calibration and its Application to Cooperative Localization

Li, Zaijuan (2020)
New Methods of Eye-to-Eye Calibration and its Application to Cooperative Localization.
Technische Universität Darmstadt
doi: 10.25534/tuprints-00011465
Dissertation, Erstveröffentlichung

Kurzbeschreibung (Abstract)

During the past few decades, an explosive development of multiple camera systems has occurred. For example, a multiple camera system can be used by an advanced driver-assistance system. For cooperative tasks among robots, a multi-camera rig can be used to increase the localization accuracy and robustness. In the logistics industry, a cargo drone mounted with a multi-camera system obtains a panorama view. In these or other high-demanding tasks that heavily depend on multi-camera systems, accurate extrinsic calibration of cameras is an absolute prerequisite for precise visual localization. In this dissertation, a weighted optimization method and a data selection strategy for extrinsic calibration are proposed that relieve the inherent imbalance between pose estimates existing in Liu’s setup. Besides, two new extrinsic calibration methods are proposed to improve the extrinsic calibration accuracy further. Other contributions of the thesis are two cooperative localization methods MOMA and S-MOMA, which can be applied to a robot group. These methods aim at overcoming the localization challenges in indoor environments where repetitive or lack of features are usually the case. The weighted optimization method introduces a quality measure for all the entries of camera-to-marker pose estimates based on the projection size of the known planar calibration patterns on the image. The data selection strategy provides valuable suggestions on the selection of measurements leading to a better coverage in pose space used for the calibration procedure. By introducing a highly accurate tracking system, the first proposed calibration method disconnects the calibration objects, which are rigidly linked in Liu’s setup. With the aid of the tracking system, the method improves calibration accuracy further. The second calibration method uses active calibration patterns realized with two electronic displays. By regulating the fiducial patterns displayed on the monitors, the approach can actively perceive the best possible measurements for the calibration estimation. The configuration of the dynamic virtual pattern aims at maximizing the underlying sensitivity of the objective function, which is based on the sum of reprojection errors, with regard to the relative pose between the camera and the fiducial pattern. State-of-the-art calibration methods, together with different configurations, are conducted and compared in simulation as well as in real experiments validating that both the optimization method and the twonew calibration methods improve the calibration results in terms of accuracy and robustness. In the second part of the dissertation, two novel, purely vision-based cooperative localization approaches MOMA and S-MOMA for a multi-robot system are introduced. MOMA realizes visual odometry via accurate MObile MArker-based positioning. The movement pattern of the robots mimics the movement of a caterpillar. The introduced fiducial marker board, which is mounted on one of the robots, serves as a mobile landmark, based on which the relative pose between the robots is recovered. The absolute positioning of each robot is deduced from the concatenation of the relative poses of previous phases. The second localization algorithm S-MOMA (MOMA with a stereo camera) extends the original MOMA approach. By fusing absolute pose estimates from static environment features with relative pose estimates from known mobile fiducial features, S-MOMA is formulated as an optimization problem combining two different objectives for these two different feature sources based on the same error measure, namely the reprojection error. A comparison between the proposed cooperative localization approaches MOMA, S-MOMA, as well as state-of-the-art localiza- tion algorithms for different configurations, is given validating the improvement in accuracy and robustness against various challenging testing environments.

Typ des Eintrags: Dissertation
Erschienen: 2020
Autor(en): Li, Zaijuan
Art des Eintrags: Erstveröffentlichung
Titel: New Methods of Eye-to-Eye Calibration and its Application to Cooperative Localization
Sprache: Englisch
Referenten: Adamy, Prof. Dr. Jürgen ; Konigorski, Prof. Dr. Ulrich
Publikationsjahr: 18 Februar 2020
Ort: Darmstadt
Datum der mündlichen Prüfung: 22 Januar 2020
DOI: 10.25534/tuprints-00011465
URL / URN: https://tuprints.ulb.tu-darmstadt.de/11465
Kurzbeschreibung (Abstract):

During the past few decades, an explosive development of multiple camera systems has occurred. For example, a multiple camera system can be used by an advanced driver-assistance system. For cooperative tasks among robots, a multi-camera rig can be used to increase the localization accuracy and robustness. In the logistics industry, a cargo drone mounted with a multi-camera system obtains a panorama view. In these or other high-demanding tasks that heavily depend on multi-camera systems, accurate extrinsic calibration of cameras is an absolute prerequisite for precise visual localization. In this dissertation, a weighted optimization method and a data selection strategy for extrinsic calibration are proposed that relieve the inherent imbalance between pose estimates existing in Liu’s setup. Besides, two new extrinsic calibration methods are proposed to improve the extrinsic calibration accuracy further. Other contributions of the thesis are two cooperative localization methods MOMA and S-MOMA, which can be applied to a robot group. These methods aim at overcoming the localization challenges in indoor environments where repetitive or lack of features are usually the case. The weighted optimization method introduces a quality measure for all the entries of camera-to-marker pose estimates based on the projection size of the known planar calibration patterns on the image. The data selection strategy provides valuable suggestions on the selection of measurements leading to a better coverage in pose space used for the calibration procedure. By introducing a highly accurate tracking system, the first proposed calibration method disconnects the calibration objects, which are rigidly linked in Liu’s setup. With the aid of the tracking system, the method improves calibration accuracy further. The second calibration method uses active calibration patterns realized with two electronic displays. By regulating the fiducial patterns displayed on the monitors, the approach can actively perceive the best possible measurements for the calibration estimation. The configuration of the dynamic virtual pattern aims at maximizing the underlying sensitivity of the objective function, which is based on the sum of reprojection errors, with regard to the relative pose between the camera and the fiducial pattern. State-of-the-art calibration methods, together with different configurations, are conducted and compared in simulation as well as in real experiments validating that both the optimization method and the twonew calibration methods improve the calibration results in terms of accuracy and robustness. In the second part of the dissertation, two novel, purely vision-based cooperative localization approaches MOMA and S-MOMA for a multi-robot system are introduced. MOMA realizes visual odometry via accurate MObile MArker-based positioning. The movement pattern of the robots mimics the movement of a caterpillar. The introduced fiducial marker board, which is mounted on one of the robots, serves as a mobile landmark, based on which the relative pose between the robots is recovered. The absolute positioning of each robot is deduced from the concatenation of the relative poses of previous phases. The second localization algorithm S-MOMA (MOMA with a stereo camera) extends the original MOMA approach. By fusing absolute pose estimates from static environment features with relative pose estimates from known mobile fiducial features, S-MOMA is formulated as an optimization problem combining two different objectives for these two different feature sources based on the same error measure, namely the reprojection error. A comparison between the proposed cooperative localization approaches MOMA, S-MOMA, as well as state-of-the-art localiza- tion algorithms for different configurations, is given validating the improvement in accuracy and robustness against various challenging testing environments.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

In den letzten Jahren schreitet die Entwicklung neuartiger Multikamerasysteme rasant voran. Ein Multikamerasystem kann beispielsweise in einem intelligenten Fahrerassistenzsystem verwendet werden. Es kann auch für kooperative Aufgaben zwischen Robotern eingesetzt werden, um die Lokalisierungsgenauigkeit und Robustheit zu erhöhen. In der Logistikbranche kann eine Fracht-drohne über ein Mehrkamerasystem eine dreidimensionale Rundumsicht erlangen. Bei diesen oder anderen anspruchsvollen Aufgaben, welche erst durch Mehrkamerasysteme ermöglicht werden, ist eine genaue extrinsische Kalibrierung der Kameras notwendig, um eine präzise visuelle Lokalisierung zu erreichen. In dieser Dissertation werden eine gewichtete Optimierungsmethode und eine Datenselektionsstrategie vorgeschlagen, welche das inhärente Ungleichgewicht zwischen Posenschätzungen, das in Liu’s Aufbau vorhanden ist, weitestgehend aufheben. Außerdem werden zwei neue extrinsische Kalibriermethoden vorgeschlagen, um die Genauigkeit der extrinsischen Kalibrierung weiter zu verbessern. Weitere Beiträge der Arbeit sind zwei kooperative Lokalisierungsmethoden MOMA und S-MOMA, die auf einem mobilen Multi-Roboter-System angewendet werden können. Diese Methoden zielen darauf ab, die erschwerten Bedingungen bei einer visuellen Lokalisierung in Innenraumumgebungen zu überwinden, welche sich durch repetitive oder fehlende Merkmale ergeben. Die vorgeschlagene Optimierungsmethode führt ein Qualitätsmaß für alle Kamera-zu-Marker-Posen-Schätzungen ein, das auf der Projektionsgröße bekannter planarer Kalibriermuster basiert. Die Datenauswahlstrategie extrahiert Bildmessungen mit besserer Abdeckung im dazugehörigen Posenraum als Eingangsdatensatz für die Kalibrierung. Durch die Einführung eines hochpräzisen Tracking-Systems können bei der ersten vorgeschlagenen Kalibriermethode die Kalibrierobjekte frei im Raum platziert werden und müssen nicht mehr wie in Liu’s Anordnung fest miteinander verbunden sein. Dies führt zu einer Erhöhung der Kalibriergenauigkeit. Das zweite Kalibrierverfahren verwendet aktive Kalibriermuster, die aus zwei elektronischen Anzeigen bestehen. Durch eine Adaptation der auf den Monitoren angezeigten Referenzmuster während des Kalibriervorganges, kann der Ansatz aktiv bestmögliche Messungen für die Kalibrierung erzeugen. Die Konfiguration des dynamischen Musters zielt darauf ab, die Empfindlichkeit der nichtkonvexen Zielfunktion, die auf der Reprojektionsfehler basiert, in Bezug auf Posenänderungen zwischen Kamera und Referenzmuster zu maximieren. Desweiteren werden gängige Kalibriermethoden in Verbindung mit verschiedenen Konfigurationen sowohl auf simulierten, als auch realen Messdaten angewendet und verglichen, um zu bestätigen, dass sowohl die Optimierungsmethode als auch die neuen Kalibriermethoden die Kalibrierergebnisse in Bezug auf Genauigkeit und Robustheit verbessern. Im zweiten Teil der Dissertation werden zwei neuartige, rein bildbasierte kooperative Lokalisierungsansätze MOMA und S-MOMA für ein Multi-Roboter- System vorgestellt. MOMA realisiert eine kooperative visuelle Odometrie über mobile visuelle Marker. Dazu werden spezielle Bewegungsmuster der Roboter benötigt, welche die Bewegung einer Raupe imitieren. Die visuellen Referenz-markierungen werden auf einem der Roboter montiert und dienen als mobile Landmarke, anhand derer die relative Pose zwischen den Robotern hochgenau bestimmt werden kann. Die absolute Positionierung jedes Roboters ergibt sich aus der Verkettung dieser relativen Posen. Der zweite Lokalisierungsalgorithmus S-MOMA (MOMA mit Stereokamera) erweitert das Lokalisierungsprinzip von MOMA. Dazu werden absolute Posenschätzungen einer SLAM Methode aus statischen Umgebungsmerkmalen mit relativen Posenschätzungen aus bekannten mobilen Referenzmerkmalen fusioniert. Die Fusion wird in S-MOMA über ein kombiniertes Optimierungsproblem erreicht, das zwei verschiedene Ziele für diese beiden unterschiedlichen Merkmalsquellen, basierend auf demselben Fehlermaß vereint, nämlich dem Reprojektionsfehler. Die vorgeschlagenen kooperativen Lokalisierungsansätze werden in verschiedenen Konfigurationen mit aus der Literatur bekannten Lokalisierungsalgorithmen verglichen, um Verbesserungen in Bezug auf Genauigkeit und Robustheit in verschiedenen anspruchsvollen Testumgebungen zu bestätigen.

Deutsch
URN: urn:nbn:de:tuda-tuprints-114658
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 000 Allgemeines, Wissenschaft
Fachbereich(e)/-gebiet(e): 18 Fachbereich Elektrotechnik und Informationstechnik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Automatisierungstechnik und Mechatronik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Automatisierungstechnik und Mechatronik > Regelungsmethoden und Robotik (ab 01.08.2022 umbenannt in Regelungsmethoden und Intelligente Systeme)
Hinterlegungsdatum: 04 Mai 2020 11:17
Letzte Änderung: 01 Dez 2023 08:20
PPN:
Referenten: Adamy, Prof. Dr. Jürgen ; Konigorski, Prof. Dr. Ulrich
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 22 Januar 2020
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen