TU Darmstadt / ULB / TUbiblio

New Methods of Eye-to-Eye Calibration and its Application to Cooperative Localization

Li, Zaijuan (2020):
New Methods of Eye-to-Eye Calibration and its Application to Cooperative Localization.
Darmstadt, Technische Universität Regelungsmethoden und Robotik,
DOI: 10.25534/tuprints-00011465,
[Ph.D. Thesis]

Abstract

During the past few decades, an explosive development of multiple camera systems has occurred. For example, a multiple camera system can be used by an advanced driver-assistance system. For cooperative tasks among robots, a multi-camera rig can be used to increase the localization accuracy and robustness. In the logistics industry, a cargo drone mounted with a multi-camera system obtains a panorama view. In these or other high-demanding tasks that heavily depend on multi-camera systems, accurate extrinsic calibration of cameras is an absolute prerequisite for precise visual localization. In this dissertation, a weighted optimization method and a data selection strategy for extrinsic calibration are proposed that relieve the inherent imbalance between pose estimates existing in Liu’s setup. Besides, two new extrinsic calibration methods are proposed to improve the extrinsic calibration accuracy further. Other contributions of the thesis are two cooperative localization methods MOMA and S-MOMA, which can be applied to a robot group. These methods aim at overcoming the localization challenges in indoor environments where repetitive or lack of features are usually the case. The weighted optimization method introduces a quality measure for all the entries of camera-to-marker pose estimates based on the projection size of the known planar calibration patterns on the image. The data selection strategy provides valuable suggestions on the selection of measurements leading to a better coverage in pose space used for the calibration procedure. By introducing a highly accurate tracking system, the first proposed calibration method disconnects the calibration objects, which are rigidly linked in Liu’s setup. With the aid of the tracking system, the method improves calibration accuracy further. The second calibration method uses active calibration patterns realized with two electronic displays. By regulating the fiducial patterns displayed on the monitors, the approach can actively perceive the best possible measurements for the calibration estimation. The configuration of the dynamic virtual pattern aims at maximizing the underlying sensitivity of the objective function, which is based on the sum of reprojection errors, with regard to the relative pose between the camera and the fiducial pattern. State-of-the-art calibration methods, together with different configurations, are conducted and compared in simulation as well as in real experiments validating that both the optimization method and the twonew calibration methods improve the calibration results in terms of accuracy and robustness. In the second part of the dissertation, two novel, purely vision-based cooperative localization approaches MOMA and S-MOMA for a multi-robot system are introduced. MOMA realizes visual odometry via accurate MObile MArker-based positioning. The movement pattern of the robots mimics the movement of a caterpillar. The introduced fiducial marker board, which is mounted on one of the robots, serves as a mobile landmark, based on which the relative pose between the robots is recovered. The absolute positioning of each robot is deduced from the concatenation of the relative poses of previous phases. The second localization algorithm S-MOMA (MOMA with a stereo camera) extends the original MOMA approach. By fusing absolute pose estimates from static environment features with relative pose estimates from known mobile fiducial features, S-MOMA is formulated as an optimization problem combining two different objectives for these two different feature sources based on the same error measure, namely the reprojection error. A comparison between the proposed cooperative localization approaches MOMA, S-MOMA, as well as state-of-the-art localiza- tion algorithms for different configurations, is given validating the improvement in accuracy and robustness against various challenging testing environments.

Item Type: Ph.D. Thesis
Erschienen: 2020
Creators: Li, Zaijuan
Title: New Methods of Eye-to-Eye Calibration and its Application to Cooperative Localization
Language: English
Abstract:

During the past few decades, an explosive development of multiple camera systems has occurred. For example, a multiple camera system can be used by an advanced driver-assistance system. For cooperative tasks among robots, a multi-camera rig can be used to increase the localization accuracy and robustness. In the logistics industry, a cargo drone mounted with a multi-camera system obtains a panorama view. In these or other high-demanding tasks that heavily depend on multi-camera systems, accurate extrinsic calibration of cameras is an absolute prerequisite for precise visual localization. In this dissertation, a weighted optimization method and a data selection strategy for extrinsic calibration are proposed that relieve the inherent imbalance between pose estimates existing in Liu’s setup. Besides, two new extrinsic calibration methods are proposed to improve the extrinsic calibration accuracy further. Other contributions of the thesis are two cooperative localization methods MOMA and S-MOMA, which can be applied to a robot group. These methods aim at overcoming the localization challenges in indoor environments where repetitive or lack of features are usually the case. The weighted optimization method introduces a quality measure for all the entries of camera-to-marker pose estimates based on the projection size of the known planar calibration patterns on the image. The data selection strategy provides valuable suggestions on the selection of measurements leading to a better coverage in pose space used for the calibration procedure. By introducing a highly accurate tracking system, the first proposed calibration method disconnects the calibration objects, which are rigidly linked in Liu’s setup. With the aid of the tracking system, the method improves calibration accuracy further. The second calibration method uses active calibration patterns realized with two electronic displays. By regulating the fiducial patterns displayed on the monitors, the approach can actively perceive the best possible measurements for the calibration estimation. The configuration of the dynamic virtual pattern aims at maximizing the underlying sensitivity of the objective function, which is based on the sum of reprojection errors, with regard to the relative pose between the camera and the fiducial pattern. State-of-the-art calibration methods, together with different configurations, are conducted and compared in simulation as well as in real experiments validating that both the optimization method and the twonew calibration methods improve the calibration results in terms of accuracy and robustness. In the second part of the dissertation, two novel, purely vision-based cooperative localization approaches MOMA and S-MOMA for a multi-robot system are introduced. MOMA realizes visual odometry via accurate MObile MArker-based positioning. The movement pattern of the robots mimics the movement of a caterpillar. The introduced fiducial marker board, which is mounted on one of the robots, serves as a mobile landmark, based on which the relative pose between the robots is recovered. The absolute positioning of each robot is deduced from the concatenation of the relative poses of previous phases. The second localization algorithm S-MOMA (MOMA with a stereo camera) extends the original MOMA approach. By fusing absolute pose estimates from static environment features with relative pose estimates from known mobile fiducial features, S-MOMA is formulated as an optimization problem combining two different objectives for these two different feature sources based on the same error measure, namely the reprojection error. A comparison between the proposed cooperative localization approaches MOMA, S-MOMA, as well as state-of-the-art localiza- tion algorithms for different configurations, is given validating the improvement in accuracy and robustness against various challenging testing environments.

Place of Publication: Darmstadt
Divisions: 18 Department of Electrical Engineering and Information Technology
18 Department of Electrical Engineering and Information Technology > Institut für Automatisierungstechnik und Mechatronik
18 Department of Electrical Engineering and Information Technology > Institut für Automatisierungstechnik und Mechatronik > Control Methods and Robotics
Date Deposited: 04 May 2020 11:17
DOI: 10.25534/tuprints-00011465
Official URL: https://tuprints.ulb.tu-darmstadt.de/11465
URN: urn:nbn:de:tuda-tuprints-114658
Referees: Adamy, Prof. Dr. Jürgen and Konigorski, Prof. Dr. Ulrich
Refereed / Verteidigung / mdl. Prüfung: 22 January 2020
Alternative Abstract:
Alternative abstract Language
In den letzten Jahren schreitet die Entwicklung neuartiger Multikamerasysteme rasant voran. Ein Multikamerasystem kann beispielsweise in einem intelligenten Fahrerassistenzsystem verwendet werden. Es kann auch für kooperative Aufgaben zwischen Robotern eingesetzt werden, um die Lokalisierungsgenauigkeit und Robustheit zu erhöhen. In der Logistikbranche kann eine Fracht-drohne über ein Mehrkamerasystem eine dreidimensionale Rundumsicht erlangen. Bei diesen oder anderen anspruchsvollen Aufgaben, welche erst durch Mehrkamerasysteme ermöglicht werden, ist eine genaue extrinsische Kalibrierung der Kameras notwendig, um eine präzise visuelle Lokalisierung zu erreichen. In dieser Dissertation werden eine gewichtete Optimierungsmethode und eine Datenselektionsstrategie vorgeschlagen, welche das inhärente Ungleichgewicht zwischen Posenschätzungen, das in Liu’s Aufbau vorhanden ist, weitestgehend aufheben. Außerdem werden zwei neue extrinsische Kalibriermethoden vorgeschlagen, um die Genauigkeit der extrinsischen Kalibrierung weiter zu verbessern. Weitere Beiträge der Arbeit sind zwei kooperative Lokalisierungsmethoden MOMA und S-MOMA, die auf einem mobilen Multi-Roboter-System angewendet werden können. Diese Methoden zielen darauf ab, die erschwerten Bedingungen bei einer visuellen Lokalisierung in Innenraumumgebungen zu überwinden, welche sich durch repetitive oder fehlende Merkmale ergeben. Die vorgeschlagene Optimierungsmethode führt ein Qualitätsmaß für alle Kamera-zu-Marker-Posen-Schätzungen ein, das auf der Projektionsgröße bekannter planarer Kalibriermuster basiert. Die Datenauswahlstrategie extrahiert Bildmessungen mit besserer Abdeckung im dazugehörigen Posenraum als Eingangsdatensatz für die Kalibrierung. Durch die Einführung eines hochpräzisen Tracking-Systems können bei der ersten vorgeschlagenen Kalibriermethode die Kalibrierobjekte frei im Raum platziert werden und müssen nicht mehr wie in Liu’s Anordnung fest miteinander verbunden sein. Dies führt zu einer Erhöhung der Kalibriergenauigkeit. Das zweite Kalibrierverfahren verwendet aktive Kalibriermuster, die aus zwei elektronischen Anzeigen bestehen. Durch eine Adaptation der auf den Monitoren angezeigten Referenzmuster während des Kalibriervorganges, kann der Ansatz aktiv bestmögliche Messungen für die Kalibrierung erzeugen. Die Konfiguration des dynamischen Musters zielt darauf ab, die Empfindlichkeit der nichtkonvexen Zielfunktion, die auf der Reprojektionsfehler basiert, in Bezug auf Posenänderungen zwischen Kamera und Referenzmuster zu maximieren. Desweiteren werden gängige Kalibriermethoden in Verbindung mit verschiedenen Konfigurationen sowohl auf simulierten, als auch realen Messdaten angewendet und verglichen, um zu bestätigen, dass sowohl die Optimierungsmethode als auch die neuen Kalibriermethoden die Kalibrierergebnisse in Bezug auf Genauigkeit und Robustheit verbessern. Im zweiten Teil der Dissertation werden zwei neuartige, rein bildbasierte kooperative Lokalisierungsansätze MOMA und S-MOMA für ein Multi-Roboter- System vorgestellt. MOMA realisiert eine kooperative visuelle Odometrie über mobile visuelle Marker. Dazu werden spezielle Bewegungsmuster der Roboter benötigt, welche die Bewegung einer Raupe imitieren. Die visuellen Referenz-markierungen werden auf einem der Roboter montiert und dienen als mobile Landmarke, anhand derer die relative Pose zwischen den Robotern hochgenau bestimmt werden kann. Die absolute Positionierung jedes Roboters ergibt sich aus der Verkettung dieser relativen Posen. Der zweite Lokalisierungsalgorithmus S-MOMA (MOMA mit Stereokamera) erweitert das Lokalisierungsprinzip von MOMA. Dazu werden absolute Posenschätzungen einer SLAM Methode aus statischen Umgebungsmerkmalen mit relativen Posenschätzungen aus bekannten mobilen Referenzmerkmalen fusioniert. Die Fusion wird in S-MOMA über ein kombiniertes Optimierungsproblem erreicht, das zwei verschiedene Ziele für diese beiden unterschiedlichen Merkmalsquellen, basierend auf demselben Fehlermaß vereint, nämlich dem Reprojektionsfehler. Die vorgeschlagenen kooperativen Lokalisierungsansätze werden in verschiedenen Konfigurationen mit aus der Literatur bekannten Lokalisierungsalgorithmen verglichen, um Verbesserungen in Bezug auf Genauigkeit und Robustheit in verschiedenen anspruchsvollen Testumgebungen zu bestätigen.German
Export:
Suche nach Titel in: TUfind oder in Google
Send an inquiry Send an inquiry

Options (only for editors)
Show editorial Details Show editorial Details