TU Darmstadt / ULB / TUbiblio

Scene Reconstruction from Multi-Scale Input Data

Fuhrmann, Simon (2015)
Scene Reconstruction from Multi-Scale Input Data.
Technische Universität Darmstadt
Dissertation, Erstveröffentlichung

Kurzbeschreibung (Abstract)

Geometry acquisition of real-world objects by means of 3D scanning or stereo reconstruction constitutes a very important and challenging problem in computer vision. 3D scanners and stereo algorithms usually provide geometry from one viewpoint only, and several of the these scans need to be merged into one consistent representation. Scanner data generally has lower noise levels than stereo methods and the scanning scenario is more controlled. In image-based stereo approaches, the aim is to reconstruct the 3D surface of an object solely from multiple photos of the object. In many cases, the stereo geometry is contaminated with noise and outliers, and exhibits large variations in scale. Approaches that fuse such data into one consistent surface must be resilient to such imperfections.

In this thesis, we take a closer look at geometry reconstruction using both scanner data and the more challenging image-based scene reconstruction approaches. In particular, this work focuses on the uncontrolled setting where the input images are not constrained, may be taken with different camera models, under different lighting and weather conditions, and from vastly different points of view. A typical dataset contains many views that observe the scene from an overview perspective, and relatively few views capture small details of the geometry. What results from these datasets are surface samples of the scene with vastly different resolution. As we will show in this thesis, the multi-resolution, or, "multi-scale" nature of the input is a relevant aspect for surface reconstruction, which has rarely been considered in literature yet. Integrating scale as additional information in the reconstruction process can make a substantial difference in surface quality.

We develop and study two different approaches for surface reconstruction that are able to cope with the challenges resulting from uncontrolled images. The first approach implements surface reconstruction by fusion of depth maps using a multi-scale hierarchical signed distance function. The hierarchical representation allows fusion of multi-resolution depth maps without mixing geometric information at incompatible scales, which preserves detail in high-resolution regions. An incomplete octree is constructed by incrementally adding triangulated depth maps to the hierarchy, which leads to scattered samples of the multi-resolution signed distance function. A continuous representation of the scattered data is defined by constructing a tetrahedral complex, and a final, highly-adaptive surface is extracted by applying the Marching Tetrahedra algorithm.

A second, point-based approach is based on a more abstract, multi-scale implicit function defined as a sum of basis functions. Each input sample contributes a single basis function which is parameterized solely by the sample's attributes, effectively yielding a parameter-free method. Because the scale of each sample controls the size of the basis function, the method automatically adapts to data redundancy for noise reduction and is highly resilient to the quality-degrading effects of low-resolution samples, thus favoring high-resolution surfaces.

Furthermore, we present a robust, image-based reconstruction system for surface modeling: MVE, the Multi-View Environment. The implementation provides all steps involved in the pipeline: Calibration and registration of the input images, dense geometry reconstruction by means of stereo, a surface reconstruction step and post-processing, such as remeshing and texturing. In contrast to other software solutions for image-based reconstruction, MVE handles large, uncontrolled, multi-scale datasets as well as input from more controlled capture scenarios. The reason lies in the particular choice of the multi-view stereo and surface reconstruction algorithms.

The resulting surfaces are represented using a triangular mesh, which is a piecewise linear approximation to the real surface. The individual triangles are often so small that they barely contribute any geometric information and can be ill-shaped, which can cause numerical problems. A surface remeshing approach is introduced which changes the surface discretization such that more favorable triangles are created. It distributes the vertices of the mesh according to a density function, which is derived from the curvature of the geometry. Such a mesh is better suited for further processing and has reduced storage requirements.

We thoroughly compare the developed methods against the state-of-the art and also perform a qualitative evaluation of the two surface reconstruction methods on a wide range of datasets with different properties. The usefulness of the remeshing approach is demonstrated on both scanner and multi-view stereo data.

Typ des Eintrags: Dissertation
Erschienen: 2015
Autor(en): Fuhrmann, Simon
Art des Eintrags: Erstveröffentlichung
Titel: Scene Reconstruction from Multi-Scale Input Data
Sprache: Englisch
Referenten: Goesele, Dr.-Ing. Michael ; Curless, Ph.D. Brian L. ; Theobalt, Dr.-Ing. Christian
Publikationsjahr: 18 Juni 2015
Ort: Darmstadt
Datum der mündlichen Prüfung: 18 Juni 2015
URL / URN: https://tuprints.ulb.tu-darmstadt.de/4623
Kurzbeschreibung (Abstract):

Geometry acquisition of real-world objects by means of 3D scanning or stereo reconstruction constitutes a very important and challenging problem in computer vision. 3D scanners and stereo algorithms usually provide geometry from one viewpoint only, and several of the these scans need to be merged into one consistent representation. Scanner data generally has lower noise levels than stereo methods and the scanning scenario is more controlled. In image-based stereo approaches, the aim is to reconstruct the 3D surface of an object solely from multiple photos of the object. In many cases, the stereo geometry is contaminated with noise and outliers, and exhibits large variations in scale. Approaches that fuse such data into one consistent surface must be resilient to such imperfections.

In this thesis, we take a closer look at geometry reconstruction using both scanner data and the more challenging image-based scene reconstruction approaches. In particular, this work focuses on the uncontrolled setting where the input images are not constrained, may be taken with different camera models, under different lighting and weather conditions, and from vastly different points of view. A typical dataset contains many views that observe the scene from an overview perspective, and relatively few views capture small details of the geometry. What results from these datasets are surface samples of the scene with vastly different resolution. As we will show in this thesis, the multi-resolution, or, "multi-scale" nature of the input is a relevant aspect for surface reconstruction, which has rarely been considered in literature yet. Integrating scale as additional information in the reconstruction process can make a substantial difference in surface quality.

We develop and study two different approaches for surface reconstruction that are able to cope with the challenges resulting from uncontrolled images. The first approach implements surface reconstruction by fusion of depth maps using a multi-scale hierarchical signed distance function. The hierarchical representation allows fusion of multi-resolution depth maps without mixing geometric information at incompatible scales, which preserves detail in high-resolution regions. An incomplete octree is constructed by incrementally adding triangulated depth maps to the hierarchy, which leads to scattered samples of the multi-resolution signed distance function. A continuous representation of the scattered data is defined by constructing a tetrahedral complex, and a final, highly-adaptive surface is extracted by applying the Marching Tetrahedra algorithm.

A second, point-based approach is based on a more abstract, multi-scale implicit function defined as a sum of basis functions. Each input sample contributes a single basis function which is parameterized solely by the sample's attributes, effectively yielding a parameter-free method. Because the scale of each sample controls the size of the basis function, the method automatically adapts to data redundancy for noise reduction and is highly resilient to the quality-degrading effects of low-resolution samples, thus favoring high-resolution surfaces.

Furthermore, we present a robust, image-based reconstruction system for surface modeling: MVE, the Multi-View Environment. The implementation provides all steps involved in the pipeline: Calibration and registration of the input images, dense geometry reconstruction by means of stereo, a surface reconstruction step and post-processing, such as remeshing and texturing. In contrast to other software solutions for image-based reconstruction, MVE handles large, uncontrolled, multi-scale datasets as well as input from more controlled capture scenarios. The reason lies in the particular choice of the multi-view stereo and surface reconstruction algorithms.

The resulting surfaces are represented using a triangular mesh, which is a piecewise linear approximation to the real surface. The individual triangles are often so small that they barely contribute any geometric information and can be ill-shaped, which can cause numerical problems. A surface remeshing approach is introduced which changes the surface discretization such that more favorable triangles are created. It distributes the vertices of the mesh according to a density function, which is derived from the curvature of the geometry. Such a mesh is better suited for further processing and has reduced storage requirements.

We thoroughly compare the developed methods against the state-of-the art and also perform a qualitative evaluation of the two surface reconstruction methods on a wide range of datasets with different properties. The usefulness of the remeshing approach is demonstrated on both scanner and multi-view stereo data.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Die Erfassung der Geometrie von Objekten mit Hilfe von 3D-Scannern oder Stereoverfahren ist ein sehr wichtiges und herausforderndes Problem im Bereich der Computer Vision. 3D-Scanner und Stereoalgorithmen rekonstruieren typischerweise Geometrie von nur einem Blickwinkel, und viele dieser Scans müssen zu einer konsistenten Oberfläche zusammengeführt werden. Die Daten von 3D-Scannern haben generell ein niedrigeres Rauschverhalten als Stereomethoden und entstehen oft unter kontrollierten Bedingungen. In bildbasierten Stereoverfahren ist das Ziel die 3D-Oberfäche eines Objektes nur mit Hilfe von Fotos des Objektes zu rekonstruieren. In vielen Fällen ist die aus den Stereoverfahren gewonnene Geometrie mit Rauschen und Fehlrekonstruktionen versehen und enthält große Auflösungsunterschiede. Methoden, welche diese Art von Daten in ein konsistentes Oberflächenmodell zusammenführen, müssen robust gegenüber diesen Datenmängeln sein.

In dieser Doktorarbeit beschäftigen wir uns näher mit Oberflächenrekonstruktion aus 3D-Scannerdaten und aus bildbasierten Rekonstruktionsverfahren. Diese Arbeit untersucht insbesondere die unkontrollierte Situation, bei welcher die Eingabebilder keiner Beschränkung unterliegen, und mit unterschiedlichen Kameramodellen unter beliebigen Licht- und Wetterverhältnissen aufgenommen sein können. Ein typischer Datensatz enthält viele Bilder, welche die ganze Szene überblicken, und nur relativ wenige Bilder, welche Details der Geometrie erfassen. Das Resultat aus diesen Datensätzen sind Messpunkte der Oberfläche mit sehr unterschiedlichen Auflösungen. Wie wir in dieser Arbeit aufzeigen werden ist der Multiskalenaspekt der Messpunkte äußerst relevant für die Oberflächenrekonstruktion, hat allerdings bisher in der Literatur kaum Beachtung gefunden. Die Integration des Multiskalenaspektes in die Oberflächenrekonstruktion kann einen substanziellen Unterschied in der Oberflächenqualität ausmachen.

Wir entwickeln und studieren zwei unterschiedliche Ansätze zur Oberflächenrekonstruktion, welche mit den Herausforderungen von unkontrollierten Daten umgehen können. Der erste Ansatz setzt auf die Vereinigung von Tiefenkarten mit Hilfe einer Multiskalendarstellung der vorzeichenbehafteten Distanzfunktion. Die hierarchische Darstellung erlaubt die Vereinigung von Tiefenkarten ohne geometrische Informationen auf inkompatiblen Skalen zu vermischen, was Details in hoch aufgelösten Regionen besser erhält. Zunächst wird ein Octree durch inkrementelles Hinzufügen von Tiefenkarten erstellt, was zu unstrukturierten Datenpunkten der Distanzfunktion führt. Eine kontinuierliche Darstellung der Daten wird durch die Erzeugung eines tetraedrischen Netzes definiert. Letztendlich wird eine hochgradig adaptive Oberfläche mit Hilfe des Marching Tetrahedra Algorithmus extrahiert.

Ein zweiter, punktbasierter Ansatz basiert auf einer abstrakteren, impliziten Multiskalenfunktion, welche als Summe von einzelnen Basisfunktionen definiert ist. Jeder Eingabemesspunkt liefert eine einzelne Basisfunktion, welche lediglich durch die Auflösung des Messpunktes definiert ist und somit eine parameterfreie Rekonstruktionsmethode ermöglicht. Die Auflösung eines jeden Messpunktes kontrolliert die größe der Basisfunktion, wodurch die Methode sich automatisch automatisch an die Datenredundanz zum Zweck der Rauschunterdrückung anpassen kann. Ferner ist die Methode äußerst robust gegenüber den negativen Effekten von niedrig aufgelösten Messpunkten auf die Oberfläche und bevorzugt somit die hoch aufgelöste Messpunkte.

Des Weiteren stellen wir eine robuste, bildbasierte Oberflächenrekonstruktionssoftware vor: MVE, das Multi-View Environment. Diese Software implementiert alle notwendigen Schritte der Rekonstruktion: Kalibrierung und Registrierung der Eingabebilder, Geometrierekonstruktion mit Stereoverfahren, Oberflächenrekonstruktion und Nachbearbeitungsschritte, wie etwa Remeshing und Texturierung. Im Gegensatz zu anderen Softwarelösungen für bildbasierte Rekonstruktion kann MVE große, unkontrollierte Multiskalendatensätze sowie auch kontrollierte Datensätze handhaben. Der Grund liegt in der speziellen Wahl der Multi-View Stereo und Oberflächenrekonstruktionsalgorithmen.

Die resultierenden Oberflächen werden durch Dreiecksnetze dargestellt, welche eine stückweise lineare Annäherung an die unbekannten, originalen Oberflächen darstellen. Die einzelnen Dreiecke sind oft so klein, dass sie nur vernachlässigbare geometrische Information beisteuern. Die Dreiecke sind außerdem oft degeneriert was zu numerischen Problemen führen kann. Ein Remeshing-Ansatz wird vorgestellt, welche die Oberflächendiskretisierung verändert, so, dass besser geartete Dreiecke entstehen. Die Punkte des Dreiecksnetz werden dabei anhand einer Dichtefunktion verteilt, welche aus der Krümmung der Geometrie berechnet wird. Das resultierende Dreiecksnetz ist somit besser zur Weiterverarbeitung geeignet und nimmt weniger Speicherplatz in Anspruch.

Die vorgestellten Methoden werden sorgfältig mit dem aktuellen Stand der Technik verglichen. Außerdem wird eine qualitative Evaluierung der beiden Oberflächenrekonstruktionsmethoden auf einer Vielfalt von Datensätzen mit unterschiedlichen Eigenschaften durchgeführt. Die Zweckmäßigkeit des Remeshing-Ansatzes wird sowohl auf 3D-Scannerdaten als auch auf bildbasierten Rekonstruktionen demonstriert.

Deutsch
Freie Schlagworte: Surface Reconstruction, Multi-Scale Data, Surface Remeshing, MVE
URN: urn:nbn:de:tuda-tuprints-46235
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Fachbereich(e)/-gebiet(e): 20 Fachbereich Informatik
20 Fachbereich Informatik > Graphics, Capture and Massively Parallel Computing
20 Fachbereich Informatik > Graphisch-Interaktive Systeme
Hinterlegungsdatum: 10 Aug 2015 08:44
Letzte Änderung: 25 Mai 2023 11:04
PPN:
Referenten: Goesele, Dr.-Ing. Michael ; Curless, Ph.D. Brian L. ; Theobalt, Dr.-Ing. Christian
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 18 Juni 2015
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen