Sollweck, Mark (2012)
Sampling-based Bayesian Inference for Optical Flow.
Technische Universität Darmstadt
Masterarbeit, Bibliographie

Kurzbeschreibung (Abstract)

Estimating the apparent motion between two images, also called optical flow estimation, is an important field of computer vision with many practical applications. Most optical flow methods perform energy minimization, where the energy typically consists of a data term (likelihood) and spatial term (prior). From a probabilistic point of view, such generatively motivated optical flow methods perform maximum a-posteriori (MAP) estimation, which minimizes the 0=1-loss. To evaluate optical flow fields, however, the 0=1-loss is rather unsuited and other performance measures like the average endpoint error are commonly used. Therefore, the wrong loss function is often minimized. In this work, we propose optimal Bayesian estimation of optical flow with respect to the average endpoint error in a purely generative setting. We learn a generative model for optical flow from the Middlebury dataset and use sampling-based inference to estimate flow fields. We evaluate the generative properties of our learned prior model and find that samples from our prior closely match the statistics of real flow data. Furthermore, we compute the optimal Bayesian estimate for the average endpoint error as the geometric median of samples drawn from our model density. By evaluating our method on the Middlebury flow dataset, we find that the geometric median consistently outperforms the posterior mean as well as the MAP estimate of our model. Our experiments also show that for our generative setting it is particularly important that the model assumptions are fulfilled to obtain good results. We find that our generative approach is competitive to current best practice optical flow methods that rely on the same model assumptions. Additionally, our method allows to directly measure the uncertainty of our solution at each pixel. Die Bestimmung der sichtbaren Bewegungen zwischen zwei Bildern, auch Optischer Fluss genannt, ist ein wichtiger Bereich des maschinellen Sehens mit vielen praktischen Anwendungen. Die meisten Methoden zur Bestimmung des Optischen Flusses verwenden Energieminimierung, wobei sich die Energie aus einem Datenterm (Likelihood) und einem räumlichen Term (A-priori-Wahrscheinlichkeit) zusammensetzt. Aus einer probabilistischen Perspektive betrachtet entspricht Energieminimierung der Maximum-a-posteriori-Methode (MAP), welche die 0=1-Verlustfunktion minimiert. Zur Evaluation von optischen Flussfeldern ist diese Verlustfunktion jedoch ungeeignet. Deshalb werden normalerweise andere Performanzkriterien verwendet, wie Beispielsweise der durchschnittliche Endpunkt-Fehler. Somit wird häufig die falsche Verlustfunktion minimiert. In dieser Arbeit verwenden wir einen generativen Ansatz zur Bestimmung des Optischen Flusses und stellen einen optimalen Bayes-Schätzer für den durchschnittlichen Endpunkt-Fehler vor. Wir lernen ein generatives Modell für Optischen Fluss vom Middlebury-Datensatz und verwenden sampling-basierte Inferenz zur Bestimmung der Flussfelder. Wir stellen fest, dass die statistischen Eigenschaften der Samples (Stichproben) von unseren gelernten, generativen A-piori-Modellen denen von echten Flussfeldern sehr ähnlich sind. Weiterhin zeigen wir, dass der Bayes-Schätzer als der geometrische Median der Samples von unserem Modell berechnet werden kann. Durch Evaluation unserer Methode auf dem Middlebury-Datensatz finden wir heraus, dass der geometrische Median zu durchgängig besseren Ergebnissen führt als die MAP-Schätzung oder der Mittelwert der A-posteriori-Verteilung. Unsere Experimente zeigen außerdem, dass die zugrundeliegenden Modellannahmen zutreffen müssen, um gute Ergebnisse zu erhalten. Die Ergebnisse unserer generativen Methode sind vergleichbar mit denen von derzeitigen, bewährten Methoden zur Bestimmung des Optischen Flusses, die auf den gleichen Modellannahmen beruhen. Zusätzlich ermöglicht es unsere Methode die Unsicherheit unserer Lösung für jeden Pixel zu bestimmen.

Frage zum Eintrag

Redaktionelle Details anzeigen