Schmidt, Uwe (2010)
Learning and Evaluating Markov Random Fields for Natural Images.
Technische Universität Darmstadt
Masterarbeit, Bibliographie

Kurzbeschreibung (Abstract)

Many problems of computer vision are (mathematically) ill-posed in the sense that there are many solutions; those problems are therefore in need of some form of regularization that guarantees a sensible and unique solution. This is also true for problems in low-level vision, which are addressing visual information at a basic level (e.g. pixels of an image), and are of interest for this work. Markov Random Fields (MRFs) are widely used probabilistic models of "prior knowledge", which are used for regularization in a variety of computer vision problems, in particular those in low-level vision; we focus on generic MRF models for natural images and apply them to image restoration tasks. Learning MRFs from training data with a popular approach like the generic maximum likelihood (ML) method is often difficult, however, because of its computational complexity and the requirement to draw samples from the MRF. Because of these difficulties, a number of alternative learning methods have been proposed over the years, of which score matching (SM) is a promising one that has not been properly explored in the context of MRF models. Armed with an efficient sampler, we propose a flexible MRF model for natural images that we train under various circumstances. Instead of evaluating MRFs using a specific application and inference technique, as is common in the literature, we compare them in a fully application-neutral setting by means of their generative properties, i.e. how well they capture the statistics of natural images. We find that estimation with score matching is problematic for MRF image priors, and tentatively attribute this to the use of heavy-tailed potentials, which are required for MRF models to match the statistics of natural images. Hence, we also take a different route and exploit our efficient sampler to improve learning with contrastive divergence (CD), an efficient learning method closely related to ML, which has successfully been applied to MRF parameter learning in the past. We let score matching and contrastive divergence compete to learn the parameters of MRFs, which enables us to better understand the weaknesses and strengths of both methods. Using contrastive divergence, we learn MRFs that capture the statistics of natural images very well. We additionally find that popular MRF models from the literature exhibit poor generative properties, despite their good application performance in the context of maximum a-posteriori (MAP) estimation; they surprisingly even outperform our good generative models. By computing the posterior mean (MMSE) using sampling, we are able to achieve excellent results in image restoration tasks with our applicationneutral generative MRFs, that can even compete with application-specific discriminative approaches. Viele Probleme des Maschinellen Sehens sind (mathematisch) nicht korrekt gestellt in dem Sinne, dass es meist viele Lösungen gibt; solche Probleme benötigen deshalb eine gewisse Form der Regularisierung, die eine vernünftige und eindeutige Lösung garantiert. Das gilt auch für Probleme im Bereich "Low-Level Vision", die sich mit visuellen Information auf einem niedrigen Level befassen (z.B. Pixel eines Bildes) und von Belang für diese Arbeit sind. Markov Random Fields (MRFs) sind weithin genutzte probabilistische Modelle von "Vorwissen", die für Regularisierung in vielfältigen Problemen des Maschinellen Sehens verwendet werden, insbesondere jene in "Low-Level Vision"; wir konzentrieren uns auf generische MRF-Modelle für natürliche Bilder und wenden diese auf Probleme der Bildwiederherstellung an. MRFs mit beliebten Ansätzen wie der allgemeinen Maximum-Likelihood (ML) Methode von Trainingsdaten zu lernen ist jedoch oft schwer, angesichts des Rechenaufwands und der Anforderung Stichproben des MRF-Modells zu produzieren ("Sampling"). Diese Schwierigkeiten haben dazu geführt dass im Laufe der Jahre einige alternative Lernverfahren vorgeschlagen wurden, von denen Score Matching (SM) ein vielversprechendes ist, das jedoch im Kontext von MRFs nicht gründlich erforscht wurde. Ausgerüstet mit einem effizienten Sampler schlagen wir ein flexibles MRF-Modell für natürliche Bilder vor, welches wir unter verschiedenen Gegebenheiten trainieren. Anstatt MRFs anhand einer Kombination von spezifischer Anwendung und Inferenzverfahren zu bewerten, wie in der Literatur üblich, vergleichen wir sie in einem vollkommen anwendungsneutralem Rahmen durch ihre generativen Eigenschaften, d.h. wie gut sie die statistischen Eigenschaften von natürlichen Bildern modellieren. Wir stellen fest dass Score Matching problematisch für das Lernen von MRF-Modellen von Bildern ist, und schreiben dies vorläufig der Verwendung von Heavy-tailed-Verteilungen zu, welche benötigt werden um die statistischen Eigenschaften von natürlichen Bildern mit MRFs zu modellieren. Deshalb schlagen wir auch einen anderen Weg ein und verwenden unseren effizienten Sampler um das Lernen mit Contrastive Divergence (CD) zu verbessern, welches ein effizientes Lernverfahren ähnlich der ML-Methode ist und bereits in der Vergangenheit erfolgreich zum Lernen von MRFs verwendet wurde. Wir lassen Score Matching und Contrastive Divergence gegeneinander antreten die Parameter von MRFs zu lernen, was uns ermöglicht die Stärken und Schwächen beider Verfahren besser zu verstehen. Mittels Contrastive Divergence lernen wir MRFs welche die statistischen Eigenschaften von natürlichen Bildern sehr gut modellieren. Wir stellen zudem fest dass populäre MRF-Modelle aus der Literatur schlechte generative Eigenschaften aufweisen, ungeachtet ihrer guten Anwendungs-Ergebnisse im Zusammenhang mit Maximum-A-Posteriori (MAP) Schätzung; sie sind erstaunlicherweise sogar besser als unsere guten generativen Modelle. Durch Berechnung des Erwartungswertes der A-posteriori- Verteilung (MMSE) mittels Sampling erzielen unsere anwendungsneutralen generativen MRFs exzellente Resultate in Bildwiederherstellungs-Aufgaben und können sogar mit anwendungsspezifischen diskriminativen Ansätzen konkurrieren.

Frage zum Eintrag

Redaktionelle Details anzeigen