TU Darmstadt / ULB / TUbiblio

Estimating Sparse Representations from Dictionaries With Uncertainty

Weiß, Christian (2017)
Estimating Sparse Representations from Dictionaries With Uncertainty.
Technische Universität Darmstadt
Dissertation, Erstveröffentlichung

Kurzbeschreibung (Abstract)

In the last two decades, sparse representations have gained increasing attention in a variety of engineering applications. A sparse representation of a signal requires a dictionary of basic elements that describe salient and discriminant features of that signal. When the dictionary is created from a mathematical model, its expressiveness depends on the quality of this model. In this dissertation, the problem of estimating sparse representations in the presence of errors and uncertainty in the dictionary is addressed. In the first part, a statistical framework for sparse regularization is introduced. The second part is concerned with the development of methodologies for estimating sparse representations from highly redundant dictionaries along with unknown dictionary parameters. The presented methods are illustrated using applications in direction finding and fiber-optic sensing. They serve as illustrative examples for investigating the abstract problems in the theory of sparse representations. Estimating a sparse representation often involves the solution of a regularized optimization problem. The presented regularization framework offers a systematic procedure for the determination of a regularization parameter that accounts for the joint effects of model errors and measurement noise. It is determined as an upper bound of the mean-squared error between the corrupted data and the ideal model. Despite proper regularization, the quality and accuracy of the obtained sparse representation remains affected by model errors and is indeed sensitive to changes in the regularization parameter. To alleviate this problem, dictionary calibration is performed. The framework is applied to the problem of direction finding. Redundancy enables the dictionary to describe a broader class of observations but also increases the similarity between different entries, which leads to ambiguous representations. To address the problem of redundancy and additional uncertainty in the dictionary parameters, two strategies are pursued. Firstly, an alternating estimation method for iteratively determining the underlying sparse representation and the dictionary parameters is presented. Also, theoretical bounds for the estimation errors are derived. Secondly, a Bayesian framework for estimating sparse representations and dictionary learning is developed. A hierarchical structure is considered to account for uncertainty in prior assumptions. The considered model for the coefficients of the sparse representation is particularly designed to handle high redundancy in the dictionary. Approximate inference is accomplished using a hybrid Markov Chain Monte Carlo algorithm. The performance and practical applicability of both methodologies is evaluated for a problem in fiber-optic sensing, where a mathematical model for the sensor signal is compiled. This model is used to generate a suitable parametric dictionary.

Typ des Eintrags: Dissertation
Erschienen: 2017
Autor(en): Weiß, Christian
Art des Eintrags: Erstveröffentlichung
Titel: Estimating Sparse Representations from Dictionaries With Uncertainty
Sprache: Englisch
Referenten: Zoubir, Prof. Dr. Abdelhak M. ; Gini, Prof. Dr. Fulvio
Publikationsjahr: April 2017
Ort: Darmstadt
Datum der mündlichen Prüfung: 24 März 2017
URL / URN: http://tuprints.ulb.tu-darmstadt.de/6152
Kurzbeschreibung (Abstract):

In the last two decades, sparse representations have gained increasing attention in a variety of engineering applications. A sparse representation of a signal requires a dictionary of basic elements that describe salient and discriminant features of that signal. When the dictionary is created from a mathematical model, its expressiveness depends on the quality of this model. In this dissertation, the problem of estimating sparse representations in the presence of errors and uncertainty in the dictionary is addressed. In the first part, a statistical framework for sparse regularization is introduced. The second part is concerned with the development of methodologies for estimating sparse representations from highly redundant dictionaries along with unknown dictionary parameters. The presented methods are illustrated using applications in direction finding and fiber-optic sensing. They serve as illustrative examples for investigating the abstract problems in the theory of sparse representations. Estimating a sparse representation often involves the solution of a regularized optimization problem. The presented regularization framework offers a systematic procedure for the determination of a regularization parameter that accounts for the joint effects of model errors and measurement noise. It is determined as an upper bound of the mean-squared error between the corrupted data and the ideal model. Despite proper regularization, the quality and accuracy of the obtained sparse representation remains affected by model errors and is indeed sensitive to changes in the regularization parameter. To alleviate this problem, dictionary calibration is performed. The framework is applied to the problem of direction finding. Redundancy enables the dictionary to describe a broader class of observations but also increases the similarity between different entries, which leads to ambiguous representations. To address the problem of redundancy and additional uncertainty in the dictionary parameters, two strategies are pursued. Firstly, an alternating estimation method for iteratively determining the underlying sparse representation and the dictionary parameters is presented. Also, theoretical bounds for the estimation errors are derived. Secondly, a Bayesian framework for estimating sparse representations and dictionary learning is developed. A hierarchical structure is considered to account for uncertainty in prior assumptions. The considered model for the coefficients of the sparse representation is particularly designed to handle high redundancy in the dictionary. Approximate inference is accomplished using a hybrid Markov Chain Monte Carlo algorithm. The performance and practical applicability of both methodologies is evaluated for a problem in fiber-optic sensing, where a mathematical model for the sensor signal is compiled. This model is used to generate a suitable parametric dictionary.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

In den letzten zwei Jahrzehnten erhielten spärliche Darstellungen vermehrt Aufmerksamkeit in zahlreichen ingenieurswissenschaftlichen Anwednungen. Für eine spärliche (sparse) Darstellung eines Signals benötigt man ein Wörterbuch (dictionary) aus Basiselementen, welche auffallende und diskriminative Merkmale des Signals beschreiben. Wird das Wörterbuch durch ein analytisches Modell generiert, so hängt seine Aussagekraft von der Qualität dieses Modells ab. In der vorliegenden Dissertation wird das Problem der Schätzung von spärlichen Darstellungen in der Gegenwart von Fehlern und Unsicherheiten bezüglich des Wörterbuchs behandelt. Im ersten Teil wird ein statistisches Rahmenwerk zur spärlichen Regularisierung eingeführt. Der zweite Teil befasst sich mit der Entwicklung von Methodiken zur Schätzung von spärlichen Darstellungen aus hoch-redundanten Wörterbüchern mit unbekannten Wörterbuchparametern. Die vorgestellten Methoden werden mit Hilfe von Anwendungen der Richtungsbestimmung und der faseroptischen Abtastung ausgewertet. Diese dienen als illustrative Beispiele zur Erforschung der abstrakten Probleme in der Theorie der spärlichen Darstellungen. Das Schätzen einer spärlichen Darstellung schließt oftmals die Lösung eines regularisierten Optimierungsproblems mit ein. Das vorgestellte Rahmenwerk zur Regularisierung bietet ein systematisches Verfahren zur Bestimmung eines Regularisierungsparameters, welcher die Verbundseffekte von Modellfehlern und Messrauschen erfasst. Er wird bestimmt durch eine obere Grenze für den mittleren quadratischen Fehler zwischen den fehlerhaften Daten und dem idealen Modell. Trotz angemessener Regularisierung bleibt die Qualität und die Genauigkeit der erhaltenen spärlichen Darstellung durch die Modellfehler beeinträchtigt und ist durchaus empfindlich bezüglich Änderungen des Regularisierungsparameters. Um dieses Problem zu erleichtern wird eine Wörterbuchkalibrierung durchgeführt. Das Rahmenwerk wird für das Problem der Richtungsschätzung angewendet. Redundanz ermöglicht es mit dem Wörterbuch eine breitere Klasse von Beobachtungen zu beschreiben. Jedoch wird dadurch auch die Ähnlichkeit zwischen den Einträgen erhöht, was zu missverständlichen Darstellungen führt. Um das Problem der Redundanz und der zusätzlichen Unsicherheit im Wörterbuch zu behandeln werden zwei Strategien verfolgt. Zunächst wird eine Methode der alternierenden Schätzung zur iterativen Bestimmung der zugrundeliegenden spärlichen Darstellung und der Wörterbuchparameter vorgestellt. Ferner werden theoretische Grenzen für den Schätzfehler hergeleitet. Zweitens wird ein Bayes'sches Rahmenwerk zum Schätzen von spärlicher Darstellungen und zum Lernen von Wörterbüchern entwickelt. Ein hierarchisches Modell wird betrachtet um Unsicherheiten in vorherigen Annahmen zu erfassen. Das betrachtete Modell für die Koeffizienten der spärlichen Darstellung ist speziell für dem Umgang mit Redundanz im Wörterbuch konzipiert. Approximative Inferenz wird unter Verwendung eines hybriden Markov Chain Monte Carlo Algorithmus durchgeführt. Die Leistungsfähigkeit und die praktische Anwendbarkeit beider Methodiken wird für ein Problem aus der faseroptischen Abtastung ausgewertet. Dabei wird ein analytisches Modell für das Sensorsignal zusammengestellt, welches dann genutzt wird um ein geeignetes Wörterbuch zu generieren.

Deutsch
URN: urn:nbn:de:tuda-tuprints-61526
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 600 Technik, Medizin, angewandte Wissenschaften > 620 Ingenieurwissenschaften und Maschinenbau
Fachbereich(e)/-gebiet(e): 18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Nachrichtentechnik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Nachrichtentechnik > Signalverarbeitung
Exzellenzinitiative > Graduiertenschulen > Graduate School of Computational Engineering (CE)
Exzellenzinitiative > Graduiertenschulen
18 Fachbereich Elektrotechnik und Informationstechnik
Exzellenzinitiative
Hinterlegungsdatum: 23 Apr 2017 19:55
Letzte Änderung: 23 Apr 2017 19:55
PPN:
Referenten: Zoubir, Prof. Dr. Abdelhak M. ; Gini, Prof. Dr. Fulvio
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 24 März 2017
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen