TU Darmstadt / ULB / TUbiblio

A Parallel Successive Convex Approximation Framework with Smoothing Majorization for Phase Retrieval

Liu, Tianyi (2024)
A Parallel Successive Convex Approximation Framework with Smoothing Majorization for Phase Retrieval.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00028201
Dissertation, Erstveröffentlichung, Verlagsversion

Kurzbeschreibung (Abstract)

This dissertation is concerned with the design and analysis of approximation-based methods for nonconvex nonsmooth optimization problems. The main idea behind those methods is to solve a difficult optimization problem by converting it into a sequence of simpler surrogate/approximate problems. In the two widely-used optimization frameworks, namely, the majorization-minimization (MM) framework and the successive convex approximation (SCA) framework, the approximate function is designed to be a global upper bound, called majorizer, of the original objective function and convex, respectively. Generally speaking, there are two desiderata of the approximate function, i.e., the tightness to the original objective function and the low computational complexity of minimizing the approximate function. In particular, we focus on techniques that can be used to construct a parallelizable approximate problem so as to take advantage of modern multicore computing platforms.

The first part of this thesis aims to develop an efficient parallelizable algorithmic framework based on approximation techniques for a broad class of nonconvex nonsmooth optimization problems. The classic convergence result of MM is established on the consistency of directional derivatives in all directions between the original objective function and its majorizer at the point where the majorizer is constructed. This requirement restricts the majorizer constructed at a nondifferentiable point of the original function to be also nonsmooth, which hinders its capability of simplifying nonsmooth problems since the minimization of the majorizing function, if restricted to be nonsmooth, may still be difficult. Therefore, in this thesis, we relax the derivative consistency in the majorization step so that a smooth majorizer that can be easily minimized is permitted for a wide class of nonsmooth problems. As a result of this relaxation of derivative consistency, the smoothing majorization leads to the convergence to a stationary solution in a more relaxed sense than the classic MM. Furthermore, in contrast to minimizing the possibly nonconvex majorizing function exactly, the smoothness of the majorizing function allows us to employ the idea of SCA, along with available separable approximation techniques, to obtain an approximate minimizer of the majorizing function efficiently. Thus, we develop a parallelizable inexact MM framework, termed smoothing SCA, by combining the smoothing majorization technique and the idea of successive convex approximation. In this framework, the construction of the approximate problem at each iteration is divided into two steps, namely, the smoothing majorization and the convex approximation, so that the two desiderata of the approximate function can be treated separately. In addition, both the exact and inexact MM with smoothing majorization can be implemented block-coordinatewise to exploit potential separable structures of the constraints in the optimization problem. The convergence behaviors of the proposed frameworks are analyzed accordingly.

In the second part of this thesis, as our mainly promoted framework, the smoothing SCA framework is employed to address the phase retrieval with dictionary learning problem. Two efficient parallel algorithms are developed by applying the smoothing SCA to two complementary nonconvex nonsmooth formulations, respectively, which are both based on a least-squares criterion. The computational complexities of the proposed algorithms are theoretically analyzed and both their error performance and computational time are evaluated by extensive simulations in the context of blind channel estimation from subband magnitude measurements in multi-antenna random access network, in comparison to the state-of-the-art methods.

Typ des Eintrags: Dissertation
Erschienen: 2024
Autor(en): Liu, Tianyi
Art des Eintrags: Erstveröffentlichung
Titel: A Parallel Successive Convex Approximation Framework with Smoothing Majorization for Phase Retrieval
Sprache: Englisch
Referenten: Pesavento, Prof. Dr. Marius ; Ulbrich, Prof. Dr. Stefan
Publikationsjahr: 10 Oktober 2024
Ort: Darmstadt
Kollation: VIII, 154 Seiten
Datum der mündlichen Prüfung: 26 September 2024
DOI: 10.26083/tuprints-00028201
URL / URN: https://tuprints.ulb.tu-darmstadt.de/28201
Kurzbeschreibung (Abstract):

This dissertation is concerned with the design and analysis of approximation-based methods for nonconvex nonsmooth optimization problems. The main idea behind those methods is to solve a difficult optimization problem by converting it into a sequence of simpler surrogate/approximate problems. In the two widely-used optimization frameworks, namely, the majorization-minimization (MM) framework and the successive convex approximation (SCA) framework, the approximate function is designed to be a global upper bound, called majorizer, of the original objective function and convex, respectively. Generally speaking, there are two desiderata of the approximate function, i.e., the tightness to the original objective function and the low computational complexity of minimizing the approximate function. In particular, we focus on techniques that can be used to construct a parallelizable approximate problem so as to take advantage of modern multicore computing platforms.

The first part of this thesis aims to develop an efficient parallelizable algorithmic framework based on approximation techniques for a broad class of nonconvex nonsmooth optimization problems. The classic convergence result of MM is established on the consistency of directional derivatives in all directions between the original objective function and its majorizer at the point where the majorizer is constructed. This requirement restricts the majorizer constructed at a nondifferentiable point of the original function to be also nonsmooth, which hinders its capability of simplifying nonsmooth problems since the minimization of the majorizing function, if restricted to be nonsmooth, may still be difficult. Therefore, in this thesis, we relax the derivative consistency in the majorization step so that a smooth majorizer that can be easily minimized is permitted for a wide class of nonsmooth problems. As a result of this relaxation of derivative consistency, the smoothing majorization leads to the convergence to a stationary solution in a more relaxed sense than the classic MM. Furthermore, in contrast to minimizing the possibly nonconvex majorizing function exactly, the smoothness of the majorizing function allows us to employ the idea of SCA, along with available separable approximation techniques, to obtain an approximate minimizer of the majorizing function efficiently. Thus, we develop a parallelizable inexact MM framework, termed smoothing SCA, by combining the smoothing majorization technique and the idea of successive convex approximation. In this framework, the construction of the approximate problem at each iteration is divided into two steps, namely, the smoothing majorization and the convex approximation, so that the two desiderata of the approximate function can be treated separately. In addition, both the exact and inexact MM with smoothing majorization can be implemented block-coordinatewise to exploit potential separable structures of the constraints in the optimization problem. The convergence behaviors of the proposed frameworks are analyzed accordingly.

In the second part of this thesis, as our mainly promoted framework, the smoothing SCA framework is employed to address the phase retrieval with dictionary learning problem. Two efficient parallel algorithms are developed by applying the smoothing SCA to two complementary nonconvex nonsmooth formulations, respectively, which are both based on a least-squares criterion. The computational complexities of the proposed algorithms are theoretically analyzed and both their error performance and computational time are evaluated by extensive simulations in the context of blind channel estimation from subband magnitude measurements in multi-antenna random access network, in comparison to the state-of-the-art methods.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Diese Dissertation befasst sich mit dem Entwurf und der Analyse von approximationsbasierten Methoden für nichtkonvexe und nichtglatte Optimierungsprobleme. Die Hauptidee dieser Methoden besteht darin, ein schwieriges Optimierungsproblem zu lösen, indem es in eine Reihe von einfacheren Ersatz- bzw. approximativen Problemen umgewandelt wird. In den beiden weit verbreiteten Optimierungsrahmenwerken, nämlich dem Majorization-Minimization (MM) Rahmenwerk und dem sukzessiven konvexen Approximation (SCA) Rahmenwerk, wird die approximative Funktion so gestaltet, dass sie eine globale obere Schranke, genannt Majorisierer, der ursprünglichen Zielfunktion bzw. konvex ist. Allgemein gesprochen gibt es zwei Anforderungen an die approximative Funktion, nämlich die Nähe zur ursprünglichen Zielfunktion und die geringe Rechenkomplexität der Minimierung der approximativen Funktion. Insbesondere konzentrieren wir uns auf Techniken, die verwendet werden können, um ein parallelisierbares approximatives Problem zu konstruieren, um moderne Multicore-Computing-Plattformen zu nutzen.

Der erste Teil dieser Arbeit zielt darauf ab, einen effizienten parallelisierbaren algorithmischen Rahmen basierend auf Approximationstechniken für eine breite Klasse von nichtkonvexen und nichtglatten Optimierungsproblemen zu entwickeln. Das klassische Konvergenzergebnis von MM basiert auf der Konsistenz der Richtungsableitungen in allen Richtungen zwischen der ursprünglichen Zielfunktion und ihrem Majorisierer an dem Punkt, an dem der Majorisierer konstruiert wird. Diese Anforderung beschränkt den am nichtdifferenzierbaren Punkt der ursprünglichen Funktion konstruierten Majorisierer darauf, ebenfalls nicht glatt zu sein, was seine Fähigkeit zur Vereinfachung nichtglatter Probleme einschränkt, da die Minimierung der majorisierenden Funktion, wenn sie auf nicht glatt beschränkt ist, weiterhin schwierig sein kann. Daher lockern wir in dieser Arbeit die Konsistenz der Ableitung im Majorisierungsschritt, sodass ein glatter Majorisierer, der leicht minimiert werden kann, für eine breite Klasse von nichtglatten Problemen zugelassen wird. Als Ergebnis dieser Lockerung der Ableitungskonsistenz führt die glättende Majorisierung zur Konvergenz zu einer stationären Lösung in einem entspannteren Sinne als das klassische MM. Darüber hinaus ermöglicht uns die Glätte der majorisierenden Funktion im Gegensatz zur exakten Minimierung der möglicherweise nichtkonvexen majorisierenden Funktion die Anwendung der Idee von SCA sowie verfügbarer separierbarer Approximationstechniken, um einen approximativen Minimierer der majorisierenden Funktion effizient zu erhalten. Daher entwickeln wir einen parallelisierbaren inexakten MM-Rahmen, genannt Smoothing SCA, indem wir die glättende Majorisierungstechnik und die Idee der sukzessiven konvexen Approximation kombinieren. In diesem Rahmen wird die Konstruktion des approximativen Problems bei jeder Iteration in zwei Schritte unterteilt, nämlich die glättende Majorisierung und die konvexe Approximation, sodass die beiden Anforderungen an die approximative Funktion getrennt behandelt werden können. Darüber hinaus können sowohl das exakte als auch das inexakte MM mit glättender Majorisierung blockkoordinatenweise implementiert werden, um potenzielle separierbare Strukturen der Einschränkungen im Optimierungsproblem auszunutzen. Das Konvergenzverhalten der vorgeschlagenen Rahmenwerke wird entsprechend analysiert.

Im zweiten Teil dieser Arbeit wird das von uns hauptsächlich propagierte Rahmenwerk, das glättende SCA-Rahmenwerk, verwendet, um das Phasenrückgewinnungsproblem mit Wörterbuchlernen anzugehen. Zwei effiziente Parallelalgorithmen werden entwickelt, indem das glättende SCA auf zwei komplementäre nichtkonvexe und nichtglatte Formulierungen angewendet wird, die beide auf einem Kriterium der kleinsten Quadrate basieren. Die Rechenkomplexitäten der vorgeschlagenen Algorithmen werden theoretisch analysiert und sowohl ihre Fehlerleistung als auch ihre Rechenzeit werden durch umfangreiche Simulationen im Kontext der blinden Kanalschätzung aus Subband-Amplitudenmessungen in einem Mehrantennen-Zugriffsnetzwerk im Vergleich zu den modernsten Methoden bewertet.

Deutsch
Status: Verlagsversion
URN: urn:nbn:de:tuda-tuprints-282016
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 600 Technik, Medizin, angewandte Wissenschaften > 620 Ingenieurwissenschaften und Maschinenbau
Fachbereich(e)/-gebiet(e): 18 Fachbereich Elektrotechnik und Informationstechnik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Nachrichtentechnik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Nachrichtentechnik > Nachrichtentechnische Systeme
Hinterlegungsdatum: 10 Okt 2024 12:38
Letzte Änderung: 11 Okt 2024 12:49
PPN:
Referenten: Pesavento, Prof. Dr. Marius ; Ulbrich, Prof. Dr. Stefan
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 26 September 2024
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen