TU Darmstadt / ULB / TUbiblio

Low-rank tensor decompositions for surrogate modeling in forward and inverse problems

Ion, Ion Gabriel (2024)
Low-rank tensor decompositions for surrogate modeling in forward and inverse problems.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00026678
Dissertation, Erstveröffentlichung, Verlagsversion

Kurzbeschreibung (Abstract)

This thesis addresses the topic of surrogate modeling for forward and inverse problems, in the context of parameter dependent systems described by differential equations. The surrogate model is an accurate approximation of the parameter dependent quantity of interest and is used to accelerate both forward model evaluations and Bayesian inversion. Two applications are considered: the parameter dependent chemical master equation (CME) and elliptic partial differential equations (PDEs) with parameter dependent computational domains. In both cases, a tensor product basis expansion is used to accommodate the parameter dependence, thus increasing the number of dimensions of the tensor used to store the approximation’s basis coefficients. Low-rank tensor decompositions, in particular the tensor-train (TT) format, are used to reduce the computational costs of storing and handling large high-dimensional tensors. A dedicated solver is then used to obtain the coefficient tensor of the basis expansion in the low-rank format. The main challenge is the construction of the discrete systems directly in the low-rank format for the combined state-parameter space. The solution of the CME is naturally represented as a tensor and the low-rank format can be directly applied to enhance the solver’s performance. An algorithm for assembling the discrete operators for the joint state-parameter-time is presented. The computational complexity of this step is linear with respect to the number of dimensions. The developed framework is used for efficiently solving Bayesian inference tasks such as state reconstruction and parameter identification. When dealing with PDEs, the tensor product structure of the discrete solution space is no longer a natural assumption. The discretization method in this case is the isogeometric analysis (IGA), since it leads to a tensor product structure of the solution in the reference domain. The TT format can then be used to represent the solution. When writing the weak formulation, the integral over the parameter dependent domain is transformed to an integral over a fixed reference domain with parameter dependent metric. The dimensionality of the solution tensor is then increased to accommodate the parameters. In both cases, the use of the low-rank TT decomposition leads to accurate results at significantly reduced computational cost. The proposed tensor-train (TT) based frameworks are able to tackle high dimensional problems that would require a prohibitive amount of memory. This can be especially noticed when dealing with large reaction networks. The storage reduction brings a speedup of the runtime of the simulation. As an example, the complexity of constructing the discrete IGA operators in the TT format is asymptotically more efficient and orders of magnitude faster.

Typ des Eintrags: Dissertation
Erschienen: 2024
Autor(en): Ion, Ion Gabriel
Art des Eintrags: Erstveröffentlichung
Titel: Low-rank tensor decompositions for surrogate modeling in forward and inverse problems
Sprache: Englisch
Referenten: De Gersem, Prof. Dr. Herbert ; Römer, Prof. Dr. Ulrich
Publikationsjahr: 13 März 2024
Ort: Darmstadt
Kollation: x, 132 Seiten
Datum der mündlichen Prüfung: 18 Januar 2023
DOI: 10.26083/tuprints-00026678
URL / URN: https://tuprints.ulb.tu-darmstadt.de/26678
Kurzbeschreibung (Abstract):

This thesis addresses the topic of surrogate modeling for forward and inverse problems, in the context of parameter dependent systems described by differential equations. The surrogate model is an accurate approximation of the parameter dependent quantity of interest and is used to accelerate both forward model evaluations and Bayesian inversion. Two applications are considered: the parameter dependent chemical master equation (CME) and elliptic partial differential equations (PDEs) with parameter dependent computational domains. In both cases, a tensor product basis expansion is used to accommodate the parameter dependence, thus increasing the number of dimensions of the tensor used to store the approximation’s basis coefficients. Low-rank tensor decompositions, in particular the tensor-train (TT) format, are used to reduce the computational costs of storing and handling large high-dimensional tensors. A dedicated solver is then used to obtain the coefficient tensor of the basis expansion in the low-rank format. The main challenge is the construction of the discrete systems directly in the low-rank format for the combined state-parameter space. The solution of the CME is naturally represented as a tensor and the low-rank format can be directly applied to enhance the solver’s performance. An algorithm for assembling the discrete operators for the joint state-parameter-time is presented. The computational complexity of this step is linear with respect to the number of dimensions. The developed framework is used for efficiently solving Bayesian inference tasks such as state reconstruction and parameter identification. When dealing with PDEs, the tensor product structure of the discrete solution space is no longer a natural assumption. The discretization method in this case is the isogeometric analysis (IGA), since it leads to a tensor product structure of the solution in the reference domain. The TT format can then be used to represent the solution. When writing the weak formulation, the integral over the parameter dependent domain is transformed to an integral over a fixed reference domain with parameter dependent metric. The dimensionality of the solution tensor is then increased to accommodate the parameters. In both cases, the use of the low-rank TT decomposition leads to accurate results at significantly reduced computational cost. The proposed tensor-train (TT) based frameworks are able to tackle high dimensional problems that would require a prohibitive amount of memory. This can be especially noticed when dealing with large reaction networks. The storage reduction brings a speedup of the runtime of the simulation. As an example, the complexity of constructing the discrete IGA operators in the TT format is asymptotically more efficient and orders of magnitude faster.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Diese Thesis behandelt das Thema der Surrogatmodellierung von Vorwärts- und Inversen Problemen im Rahmen von parameterabhängige Systemen, welche von Differentialgleichungen beschreiben sind. Surrogatmodelle werden genutzt um eine genaue Approximation des parameterabhängigen Systemzustandes zu gewinnen und werden verwendet um sowohl Vorwärtsmodellauswertungen als auch Bayessche Inversion zu beschleunigen. Im Folgenden werden zwei Anwendungen betrachtet, nämlich die parameterabhängige Chemische Mastergleichung als auch eine elliptische partielle Differentialgleichungen mit parameterabhängigen Gebieten. In beiden Fällen wird eine Tensorproduktbasisdarstellung verwendet um den Parameterzusammenhang darzustellen was dazu führt, dass sich die Dimension des Lösungstensors mit der Anzahl der Parameter erhöht, was vorallem mit vielen Parametern im Bezug zur Zeitkomplexität sehr teuer wird. Um diese Problematik anzugehen, werden Niedrig-Rang Tensor Zerlegungen, insbesonders das “Tensor-Train” Format, angewendet um die Speicher- und Zeitkomplexität von hochdimensionale Tensoren zu reduzieren. Um den Tensor der Freiheitsgrade im komprimierten Format zu gewinnen, wird ein speziell für diesen Zweck bestimmter Löser verwendet. Darin liegt die grösste Herausforderung in der Konstruktion der diskreten Systeme direkt in dem “Tensor-Train” Format für den gesamten Zustandsraum der Parameter. Die Lösung der Chemischen Mastergleichung kann auf natürliche Art und Weise in einem Tensorformat dargestellt werden, und die Niedrig-Rang Formate können direkt angewendet werden um eine Reduktion der Rechenzeit zu erziehlen. Um eine effiziente Konstruktion der diskreten Operatoren zu bekommen, wird ein Algorithmus für den gesamten Zustand-Parameter-Zeit Tensor vorgestellt und erfolgreich verwendet um Bayessche Inferenz Aufgaben, wie zum Beispiel Zustandsrekonstruktion und Parameteridentifikation, durchhzuführen. Im Falle von partiellen Differentialgleichungen, ist die Tensorproduktstruktur der diskretisierten Lösung nicht mehr vorhanden. Daher muss das Diskretisierungsverfahren so gewählt werden, dass eine Tensorproduktstruktur vorliegt, was speziell im Kontext der Isogeometrischen Analyse der Fall ist, da die im Referenzgebiet dargestellte Lösung entsprechendes Format hat. Das “Tensor-Train” Format kann somit für die Darstellung der Lösung verwendet werden. Die aus der schwachen Formulierung resultierende Integrale können mithilfe der Substitutionsregel über ein fixes Referenzgebiet mit einem modifizierten Metrik durchgeführt werden, anstatt über das parameterabhängige Gebiet zu integrieren. Die Anzahl an Dimensionen wird gleichzeitig erhöht um die Parameterzusammenhang einzufügen. In beiden Anwendungen, führt das Niedrig-Rang “Tensor-Train” Format zu einer genauen Approximation der Lösung, mit reduzierter Rechenkomplexität. Die vorgeschlagenen Methoden besitzen die Fähigkeit hochdimensionale Probleme mit grossem Speicherbedarf zu lösen, was vorallem im Fall von Mastergleichungen mit vielen Reaktionsnetzerken der Fall ist. Die Speicherreduktion bringt auch eine Beschleunigung der Laufzeit der Simulationen, was besonders im Fall der Konstruktion diskreter Operatoren für parameter-abhängigen Probleme in Augenschein tritt. Hier ist die vorgeschlagene Methode asymptotisch effizienter und um Größenordnungen schneller.

Deutsch
Status: Verlagsversion
URN: urn:nbn:de:tuda-tuprints-266782
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 600 Technik, Medizin, angewandte Wissenschaften > 621.3 Elektrotechnik, Elektronik
Fachbereich(e)/-gebiet(e): 18 Fachbereich Elektrotechnik und Informationstechnik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Teilchenbeschleunigung und Theorie Elektromagnetische Felder > Finite Methoden der Elektrodynamik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Teilchenbeschleunigung und Theorie Elektromagnetische Felder
Hinterlegungsdatum: 13 Mär 2024 10:34
Letzte Änderung: 25 Mär 2024 15:03
PPN:
Referenten: De Gersem, Prof. Dr. Herbert ; Römer, Prof. Dr. Ulrich
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 18 Januar 2023
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen