TU Darmstadt / ULB / TUbiblio

Physics-Enhanced Machine Learning for Chemical Kinetics

Döppel, Felix Antonidas (2024)
Physics-Enhanced Machine Learning for Chemical Kinetics.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00027384
Dissertation, Erstveröffentlichung, Verlagsversion

Kurzbeschreibung (Abstract)

The energy transition and the transformation of the chemical industry are major efforts in addressing the challenges of climate change. Both require the development of new and optimized catalytic devices. The rational design of these devices depends on a thorough understanding of the underlying chemical kinetics. As kinetic model development gets outpaced by the ever-increasing availability of kinetic data, there is a growing demand for automated mechanism discovery. But even when detailed kinetic models are available, their use for the knowledge-based design of catalytic devices is limited by their high computational cost. The objective of this work is to design physically plausible machine learning models that facilitate the discovery of chemical reaction mechanisms and enable their efficient implementation in simulations of catalytic devices. The cost of reactive flow simulations is often reduced by replacing the computationally intensive evaluation of chemical kinetics with a numerically less demanding, so-called surrogate model. However, surrogates have not yet been systematically applied to surface kinetics of industrially relevant complexity because they rely on logarithmic data normalization. The logarithm, however, is incompatible with systems that contain intermediate species or operate close to the chemical equilibrium, as the modelled source terms change sign and thereby leave the domain of the logarithm. This work provides two methods that extend the scope of surface kinetic surrogate modelling: 1. Modelling the rates of the rate-determining steps instead of species source terms re-enables logarithmic normalization because the considered elementary rates are strictly positive. 2. Replacing the logarithm with specialized logarithm-like functions extends the domain of allowed source terms to positive as well as negative numbers. Further, this work introduces neural networks to surface kinetic modelling and demonstrates their superiority over splines, the former state of the art, in terms of accuracy, prediction time, and the required amount of storage space. The proposed latent data transformation technique makes use of the high structural flexibility of neural network models to embed the principles of atom conservation, the Arrhenius law, and the law of mass action directly into the model. The resulting surrogates accurately predict the chemical kinetics of industrially relevant systems, as exemplarily shown for the preferential oxidation of CO, which is relevant to hydrogen production for fuel cell applications, and the ammonia oxidation under industrially relevant conditions of the Ostwald process. Reactor simulations of these systems are accelerated by four to five orders of magnitude. Increasingly detailed kinetics, such as first principles kinetic Monte Carlo simulations, are becoming the gold standard in chemical engineering. Their solution is computationally so expensive that even the collection of a sufficient amount of data to train a surrogate model becomes infeasible. This work proposes a grid-free training set design scheme that evaluates only those data that significantly contribute to the accuracy of the surrogate. Applied to the preferential oxidation of CO, this leads to a 14-fold reduction in the amount of required training data. Uncertainty estimation is performed by two-layered kernel models and further employed to track the accuracy of surrogates during their use in reactor simulations. This allows to refine the model on-the-fly and thereby ensures reliable simulation results, even outside the original training range of the model. The recently developed chemical reaction neural network is a digital twin of the classic microkinetic mechanism that has found widespread application in many fields, such as (bio-)chemical engineering and combustion. While it encodes some fundamental physical laws, mass and atom conservation are still violated. Here, atom conservation is enforced by adding a dedicated neural network layer which can be interpreted as constraining the model to physically realizable stoichiometries. As the resulting models are physically consistent, they are more robust to limited data availability, noisy data, and systematic measurement errors. Overall, this work improves the physical interpretability and extrapolation capabilities of machine learning models for chemical kinetics. In particular, it presents physics-enhanced neural network architectures, that contain the fundamental physical laws of atom conservation and thermodynamics as well as the more specific Arrhenius law and the law of mass action. Together with accurate uncertainty quantification, this yields fast and reliable implementations of chemical kinetics into reactive flow simulations, allowing their systematic evaluation for the knowledge-based design of catalytic devices. Further, these models perform automated mechanism discovery, pushing the boundary of kinetic insights.

Typ des Eintrags: Dissertation
Erschienen: 2024
Autor(en): Döppel, Felix Antonidas
Art des Eintrags: Erstveröffentlichung
Titel: Physics-Enhanced Machine Learning for Chemical Kinetics
Sprache: Englisch
Referenten: Votsmeier, Prof. Dr. Martin ; Weeger, Prof. Dr. Oliver ; Deutschmann, Prof. Dr. Olaf
Publikationsjahr: 24 Mai 2024
Ort: Darmstadt
Kollation: IX, 110 Seiten
Datum der mündlichen Prüfung: 13 Mai 2024
DOI: 10.26083/tuprints-00027384
URL / URN: https://tuprints.ulb.tu-darmstadt.de/27384
Kurzbeschreibung (Abstract):

The energy transition and the transformation of the chemical industry are major efforts in addressing the challenges of climate change. Both require the development of new and optimized catalytic devices. The rational design of these devices depends on a thorough understanding of the underlying chemical kinetics. As kinetic model development gets outpaced by the ever-increasing availability of kinetic data, there is a growing demand for automated mechanism discovery. But even when detailed kinetic models are available, their use for the knowledge-based design of catalytic devices is limited by their high computational cost. The objective of this work is to design physically plausible machine learning models that facilitate the discovery of chemical reaction mechanisms and enable their efficient implementation in simulations of catalytic devices. The cost of reactive flow simulations is often reduced by replacing the computationally intensive evaluation of chemical kinetics with a numerically less demanding, so-called surrogate model. However, surrogates have not yet been systematically applied to surface kinetics of industrially relevant complexity because they rely on logarithmic data normalization. The logarithm, however, is incompatible with systems that contain intermediate species or operate close to the chemical equilibrium, as the modelled source terms change sign and thereby leave the domain of the logarithm. This work provides two methods that extend the scope of surface kinetic surrogate modelling: 1. Modelling the rates of the rate-determining steps instead of species source terms re-enables logarithmic normalization because the considered elementary rates are strictly positive. 2. Replacing the logarithm with specialized logarithm-like functions extends the domain of allowed source terms to positive as well as negative numbers. Further, this work introduces neural networks to surface kinetic modelling and demonstrates their superiority over splines, the former state of the art, in terms of accuracy, prediction time, and the required amount of storage space. The proposed latent data transformation technique makes use of the high structural flexibility of neural network models to embed the principles of atom conservation, the Arrhenius law, and the law of mass action directly into the model. The resulting surrogates accurately predict the chemical kinetics of industrially relevant systems, as exemplarily shown for the preferential oxidation of CO, which is relevant to hydrogen production for fuel cell applications, and the ammonia oxidation under industrially relevant conditions of the Ostwald process. Reactor simulations of these systems are accelerated by four to five orders of magnitude. Increasingly detailed kinetics, such as first principles kinetic Monte Carlo simulations, are becoming the gold standard in chemical engineering. Their solution is computationally so expensive that even the collection of a sufficient amount of data to train a surrogate model becomes infeasible. This work proposes a grid-free training set design scheme that evaluates only those data that significantly contribute to the accuracy of the surrogate. Applied to the preferential oxidation of CO, this leads to a 14-fold reduction in the amount of required training data. Uncertainty estimation is performed by two-layered kernel models and further employed to track the accuracy of surrogates during their use in reactor simulations. This allows to refine the model on-the-fly and thereby ensures reliable simulation results, even outside the original training range of the model. The recently developed chemical reaction neural network is a digital twin of the classic microkinetic mechanism that has found widespread application in many fields, such as (bio-)chemical engineering and combustion. While it encodes some fundamental physical laws, mass and atom conservation are still violated. Here, atom conservation is enforced by adding a dedicated neural network layer which can be interpreted as constraining the model to physically realizable stoichiometries. As the resulting models are physically consistent, they are more robust to limited data availability, noisy data, and systematic measurement errors. Overall, this work improves the physical interpretability and extrapolation capabilities of machine learning models for chemical kinetics. In particular, it presents physics-enhanced neural network architectures, that contain the fundamental physical laws of atom conservation and thermodynamics as well as the more specific Arrhenius law and the law of mass action. Together with accurate uncertainty quantification, this yields fast and reliable implementations of chemical kinetics into reactive flow simulations, allowing their systematic evaluation for the knowledge-based design of catalytic devices. Further, these models perform automated mechanism discovery, pushing the boundary of kinetic insights.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Die Energiewende und die Transformation der chemischen Industrie sind zentrale Maßnahmen, um den Herausforderungen von Umweltzerstörung und Klimawandel entgegenzutreten. Beide erfordern jedoch die Entwicklung neuer und optimierter katalytischer Reaktoren. Deren Auslegung verlangt wiederum ein weitreichendes Verständnis der zugrunde liegenden chemischen Kinetik. Da die Entwicklung kinetischer Modelle nicht mit der zunehmenden Verfügbarkeit kinetischer Daten Schritt halten kann, steigt nun der Bedarf an automatisierten Methoden zur Bestimmung chemischer Reaktionsmechanismen. Doch selbst wenn detaillierte kinetische Modelle verfügbar sind, verhindert deren hoher Rechenbedarf ihre Nutzung zum rationalen Design katalytischer Reaktoren. Ziel der vorliegenden Arbeit ist es, physikalisch plausible Maschinenlernverfahren zu entwickeln, die die Entdeckung chemischer Reaktionsmechanismen erleichtern und deren effiziente Implementierung in Simulationen chemischer Reaktoren ermöglichen. Der Rechenbedarf solcher Simulationen wird häufig dadurch reduziert, dass die physikalischen Modelle zur Bestimmung von Reaktionsraten durch numerisch weniger anspruchsvolle, sogenannte Ersatzmodelle ausgetauscht werden. Im Fall heterogen katalysierter Reaktionen gilt es, die Modelle der Oberflächenreaktionen zu ersetzen. Das gelingt bisher allerdings nur in einfachen Fällen, da die nötigen Ersatzmodelle ausschließlich in Verbindung mit einer logarithmische Datennormalisierung funktionieren. Der Logarithmus ist jedoch nur für positive Werte definiert. Somit können Spezies mit Quelltermen wechselnden Vorzeichens nicht modelliert werden. Das betrifft insbesondere Systeme, in denen Zwischenprodukte eine Rolle spielen und solche, die in der Nähe des chemischen Gleichgewichts betrieben werden. Die vorliegende Arbeit bietet zwei Methoden, um Ersatzmodelle dennoch auf Oberflächenreaktionen anzuwenden. 1. Werden die Raten des geschwindigkeitsbestimmenden Schritts anstelle der Nettobildungsraten modelliert, lässt sich die logarithmische Normierung wie gewohnt anwenden, da Elementarraten stets positive Werte annehmen. 2. Alternativ kann der Logarithmus durch spezielle, nah verwandte Funktionen ersetzt werden, deren Definitionsbereich alle reellen Zahlen umfasst und daher auch negative Quellterme zulässt. Des Weiteren werden in dieser Arbeit erstmals künstliche neuronale Netze zur Modellierung von Oberflächenraten eingesetzt. Diese sind dem bisherigen Stand der Forschung, den sogenannten Splines, in Bezug auf Genauigkeit und Geschwindigkeit von Vorhersagen sowie Speicherbedarf weit überlegen. Die vorgestellte Methode der latenten Datentransformation nutzt die Flexibilität künstlicher neuronaler Netze, um die physikalischen Prinzipien von Massenerhaltung, Arrheniusgesetz und Massenwirkungsgesetz direkt in der Modellstruktur zu codieren. Die resultierenden Ersatzmodelle geben präzise Schätzungen der Reaktionsraten von industriell relevanten Systemen. Exemplarisch wird das anhand der bevorzugten Oxidation von CO in wasserstoffhaltigen Gasen demonstriert. Dieser Prozess findet Anwendung, um Wasserstoff aus der Dampfreformierung für die Nutzung in Brennstoffzellen aufzubereiten. Als weiteres Beispiel wird die Ammoniakoxidation im Ostwaldverfahren unter industriell relevanten Bedingungen herangezogen. Reaktorsimulationen beider Systeme werden um vier bis fünf Größenordnungen beschleunigt. In der chemischen Verfahrenstechnik ist ein Trend hin zu immer detaillierteren Kinetiken zu beobachten. Mittlerweile haben sich dort kinetische Monte-Carlo Simulationen als Goldstandard zur Beschreibung heterogen katalysierter Systeme etabliert. Diese sind jedoch so rechenintensiv, dass oft nicht ausreichend viele Daten zum Training von Ersatzmodellen angesammelt werden können. In der vorliegenden Arbeit wird ein Ansatz zum rasterfreien Trainingsset-Design entwickelt. Nach diesem werden Trainingsdaten nur dann ermittelt, wenn sie signifikant zur Genauigkeit des Ersatzmodells beitragen. Das geschieht mithilfe zweischichtiger Kernmodelle, die es erlauben, die Modellgenauigkeit zu schätzen. Infolgedessen werden die Menge benötigter Trainingsdaten und der damit verbundene Rechenaufwand für die präferentielle Oxidation von CO um Faktor 14 reduziert. Zudem erlaubt das, Ersatzmodelle noch während Reaktorsimulationen ständig zu verbessern, sodass sie bei Bedarf auch außerhalb des ursprünglichen Trainingsbereichs verlässliche Ergebnisse liefern. Das kürzlich entwickelte Chemical Reaction Neural Network ist ein digitaler Zwilling des klassischen mikrokinetischen Mechanismus und hat bereits in vielen Bereichen Anwendung gefunden. Obwohl es einige grundlegende physikalische Gesetze codiert, wird die Atombilanz noch immer verletzt. Die vorliegende Arbeit sichert den Atomerhalt durch Hinzufügen einer eigens dafür ausgelegten Schicht im künstlichen neuronalen Netz, welche das Modell auf physikalisch realisierbare Kombinationen stöchiometrischer Koeffizienten beschränkt. Da die resultierenden Modelle physikalisch konsistent sind, sind sie robuster gegenüber begrenzter Datenverfügbarkeit, Messabweichungen und systematischen Messfehlern. Insgesamt verbessert die vorliegende Arbeit die physikalische Plausibilität sowie die Verlässlichkeit von Maschinenlernverfahren im Bereich der chemischen Kinetik. Insbesondere werden künstliche neuronale Netze strukturell so angepasst, dass sie grundlegende physikalische Gesetze wie Atomerhaltung und Thermodynamik beachten. In Verbindung mit akkuraten Fehlerschätzern lässt sich chemische Kinetik somit zuverlässig und numerisch effizient in Reaktorsimulationen implementieren. Das erlaubt schlussendlich ein rationales Design katalytischer Reaktoren in vertretbarer Zeit. Außerdem automatisierte solche Modelle die Entdeckung chemischer Reaktionsmechanismen und tragen damit zum Verständnis bisher unbekannter Reaktionspfade bei.

Deutsch
Freie Schlagworte: Machine Learning, Chemical Kinetics, Physics-Informed Neural Networks, Reactor Simulation, Surrogate Modeling, Atom Balance, Surface Kinetics, Rate-determining Step, Uncertainty Quantification, Latent Space, Kernel Models, Mechanism Discovery, Chemical Reaction Neural Network, Neural ODE, Null Space, Key Species
Status: Verlagsversion
URN: urn:nbn:de:tuda-tuprints-273848
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
500 Naturwissenschaften und Mathematik > 540 Chemie
600 Technik, Medizin, angewandte Wissenschaften > 660 Technische Chemie
Fachbereich(e)/-gebiet(e): 07 Fachbereich Chemie
07 Fachbereich Chemie > Ernst-Berl-Institut
07 Fachbereich Chemie > Ernst-Berl-Institut > Fachgebiet Technische Chemie
TU-Projekte: Bund|05M20RDA|ML-MORE
Hinterlegungsdatum: 24 Mai 2024 12:01
Letzte Änderung: 27 Mai 2024 06:48
PPN:
Referenten: Votsmeier, Prof. Dr. Martin ; Weeger, Prof. Dr. Oliver ; Deutschmann, Prof. Dr. Olaf
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 13 Mai 2024
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen