TU Darmstadt / ULB / TUbiblio

Bayesian fusion of probabilistic forecasts

Trick, Susanne Gabriele (2024)
Bayesian fusion of probabilistic forecasts.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00027385
Dissertation, Erstveröffentlichung, Verlagsversion

Kurzbeschreibung (Abstract)

Due to pervasive noise and ambiguity, our world is dominated by uncertainty. In order to face uncertain perception, action, and decision making, humans have an internal representation of their uncertainty and communicate it in interactions with other humans. Furthermore, humans combine information from different information sources to reduce their uncertainty about the world’s state. Specifically in perceptual tasks people have been shown to integrate redundant sensory cues by weighting different cues according to their uncertainty to maximally reduce the uncertainty of the integrated sensory estimate, as described by Bayes' theorem.

Like humans, Artificial Intelligence (AI) systems and robots as their embodied form should represent, consider, reduce, and communicate uncertainty in order to cope with our uncertain world. In particular, this can increase the safety of critical AI applications and improve the quality of the interaction between human and AI, e.g., in AI-supported human decision making or human-robot collaboration in industry or caregiving settings. Quantifying an AI system’s uncertainty can be realized with probabilistic methods, e.g., probabilistic classifiers that output categorical distributions over all classes. Also, AI systems often combine different information sources: Classifier ensembles, which combine multiple individual classifiers in order to improve classification performance, are known to be the most successful classification methods. However, classifier ensembles are usually optimized to merely maximize the classification performance instead of reducing the uncertainty. Thus, an open question is how to optimally combine probabilistic forecasts provided by classifiers while explicitly considering and correctly reducing their uncertainty, similar to how humans combine multiple cues in perception. Since the individual classifiers in an ensemble are usually correlated, particular focus should be put on the combination of correlated classifiers. This thesis investigates how to optimally combine the outputs of probabilistic classifiers. It provides a normative Bayesian model that formalizes how to optimally fuse individual classifiers according to their properties, such as uncertainty, bias, and variance, given different assumptions. Moreover, our model explicitly considers the correlation of the individual classifiers. It models the classifiers’ correlations with a newly introduced probability distribution, the correlated Dirichlet distribution. The resulting Correlated Fusion Model quantifies how classification uncertainty should be reduced through Bayes optimal classifier combination depending on the individual classifiers’ uncertainty, bias, variance, and correlation and outperforms related Bayesian classifier fusion models on simulated and real data sets.

A special case of the correlated Dirichlet distribution introduced for modeling correlated probabilistic classifiers is the bivariate beta distribution. The bivariate beta distribution models two beta-distributed random variables with a positive correlation. Thus, it is particularly interesting for modeling binary probabilistic classifiers but is also of general interest in statistics. While the bivariate beta distribution has been proposed before, previous work used an approximate and sometimes inaccurate method to compute the distribution's covariance and correlation and estimate its parameters. Therefore, in this thesis, we derive all product moments and the exact covariance and introduce an algorithm for estimating the bivariate beta distribution’s parameters using moment matching.

A promising application of Bayes optimal fusion of multiple probabilistic classifiers is multimodal human-robot interaction. Since humans interact multimodally using modalities such as speech, gestures, and gaze directions, an intuitive and natural interaction between humans and robots requires robots to also interact multimodally. In particular, a robot should be able to process people’s uncertain multimodal signals, e.g., about their intentions, and correctly combine its uncertainties about them. However, present approaches for multimodal intention recognition in human-robot interaction do not focus on how to correctly consider individual modalities’ uncertainties and reduce uncertainty. Therefore, in this thesis, we recognize human intentions from multimodal data using probabilistic classifiers for each modality whose output distributions are combined Bayes optimally. We present three applications of Bayes optimal classifier fusion to different human-robot interaction scenarios. We first detect human intentions from multimodal data including speech, gestures, gaze directions, and scene objects. In an interaction task between a human and a 7-Degrees-of-Freedom robot arm, we show that adding more modalities contributes to increased detection performance and reduced uncertainty. Second, we apply Bayesian fusion to enable humans to teach a 7-Degrees-of-Freedom robot arm using multimodal action advice given by speech and gestures for interactive reinforcement learning. Evaluations with human participants show that the learning speed can be improved significantly compared to other methods. Third, we learn to detect humans' intention to start an interaction with a robot, the intention for interaction, from natural human behavior. We recorded a multimodal data set including speech and body poses with human participants in a collaborative task with a two-armed assistive robot. We compare different unimodal and multimodal classifiers and show that the intention for interaction can be detected better from multimodal data using Bayesian classifier fusion.

Bayes optimal fusion methods can not only be applied to combine classifiers but also to combine subjective probability estimates provided by humans. Such probabilistic estimates or forecasts, e.g., provided by experts, are of particular importance in many domains, such as finance, politics, engineering, meteorology, and public health, and can further be used to build rule-based AI systems. While combining forecasts is known to increase forecasting performance, as for classifier fusion, there is a need for a normative model that defines how to correctly combine human forecasts while explicitly considering their uncertainty. In this thesis, we present a family of normative Bayesian models for the aggregation of subjective probability estimates, which are closely related to our normative Bayesian model for classifier fusion. We model the forecasting behavior of individual forecasters with beta distributions, implicitly calibrate their probability estimates, and combine them accordingly in order to obtain the Bayes optimal uncertainty of the fused forecast. However, the proposed fusion models disregard the correlation between the forecasters, reduce too much uncertainty, and are thus overconfident. Therefore, in a second step, we extend these models to a Bayesian model for the combination of correlated subjective probability estimates. By explicitly representing the skills of the individual forecasters and the difficulties of individual queries for which forecasts are provided, this model can represent the correlation between individual forecasters and can consider it when fusing forecasts. As a consequence, its fusion performance is improved compared to our previous models and related fusion models.

In summary, this thesis investigates the fundamental computational problem of combining uncertain probabilistic forecasts that humans, robots, as well as AI systems in general are facing. While human perception unconsciously integrates multiple sensory cues to provide an optimal percept, here we develop normative Bayesian fusion models for combining probabilistic forecasts provided by classifiers or humans. The proposed models define how probabilistic forecasts should be fused Bayes optimally, in particular if the forecasts are correlated. We demonstrate that the developed algorithms outperform related fusion methods and successfully apply them in multimodal human-robot interaction.

Typ des Eintrags: Dissertation
Erschienen: 2024
Autor(en): Trick, Susanne Gabriele
Art des Eintrags: Erstveröffentlichung
Titel: Bayesian fusion of probabilistic forecasts
Sprache: Englisch
Referenten: Rothkopf, Prof. PhD Constantin A. ; Endres, Prof. Dr. Dominik
Publikationsjahr: 29 Mai 2024
Ort: Darmstadt
Kollation: xxiii, 196 Seiten
Datum der mündlichen Prüfung: 26 April 2024
DOI: 10.26083/tuprints-00027385
URL / URN: https://tuprints.ulb.tu-darmstadt.de/27385
Kurzbeschreibung (Abstract):

Due to pervasive noise and ambiguity, our world is dominated by uncertainty. In order to face uncertain perception, action, and decision making, humans have an internal representation of their uncertainty and communicate it in interactions with other humans. Furthermore, humans combine information from different information sources to reduce their uncertainty about the world’s state. Specifically in perceptual tasks people have been shown to integrate redundant sensory cues by weighting different cues according to their uncertainty to maximally reduce the uncertainty of the integrated sensory estimate, as described by Bayes' theorem.

Like humans, Artificial Intelligence (AI) systems and robots as their embodied form should represent, consider, reduce, and communicate uncertainty in order to cope with our uncertain world. In particular, this can increase the safety of critical AI applications and improve the quality of the interaction between human and AI, e.g., in AI-supported human decision making or human-robot collaboration in industry or caregiving settings. Quantifying an AI system’s uncertainty can be realized with probabilistic methods, e.g., probabilistic classifiers that output categorical distributions over all classes. Also, AI systems often combine different information sources: Classifier ensembles, which combine multiple individual classifiers in order to improve classification performance, are known to be the most successful classification methods. However, classifier ensembles are usually optimized to merely maximize the classification performance instead of reducing the uncertainty. Thus, an open question is how to optimally combine probabilistic forecasts provided by classifiers while explicitly considering and correctly reducing their uncertainty, similar to how humans combine multiple cues in perception. Since the individual classifiers in an ensemble are usually correlated, particular focus should be put on the combination of correlated classifiers. This thesis investigates how to optimally combine the outputs of probabilistic classifiers. It provides a normative Bayesian model that formalizes how to optimally fuse individual classifiers according to their properties, such as uncertainty, bias, and variance, given different assumptions. Moreover, our model explicitly considers the correlation of the individual classifiers. It models the classifiers’ correlations with a newly introduced probability distribution, the correlated Dirichlet distribution. The resulting Correlated Fusion Model quantifies how classification uncertainty should be reduced through Bayes optimal classifier combination depending on the individual classifiers’ uncertainty, bias, variance, and correlation and outperforms related Bayesian classifier fusion models on simulated and real data sets.

A special case of the correlated Dirichlet distribution introduced for modeling correlated probabilistic classifiers is the bivariate beta distribution. The bivariate beta distribution models two beta-distributed random variables with a positive correlation. Thus, it is particularly interesting for modeling binary probabilistic classifiers but is also of general interest in statistics. While the bivariate beta distribution has been proposed before, previous work used an approximate and sometimes inaccurate method to compute the distribution's covariance and correlation and estimate its parameters. Therefore, in this thesis, we derive all product moments and the exact covariance and introduce an algorithm for estimating the bivariate beta distribution’s parameters using moment matching.

A promising application of Bayes optimal fusion of multiple probabilistic classifiers is multimodal human-robot interaction. Since humans interact multimodally using modalities such as speech, gestures, and gaze directions, an intuitive and natural interaction between humans and robots requires robots to also interact multimodally. In particular, a robot should be able to process people’s uncertain multimodal signals, e.g., about their intentions, and correctly combine its uncertainties about them. However, present approaches for multimodal intention recognition in human-robot interaction do not focus on how to correctly consider individual modalities’ uncertainties and reduce uncertainty. Therefore, in this thesis, we recognize human intentions from multimodal data using probabilistic classifiers for each modality whose output distributions are combined Bayes optimally. We present three applications of Bayes optimal classifier fusion to different human-robot interaction scenarios. We first detect human intentions from multimodal data including speech, gestures, gaze directions, and scene objects. In an interaction task between a human and a 7-Degrees-of-Freedom robot arm, we show that adding more modalities contributes to increased detection performance and reduced uncertainty. Second, we apply Bayesian fusion to enable humans to teach a 7-Degrees-of-Freedom robot arm using multimodal action advice given by speech and gestures for interactive reinforcement learning. Evaluations with human participants show that the learning speed can be improved significantly compared to other methods. Third, we learn to detect humans' intention to start an interaction with a robot, the intention for interaction, from natural human behavior. We recorded a multimodal data set including speech and body poses with human participants in a collaborative task with a two-armed assistive robot. We compare different unimodal and multimodal classifiers and show that the intention for interaction can be detected better from multimodal data using Bayesian classifier fusion.

Bayes optimal fusion methods can not only be applied to combine classifiers but also to combine subjective probability estimates provided by humans. Such probabilistic estimates or forecasts, e.g., provided by experts, are of particular importance in many domains, such as finance, politics, engineering, meteorology, and public health, and can further be used to build rule-based AI systems. While combining forecasts is known to increase forecasting performance, as for classifier fusion, there is a need for a normative model that defines how to correctly combine human forecasts while explicitly considering their uncertainty. In this thesis, we present a family of normative Bayesian models for the aggregation of subjective probability estimates, which are closely related to our normative Bayesian model for classifier fusion. We model the forecasting behavior of individual forecasters with beta distributions, implicitly calibrate their probability estimates, and combine them accordingly in order to obtain the Bayes optimal uncertainty of the fused forecast. However, the proposed fusion models disregard the correlation between the forecasters, reduce too much uncertainty, and are thus overconfident. Therefore, in a second step, we extend these models to a Bayesian model for the combination of correlated subjective probability estimates. By explicitly representing the skills of the individual forecasters and the difficulties of individual queries for which forecasts are provided, this model can represent the correlation between individual forecasters and can consider it when fusing forecasts. As a consequence, its fusion performance is improved compared to our previous models and related fusion models.

In summary, this thesis investigates the fundamental computational problem of combining uncertain probabilistic forecasts that humans, robots, as well as AI systems in general are facing. While human perception unconsciously integrates multiple sensory cues to provide an optimal percept, here we develop normative Bayesian fusion models for combining probabilistic forecasts provided by classifiers or humans. The proposed models define how probabilistic forecasts should be fused Bayes optimally, in particular if the forecasts are correlated. We demonstrate that the developed algorithms outperform related fusion methods and successfully apply them in multimodal human-robot interaction.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Aufgrund von allgegenwärtigem Rauschen und Ambiguitäten wird unsere Welt von Unsicherheit beherrscht. Um der Unsicherheit in Wahrnehmung, Handlungen und Entscheidungen begegnen zu können, haben Menschen eine interne Repräsentation ihrer Unsicherheit und kommunizieren diese in Interaktionen mit anderen Menschen. Darüber hinaus kombinieren Menschen Informationen aus verschiedenen Informationsquellen, um ihre Unsicherheit über den Zustand der Welt zu verringern. Insbesondere bei Wahrnehmungsaufgaben wurde gezeigt, dass Menschen redundante sensorische Hinweisreize integrieren, indem sie verschiedene Hinweisreize entsprechend ihrer Unsicherheit gewichten. So reduzieren sie die Unsicherheit der integrierten sensorischen Schätzung maximal, wie es der Satz von Bayes beschreibt.

Ebenso wie Menschen sollten auch Systeme der künstlichen Intelligenz (KI) und Roboter in ihrer verkörperten Form Unsicherheit repräsentieren, berücksichtigen, reduzieren und kommunizieren, um mit unserer unsicheren Welt zurechtzukommen. Dies kann insbesondere die Sicherheit kritischer KI-Anwendungen erhöhen und die Qualität der Interaktion zwischen Mensch und KI verbessern, z.B. bei KI-gestützter menschlicher Entscheidungsfindung oder Mensch-Roboter-Kollaboration in der Industrie oder im Pflegebereich. Die Quantifizierung der Unsicherheit eines KI-Systems kann mit probabilistischen Methoden erfolgen, z.B. mit probabilistischen Klassifizierern, die kategoriale Wahrscheinlichkeitsverteilungen über alle Klassen ausgeben. Außerdem kombinieren KI-Systeme oft verschiedene Informationsquellen: Ensembles aus Klassifizierern, die mehrere einzelne Klassifizierer kombinieren, um die Performance der Klassifizierung zu verbessern, gelten als die erfolgreichsten Klassifizierungsmethoden. Allerdings werden solche Ensembles in der Regel darauf optimiert, lediglich die Performance der Klassifizierung zu maximieren, anstatt die Unsicherheit zu reduzieren. Eine offene Frage ist daher, wie man probabilistische Vorhersagen von Klassifizierern optimal kombinieren kann, wobei deren Unsicherheit explizit berücksichtigt und korrekt reduziert werden soll, ähnlich wie der Mensch bei der Wahrnehmung mehrere Hinweisreize kombiniert. Da die einzelnen Klassifizierer in einem Ensemble in der Regel korreliert sind, sollte dabei besonderes Augenmerk auf die Kombination von korrelierten Klassifizierern gelegt werden. In dieser Arbeit wird untersucht, wie die Ausgaben probabilistischer Klassifizierer optimal kombiniert werden können. Es wird ein normatives Bayesianisches Modell vorgestellt, das formalisiert, wie einzelne Klassifizierer entsprechend ihrer Eigenschaften wie Unsicherheit, Bias und Varianz unter verschiedenen Annahmen optimal kombiniert werden können. Außerdem berücksichtigt das vorgeschlagene Modell ausdrücklich die Korrelation der einzelnen Klassifizierer, indem es deren Korrelationen mit einer neu eingeführten Wahrscheinlichkeitsverteilung modelliert, der korrelierten Dirichlet-Verteilung. Das daraus resultierende Fusionsmodell quantifiziert, wie die Klassifizierungsunsicherheit durch eine optimale Bayesianische Kombination von Klassifizierern in Abhängigkeit von deren Unsicherheit, Bias und Varianz und der Korrelation der einzelnen Klassifizierer reduziert werden sollte. Darüber hinaus übertrifft das vorgeschlagene Modell verwandte Bayesianische Fusionsmodelle auf simulierten und realen Datensätzen.

Ein Spezialfall der korrelierten Dirichlet-Verteilung, die zur Modellierung korrelierter probabilistischer Klassifizierer eingeführt wurde, ist die bivariate Beta-Verteilung. Die bivariate Beta-Verteilung modelliert zwei Beta-verteilte Zufallsvariablen mit einer positiven Korrelation. Sie ist daher besonders interessant für die Modellierung binärer probabilistischer Klassifizierer, ist aber ebenso von allgemeinem Interesse in der Statistik. Die bivariate Beta-Verteilung wurde bereits früher eingeführt. In früheren Arbeiten wurde jedoch eine ungefähre und mitunter ungenaue Methode verwendet, um die Kovarianz und Korrelation der Verteilung zu berechnen und ihre Parameter zu schätzen. In dieser Arbeit werden daher alle Produktmomente und die exakte Kovarianz hergeleitet. Basierend darauf wird ein Algorithmus zur Schätzung der Parameter der bivariaten Beta-Verteilung mit Hilfe von Moment-Matching vorgestellt.

Eine vielversprechende Anwendung der Bayes-optimalen Fusion mehrerer probabilistischer Klassifizierer ist die multimodale Mensch-Roboter-Interaktion. Da Menschen multimodal interagieren, indem sie Modalitäten wie Sprache, Gesten und Blickrichtungen verwenden, erfordert eine intuitive und natürliche Interaktion zwischen Menschen und Robotern, dass auch Roboter multimodal interagieren. Insbesondere sollte ein Roboter in der Lage sein, die unsicheren multimodalen Signale des Menschen, z.B. über seine Intentionen, zu verarbeiten und seine Unsicherheiten darüber korrekt zu kombinieren. Bisherige Ansätze zur multimodalen Intentionserkennung in der Mensch-Roboter-Interaktion konzentrieren sich jedoch nicht darauf, wie die Unsicherheiten der einzelnen Modalitäten korrekt berücksichtigt und die Unsicherheit reduziert werden kann. Daher werden in dieser Arbeit menschliche Intentionen aus multimodalen Daten erkannt, indem probabilistische Klassifizierer für die einzelnen Modalitäten gelernt und deren Ausgabeverteilungen optimal nach Bayes kombiniert werden. Es werden drei Anwendungen der Bayes-optimalen Fusion von Klassifizierern für verschiedene Mensch-Roboter-Interaktionsszenarien vorgestellt. Erstens werden menschliche Intentionen aus multimodalen Daten wie Sprache, Gesten, Blickrichtungen und Szenenobjekten erkannt. In einer Interaktionsaufgabe zwischen einem Menschen und einem Roboterarm mit sieben Freiheitsgraden wird gezeigt, dass das Hinzufügen weiterer Modalitäten zu einer verbesserten Erkennung von Intentionen und einer geringeren Unsicherheit beiträgt. Zweitens wird die Bayesianische Fusion angewandt, um es Menschen zu ermöglichen, einem Roboterarm mit sieben Freiheitsgraden multimodale Handlungsempfehlungen in Form von Sprache und Gesten für interaktives Verstärkungslernen zu geben. Auswertungen mit Versuchspersonen zeigen, dass die Lerngeschwindigkeit im Vergleich zu anderen Methoden signifikant verbessert werden kann. Drittens wird die Intention des Menschen, eine Interaktion mit einem Roboter zu beginnen, aus natürlichem menschlichem Verhalten erkannt. Ein multimodaler Datensatz wurde aufgezeichnet, der Sprache und Körperhaltungen von Versuchspersonen in einer kollaborativen Aufgabe mit einem zweiarmigen Assistenzroboter umfasst. Auf diesem Datensatz werden verschiedene unimodale und multimodale Klassifizierer verglichen und es wird gezeigt, dass die Intention zur Interaktion besser aus multimodalen Daten unter Verwendung der Bayesianischen Fusion von Klassifizierern erkannt werden kann.

Bayes-optimale Fusionsmethoden können nicht nur für die Kombination von Klassifizierern angewandt werden, sondern auch für die Kombination subjektiver Wahrscheinlichkeitsschätzungen, die von Menschen stammen. Solche probabilistischen Schätzungen oder Vorhersagen, z.B. von Experten, sind in vielen Bereichen von besonderer Bedeutung, unter anderem im Finanzwesen, in der Politik, im Ingenieurwesen, in der Meteorologie und im Gesundheitswesen, und können darüber hinaus zum Aufbau regelbasierter KI-Systeme verwendet werden. Obwohl bekannt ist, dass die Kombination einzelner Vorhersagen die Vorhersage-Performance erhöht, besteht wie bei der Fusion von Klassifizierern ein Bedarf an einem normativen Modell, das definiert, wie menschliche Vorhersagen unter expliziter Berücksichtigung ihrer Unsicherheit korrekt kombiniert werden sollen. In dieser Arbeit wird eine Familie von normativen Bayesianischen Modellen für die Kombination von subjektiven Wahrscheinlichkeitsschätzungen vorgestellt, die eng mit dem vorgestellten normativen Bayesianischen Modell für die Fusion von Klassifizierern verwandt sind. Das Vorhersageverhalten der einzelnen menschlichen Experten wird mit Beta-Verteilungen modelliert und ihre Wahrscheinlichkeitsschätzungen implizit kalibriert und entsprechend kombiniert, um die Bayes-optimale Unsicherheit der fusionierten Vorhersage zu erhalten. Die vorgeschlagenen Fusionsmodelle vernachlässigen jedoch die Korrelation zwischen den Experten und reduzieren daher zu viel Unsicherheit. Aus diesem Grund werden diese Modelle in einem zweiten Schritt zu einem Bayesianischen Modell für die Kombination von korrelierten subjektiven Wahrscheinlichkeitsschätzungen erweitert. Durch die explizite Repräsentation der Fähigkeiten der einzelnen Experten und der Schwierigkeiten der einzelnen Fragestellungen, für die Vorhersagen gemacht werden, kann dieses Modell die Korrelation zwischen den einzelnen Experten repräsentieren und bei der Fusion von Vorhersagen berücksichtigen. Dies verbessert die Performance der fusionierten Vorhersage im Vergleich zu unserem vorherigen Modell und anderen verwandten Fusionsmodellen.

Zusammenfassend untersucht diese Arbeit das grundlegende computationale Problem der Kombination unsicherer probabilistischer Vorhersagen, mit dem Menschen, Roboter und KI-Systeme im Allgemeinen konfrontiert sind. Während die menschliche Wahrnehmung unbewusst verschiedene sensorische Hinweisreize integriert, um ein optimales Ergebnis zu erhalten, werden hier normative Bayesianische Fusionsmodelle für die Kombination probabilistischer Vorhersagen entwickelt, wobei die Vorhersagen sowohl von Klassifizierern als auch von Menschen stammen können. Die vorgeschlagenen Modelle definieren, wie probabilistische Vorhersagen Bayes-optimal fusioniert werden sollten, insbesondere wenn die Vorhersagen korreliert sind. Außerdem wird gezeigt, dass die entwickelten Algorithmen verwandte Fusionsmethoden übertreffen und erfolgreich in der multimodalen Mensch-Roboter-Interaktion angewandt werden können.

Deutsch
Status: Verlagsversion
URN: urn:nbn:de:tuda-tuprints-273857
Zusätzliche Informationen:

In reference to IEEE copyrighted material which is used with permission in this thesis, the IEEE does not endorse any of Technical University of Darmstadt’s products or services. Internal or personal use of this material is permitted. If interested in reprinting/republishing IEEE copyrighted material for advertising or promotional purposes or for creating new collective works for resale or redistribution, please go to http://www.ieee.org/publications_standards/publications/rights/rights_link.html to learn how to obtain a License from RightsLink. If applicable, University Microfilms and/or ProQuest Library, or the Archives of Canada may supply single copies of the dissertation.

Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
100 Philosophie und Psychologie > 150 Psychologie
500 Naturwissenschaften und Mathematik > 500 Naturwissenschaften
Fachbereich(e)/-gebiet(e): 03 Fachbereich Humanwissenschaften
03 Fachbereich Humanwissenschaften > Institut für Psychologie
03 Fachbereich Humanwissenschaften > Institut für Psychologie > Psychologie der Informationsverarbeitung
TU-Projekte: Bund/BMBF|16SV7984|KoBo34
Hinterlegungsdatum: 29 Mai 2024 12:27
Letzte Änderung: 03 Jun 2024 10:56
PPN:
Referenten: Rothkopf, Prof. PhD Constantin A. ; Endres, Prof. Dr. Dominik
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 26 April 2024
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen