TU Darmstadt / ULB / TUbiblio

Dynamic Aspects of Character Rendering in the Context of Multimodal Dialog Systems

Jung, Yvonne A. (2011)
Dynamic Aspects of Character Rendering in the Context of Multimodal Dialog Systems.
Technische Universität Darmstadt
Dissertation, Erstveröffentlichung

Kurzbeschreibung (Abstract)

Virtual characters offer a great potential as intuitive man-machine interface, because they allow simulating non-verbal communicative behavior as well, which requires the coordinated use of various modalities (e.g., speech and gesture). In this sense, multimodal dialogue systems extend current voice response systems, like for instance known from automated support hotlines, to other modalities. While multimodal dialogue systems are an active research area in artificial intelligence (AI) for over twenty years, in computer graphics (CG) further research is still needed. Hence, in this work two basic problems have been identified. On the one hand, there is a gap between the components of AI and CG, which makes it difficult to provide responsive characters in a manageable manner. On the other hand, embedding virtual agents in full 3D applications, particularly in the context of Mixed Reality, still remains problematic. Therefore, in this work a concept for the presentation component of multimodal dialogue systems has been presented, which can be easily integrated into current frameworks for virtual agents. Basically, it consists of a declarative control layer and a declarative execution layer. While the control layer is mainly used for communication with the AI modules, it also provides a declarative language for describing and flexibly controlling communicative behavior. Core technology components are provided in the execution layer. These include a flexible animation system that is integrated into the X3D standard, components for hair simulation, to represent psycho-physiologically caused skin tone changes such as blushing and the simulation of tears, furthermore methods for the declarative control of the virtual camera, and techniques for the realistic visualization of virtual objects in Mixed Reality scenarios. In addition to simplifying the integration into complex 3D applications, the whole environment can thus also be used by the system as another means of communication.

Typ des Eintrags: Dissertation
Erschienen: 2011
Autor(en): Jung, Yvonne A.
Art des Eintrags: Erstveröffentlichung
Titel: Dynamic Aspects of Character Rendering in the Context of Multimodal Dialog Systems
Sprache: Englisch
Referenten: Fellner, Prof. Dr. Dieter W. ; Stricker, Prof. Dr. Didier
Publikationsjahr: 3 März 2011
Datum der mündlichen Prüfung: 7 Februar 2011
URL / URN: urn:nbn:de:tuda-tuprints-24890
Kurzbeschreibung (Abstract):

Virtual characters offer a great potential as intuitive man-machine interface, because they allow simulating non-verbal communicative behavior as well, which requires the coordinated use of various modalities (e.g., speech and gesture). In this sense, multimodal dialogue systems extend current voice response systems, like for instance known from automated support hotlines, to other modalities. While multimodal dialogue systems are an active research area in artificial intelligence (AI) for over twenty years, in computer graphics (CG) further research is still needed. Hence, in this work two basic problems have been identified. On the one hand, there is a gap between the components of AI and CG, which makes it difficult to provide responsive characters in a manageable manner. On the other hand, embedding virtual agents in full 3D applications, particularly in the context of Mixed Reality, still remains problematic. Therefore, in this work a concept for the presentation component of multimodal dialogue systems has been presented, which can be easily integrated into current frameworks for virtual agents. Basically, it consists of a declarative control layer and a declarative execution layer. While the control layer is mainly used for communication with the AI modules, it also provides a declarative language for describing and flexibly controlling communicative behavior. Core technology components are provided in the execution layer. These include a flexible animation system that is integrated into the X3D standard, components for hair simulation, to represent psycho-physiologically caused skin tone changes such as blushing and the simulation of tears, furthermore methods for the declarative control of the virtual camera, and techniques for the realistic visualization of virtual objects in Mixed Reality scenarios. In addition to simplifying the integration into complex 3D applications, the whole environment can thus also be used by the system as another means of communication.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Virtuelle Charaktere bieten ein großes Potential als intuitive Mensch-Maschine-Schnittstelle, da sie es erlauben, auch nonverbales kommunikatives Verhalten zu simulieren, was dabei die koordinierte Verwendung verschiedener Modalitäten (z.B. Sprache und Gestik) erfordert. In diesem Sinne erweitern multimodale Dialogsysteme bisherige Sprachdialogsysteme, wie man sie etwa von automatisierten Support-Hotlines kennt, um weitere Modalitäten. Während multimodale Dialogsysteme in der Künstlichen Intelligenz (KI) bereits seit über zwanzig Jahren ein aktives Forschungsgebiet sind, gibt es in der Computergraphik (CG) in diesem Bereich noch einigen Forschungsbedarf. Im Rahmen dieser Arbeit wurden hier zwei grundlegende Probleme identifiziert. Zum einen besteht eine Kluft zwischen den einzelnen Komponenten der KI und der CG, welche es schwierig macht, plausibel reagierende Charaktere handhabbar bereitzustellen. Zum anderen ist eine Einbettung des virtuellen Agenten in vollständige 3D-Anwendungen, insbesondere im Umfeld von Mixed Reality, immer noch problematisch. Von daher wurde in dieser Arbeit ein Konzept für die Präsentationskomponente multimodaler Dialogsysteme vorgestellt, welches sich einfach in aktuelle Frameworks für virtuelle Agenten integrieren lässt, und dabei im wesentlichen aus einer deklarativen Kontrollschicht sowie einer deklarativen Ausführungsschicht besteht. Während die Kontrollschicht vor allem der Kommunikation mit den KI-Modulen dient, bietet sie zudem eine deklarative Sprache zur Beschreibung und flexiblen Kontrolle von kommunikativem Verhalten. Basistechnologiekomponenten werden in der Ausführungsschicht zur Verfügung gestellt. Dazu gehören ein flexibles, in den X3D-Standard integriertes Animationssystem, Komponenten zur Haarsimulation, zur Darstellung psycho-physiologisch hervorgerufener Hautveränderungen wie Rotwerden und zur Simulation von Tränen, weiterhin Möglichkeiten zur deklarativen Kontrolle der virtuellen Kamera, sowie Verfahren zur realistischeren Darstellung virtueller Objekte in Mixed Reality Szenarien. Neben der vereinfachten Einbettung in vollständige 3D-Anwendungen, kann somit zudem vom System die ganze Umgebung als weiteres Kommunikationsmittel genutzt werden.

Deutsch
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Fachbereich(e)/-gebiet(e): 20 Fachbereich Informatik > Graphisch-Interaktive Systeme
20 Fachbereich Informatik
Hinterlegungsdatum: 17 Mär 2011 10:24
Letzte Änderung: 05 Mär 2013 09:46
PPN:
Referenten: Fellner, Prof. Dr. Dieter W. ; Stricker, Prof. Dr. Didier
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 7 Februar 2011
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen