TU Darmstadt

ULB

TUbiblio

Gaze Target Tracking for Driver Assistance Systems

Schwehr, Julian (2021)
Gaze Target Tracking for Driver Assistance Systems.
doi: 10.26083/tuprints-00018650
Buch, Zweitveröffentlichung, Verlagsversion

Es ist eine neuere Version dieses Eintrags verfügbar.

URL / URN: https://tuprints.ulb.tu-darmstadt.de/18650

Kurzbeschreibung (Abstract)

Despite many supporting systems, so-called advanced driver assistance systems (ADAS), human error is still by far the main cause of traffic accidents. In the development of new driver assistance concepts, systems and functions monitoring the driver while driving and classifying their behavior in the driving context are therefore increasingly coming to the fore. In this context, this dissertation deals with the question what the driver perceived in their environment. For this purpose, the information of the environment model has to be merged with measured gaze data. Given a precise calibration of the individual sensors, visual fixations of the driver on road users are modeled.

Based on the realization that simple geometric approaches cannot answer this question of visual fixations precisely enough, characteristics of human gaze behavior are identified and integrated as model knowledge into a probabilistic tracking approach. This tracking model considers every object which is classified as a dynamic object and thus as a potential road user by the vehicle's environment perception module as a possible hypothesis for the driver's current visual attention target. In addition, two different motion models of eye movements for fixations and saccades are integrated, so that the estimation of the gaze target can follow the special dynamics of human gaze and recognize specific connected time spans. The advantage of this novel resulting Multi-Hypothesis Multi-Model (MHMM) filter is the confidence which is characteristic to probabilistic approaches, indicating the probability of each object being fixated by the driver. A challenge is the evaluation of such new algorithms. For the statement which object the driver actually visually fixates, ground truth information is necessary. However, this cannot be covered by questionnaires. For this reason, a reference data set is created in which the recordings of the remote eye-tracking system installed in the vehicle are extended with the data of wearable eye-tracking glasses. With the help of these recordings, different model approaches are now compared on a quantitative and not only qualitative basis.

The prototypical City Assistant System, which was co-developed as part of this work, shows how the newly gained information about the driver's gaze behavior can be incorporated into new assistance concepts. It adapts its warning and recommendation cascade in urban intersection scenarios to the driver's driving style and gaze behavior. Through this orientation towards the driver's need for support, the City Assistant System contributes to higher acceptance of warning and recommending systems and ultimately to increased road safety.

Typ des Eintrags:

Buch

Erschienen:

2021

Autor(en):

Schwehr, Julian

Art des Eintrags:

Zweitveröffentlichung

Titel:

Gaze Target Tracking for Driver Assistance Systems

Sprache:

Englisch

Referenten:

Adamy, Prof. Dr. Jürgen ; Winner, Prof. Dr. Hermann

Publikationsjahr:

2021

Ort:

Darmstadt

Publikationsdatum der Erstveröffentlichung:

2020

Kollation:

xxi, 210 Seiten

Datum der mündlichen Prüfung:

15 Juli 2020

DOI:

10.26083/tuprints-00018650

URL / URN:

https://tuprints.ulb.tu-darmstadt.de/18650

Zugehörige Links:

Verlags-DOI

Herkunft:

Zweitveröffentlichung

Kurzbeschreibung (Abstract):

Alternatives oder übersetztes Abstract:

Alternatives Abstract

Sprache

Trotz vieler unterstützender Systeme, sogenannter Fahrerassistenzsysteme (FAS), sind menschliche Fehler immer noch mit großem Abstand die Hauptursache für Verkehrsunfälle. Bei der Entwicklung von neuen Fahrerassistenzkonzepten rücken daher verstärkt Systeme und Funktionen in den Vordergrund, die den Fahrer während der Fahrt beobachten und sein Verhalten im Fahrkontext einordenen und bewerten. In diesem Rahmen behandelt die vorliegende Dissertation die Frage, was der Fahrer in seinem Umfeld wahrgenommen hat. Hierzu sind die Informationen des Umfeldmodells mit den Messdaten der Blickrichtung zu fusionieren. Eine präzise Kalibrierung der einzelnen Sensoren vorausgesetzt werden visuelle Fixationen des Fahrers auf Verkehrsteilnehmern modelliert.

Basierend auf der Erkenntnis dass einfache geometrische Ansätze diese Frage nach visuellen Fixationen nicht klar genug beantworten können, werden zunächst Eigenschaften des menschlichen Blickverhaltens identifiziert und als Modellwissen in einen probabilistischen Trackingansatz integriert. Dieses Trackingmodell berücksichtigt jedes Objekt, welches von der Umfelderfassungssensorik des Fahrzeugs als dynamisches Objekt und damit als potentieller Verkehrsteilnehmer engestuft wird, als mögliche Hypothese für das aktuelle visuelle Aufmerksamkeitsziel des Fahrers. Zusätzlich sind für Fixationen und Sakkaden der Augenbewegungen zwei verschiedene Bewegungsmodelle integ-riert, sodass die Schätzung des Aufmerksamkeitsziels der speziellen Dynamik des menschlichen Blicks folgen und gezielt zusammenhängende Zeitspannen erkennen kann. Der Vorteil dieses neuen resultierenden Multi-Hypothesen Multi-Modell (MHMM) Filters besteht in der für probabilistische Ansätze charakteristischen Konfidenz, die für jedes Objekt angibt, gerade vom Fahrer angesehen zu werden.

Eine Herausforderung besteht in der Bewertung solch neuer Algorithmen. Für die Aussage, welches Objekt der Fahrer tatsächlich visuell fixiert, sind Referenzwerte notwendig, die nicht über Fragebögen abgedeckt werden können. Aus diesem Grund wird ein Referenzdatensatz erstellt, bei dem die Aufnahmen des entfernten, im Fahrzeug verbauten Eye-Tracking-Systems mit den Daten einer tragbaren Eye-Tracking-Brille erweitert werden. Mit Hilfe dieser Aufnahmen werden verschiedene Modellansätze nun quantitativ und nicht mehr nur qualitativ miteinander verglichen.

Wie die neu gewonnene Information über das Blickverhalten des Fahrers in neue Assistenzkonzepte einfließen kann, zeigt der prototypische City Assistant, welcher im Rahmen dieser Arbeit mitentwickelt wurde. Dieser passt seine Warn- und Empfehlungskaskade in innerstädtischen Kreuzungsszenarien an den Fahrstil und das Blickverhalten des Fahrers an. Durch diese Orientierung am Unterstützungsbedarf des Fahrers leistet der City Assistant einen Beitrag zu höherer Akzeptanz von warnenden und empfehlenden Systemen und letztlich zu höherer Verkehrssicherheit.

Deutsch

Status:

Verlagsversion

URN:

urn:nbn:de:tuda-tuprints-186509

Zusätzliche Informationen:

Erscheint auch beim Shaker-Verlag in der Reihe "Berichte aus der Fahrzeugtechnik" unter der ISBN 978-3-8440-7702-5.

Sachgruppe der Dewey Dezimalklassifikatin (DDC):

600 Technik, Medizin, angewandte Wissenschaften > 620 Ingenieurwissenschaften und Maschinenbau

Fachbereich(e)/-gebiet(e):

18 Fachbereich Elektrotechnik und Informationstechnik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Automatisierungstechnik und Mechatronik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Automatisierungstechnik und Mechatronik > Regelungsmethoden und Robotik (ab 01.08.2022 umbenannt in Regelungsmethoden und Intelligente Systeme)

Hinterlegungsdatum: