TU Darmstadt / ULB / TUbiblio

Bayesian Environment Representation, Prediction, and Criticality Assessment for Driver Assistance Systems

Schreier, Matthias (2016)
Bayesian Environment Representation, Prediction, and Criticality Assessment for Driver Assistance Systems.
Buch, Zweitveröffentlichung

Kurzbeschreibung (Abstract)

Advanced Driver Assistance Systems (ADAS) already make a major contribution to driving safety. To further increase this contribution, it is, however, vital that future intelligent vehicles perceive, predict, and assess their environment more comprehensively. In this context, the present dissertation approaches the questions i) how to represent the driving environment adequately within an environment model, ii) how to obtain such a representation, and iii) how to predict the future traffic scene evolution for proper criticality assessment. Bayesian inference provides the common theoretical framework of all designed methods. Based on the shortcomings of existing environment representations, a novel parametric representation of general driving environments is first introduced in this work. It consists of a combination of dynamic object maps for moving objects and so-called Parametric Free Space (PFS) maps for static environment structures. PFS maps model the environment by a closed curve around the vehicle, which encloses relevant drivable free space. The representation compactly describes all essential information contained in common occupancy grid maps, suppresses irrelevant details, and consistently separates between static and dynamic environment objects. A novel method for grid mapping in dynamic road environments provides the basis to realize this representation. Therein, dynamic cell hypothesis are detected, clustered, and subsequently tracked and classified with an adaptive Bayesian multiple model filter for jump Markov nonlinear systems – the so-called Interacting Multiple Model Unscented Kalman Probabilistic Data Association Filter (IMM-UK-PDAF). The intermediate result is a dynamic object map and an optimized grid of the static driving environment. From the optimized grid, relevant free space is then extracted by methods of image analysis, and robustly converted to a PFS map in a final B-Spline contour tracking step. Evaluations and experiments, which were performed with an experimental vehicle equipped with radars and a stereo camera in real driving environments, confirm the advantages of the real-time capable approach. The so-obtained representation additionally forms the basis of a novel method for long-term trajectory prediction and criticality assessment. Therein, a three-layered Bayesian network is used to infer current driving maneuvers of traffic participants initially. A trash maneuver class allows the detection of irrational driving behavior and the seamless application from highly-structured to non-structured environments. Subsequently, maneuver-based prediction models in form of stochastic processes are presented and employed to predict the vehicle configurations under consideration of uncertainties in the maneuver executions. Finally, the criticality time metric Time-To-Critical-Collision-Probability (TTCCP) is introduced as a generalization of the time metric Time-To-Collision (TTC) for arbitrary, uncertain, multi-object driving environments and longer prediction horizons. The TTCCP considers all uncertain, maneuver-based predictions and is estimated via Monte Carlo simulations. Simulations confirm its potential to suppress false warnings, to generate timely true warnings, and to generate warnings in critical almost-collision situations effectively. All methods are part of the driver assistance system PRORETA 3, which has been co-developed in the context of this thesis. It constitutes a novel, integrated approach to collision avoidance and vehicle automation and thereby makes a valuable contribution to realize the Vision Zero – the vision of a future without traffic deaths.

Typ des Eintrags: Buch
Erschienen: 2016
Autor(en): Schreier, Matthias
Art des Eintrags: Zweitveröffentlichung
Titel: Bayesian Environment Representation, Prediction, and Criticality Assessment for Driver Assistance Systems
Sprache: Englisch
Referenten: Adamy, Prof. Dr. Jürgen ; Winner, Prof. Dr. Hermann ; Damm, Prof. Dr. Christian ; Pesavento, Prof. Dr. Marius
Publikationsjahr: 2016
Ort: Darmstadt
Datum der mündlichen Prüfung: 10 Dezember 2015
URL / URN: http://tuprints.ulb.tu-darmstadt.de/5353
Kurzbeschreibung (Abstract):

Advanced Driver Assistance Systems (ADAS) already make a major contribution to driving safety. To further increase this contribution, it is, however, vital that future intelligent vehicles perceive, predict, and assess their environment more comprehensively. In this context, the present dissertation approaches the questions i) how to represent the driving environment adequately within an environment model, ii) how to obtain such a representation, and iii) how to predict the future traffic scene evolution for proper criticality assessment. Bayesian inference provides the common theoretical framework of all designed methods. Based on the shortcomings of existing environment representations, a novel parametric representation of general driving environments is first introduced in this work. It consists of a combination of dynamic object maps for moving objects and so-called Parametric Free Space (PFS) maps for static environment structures. PFS maps model the environment by a closed curve around the vehicle, which encloses relevant drivable free space. The representation compactly describes all essential information contained in common occupancy grid maps, suppresses irrelevant details, and consistently separates between static and dynamic environment objects. A novel method for grid mapping in dynamic road environments provides the basis to realize this representation. Therein, dynamic cell hypothesis are detected, clustered, and subsequently tracked and classified with an adaptive Bayesian multiple model filter for jump Markov nonlinear systems – the so-called Interacting Multiple Model Unscented Kalman Probabilistic Data Association Filter (IMM-UK-PDAF). The intermediate result is a dynamic object map and an optimized grid of the static driving environment. From the optimized grid, relevant free space is then extracted by methods of image analysis, and robustly converted to a PFS map in a final B-Spline contour tracking step. Evaluations and experiments, which were performed with an experimental vehicle equipped with radars and a stereo camera in real driving environments, confirm the advantages of the real-time capable approach. The so-obtained representation additionally forms the basis of a novel method for long-term trajectory prediction and criticality assessment. Therein, a three-layered Bayesian network is used to infer current driving maneuvers of traffic participants initially. A trash maneuver class allows the detection of irrational driving behavior and the seamless application from highly-structured to non-structured environments. Subsequently, maneuver-based prediction models in form of stochastic processes are presented and employed to predict the vehicle configurations under consideration of uncertainties in the maneuver executions. Finally, the criticality time metric Time-To-Critical-Collision-Probability (TTCCP) is introduced as a generalization of the time metric Time-To-Collision (TTC) for arbitrary, uncertain, multi-object driving environments and longer prediction horizons. The TTCCP considers all uncertain, maneuver-based predictions and is estimated via Monte Carlo simulations. Simulations confirm its potential to suppress false warnings, to generate timely true warnings, and to generate warnings in critical almost-collision situations effectively. All methods are part of the driver assistance system PRORETA 3, which has been co-developed in the context of this thesis. It constitutes a novel, integrated approach to collision avoidance and vehicle automation and thereby makes a valuable contribution to realize the Vision Zero – the vision of a future without traffic deaths.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Fahrerassistenzsysteme leisten bereits heute einen bedeutenden Beitrag zur Sicherheit im Straßenverkehr. Um diesen Beitrag weiter zu erhöhen, müssen zukünftige intelligente Fahrzeuge ihre Umgebung jedoch noch eingehender wahrnehmen, prädizieren und bewerten. In diesem Kontext behandelt die vorliegende Dissertation die Fragen, i) wie die Fahrumgebung geeignet in einem Umfeldmodell repräsentiert werden kann, ii) wie eine solche Repräsentation realisierbar ist und iii) wie die zukünftige Entwicklung der Verkehrssituation sowie deren Kritikalität abgeschätzt werden kann. Bayessche Inferenzverfahren bilden das gemeinsame theoretische Gerüst aller hierzu entworfenen Methoden.

Ausgehend von den Limitierungen bestehender Umgebungsrepräsentationen wird in dieser Arbeit zunächst eine neue parametrische Repräsentation allgemeiner Fahrumgebungen eingeführt. Sie besteht aus einer Kombination aus dynamischen Objektkarten für sich bewegende Objekte und sogenannten parametrischen Freiraumkarten für statische Umgebungsstrukturen. Letztere modellieren die Umgebung mittels einer geschlossenen Kurve, die das Fahrzeug umgibt und die relevante befahrbare Freiräume einschließt. Die Repräsentation stellt alle wesentlichen Informationen, die auch in den verbreiteten Belegungsgitterkarten enthalten sind, kompakt dar, unterdrückt irrelevante Details und unterscheidet konsistent zwischen dynamischen und statischen Objekten.

Eine neue Methode zur Erstellung von Belegungsgitterkarten in dynamischen Fahrumgebungen bildet die Basis zur Realisierung dieser Repräsentation. Hierbei werden dynamische Zellhypothesen detektiert, gruppiert und objektbasiert mit einem adaptiven Bayesschen Mehrmodellfilter für nichtlineare Markov-Sprungprozesse – dem sogenannten Interacting Multiple Model Unscented Kalman Probabilistic Data Association Filter (IMM-UK-PDAF) – zeitlich verfolgt und klassifiziert. Das Zwischenresultat ist eine dynamische Objektkarte sowie eine optimierte Belegungsgitterkarte der statischen Umgebung. Aus der optimierten Gitterkarte werden daraufhin relevante Freiräume mit Methoden der Bildverarbeitung extrahiert und im Rahmen eines nachgeschalteten B-Spline-Konturverfolgungsschritts robust in eine parametrische Freiraumkarte überführt. Evaluationen und Experimente, die in realen Fahrumgebungen mit einem mit Radarsensoren und Stereokamera ausgerüsteten Versuchsfahrzeug ausgeführt wurden, bestätigen die Vorteile des echtzeitfähigen Ansatzes.

Die so erzeugte Umgebungsrepräsentation dient darüber hinaus als Basis für ein neues Langzeit-Trajektorienprädiktions- und Kritikalitätsbewertungsverfahren. Den Ausgangspunkt hierfür bildet ein dreischichtiges Bayessches Netz, das genutzt wird, um auf die aktuellen Fahrmanöver der Verkehrsteilnehmer zu schließen. Eine Restmanöverklasse erlaubt zusätzlich die Erkennung irrationaler Fahrerhandlungen sowie die nahtlose Anwendbarkeit von hochstrukturierten bis hin zu unstrukturierten Fahrumgebungen. Weiterhin werden manöverbasierte Prädiktionsmodelle in Form stochastischer Prozesse vorgestellt und zur Vorhersage der Fahrzeugkonfigurationen unter Berücksichtigung von Unsicherheiten in der Manöverausführung genutzt. Abschließend wird das Kritikalitätszeitmaß Time-To-Critical-Collision-Probability (TTCCP) als Erweiterung des Zeitmaßes Time-To-Collision (TTC) für beliebige unsichere Fahrumgebungen mit mehreren Objekten eingeführt, das auch für längere Prädiktionshorizonte geeignet ist. Die TTCCP bezieht alle unsicheren, manöverbasierten Vorhersagen mit ein und wird mittels einer Monte-Carlo-Simulation geschätzt. Simulationen bestätigen das Potential des Ansatzes Fehlwarnungen zu unterdrücken, korrekte Warnungen frühzeitig zu erzeugen sowie auch in kritischen Beinahezusammenstoßsituationen effektiv zu warnen.

Anwendung finden die Methoden im Assistenzsystem PRORETA 3, das im Rahmen dieser Arbeit mitentwickelt wurde. Dieses stellt einen integralen Ansatz zur Kollisionsvermeidung und Fahrzeugautomatisierung dar und leistet damit seinerseits einen wertvollen Beitrag zur Realisierung der Vision Zero – der Vision einer Zukunft ohne Verkehrstote.

Deutsch
Freie Schlagworte: Advanced Driver Assistance Systems (ADAS), Bayesian Inference, B-Spline Contour Tracking, Collision Avoidance, Criticality Assessment, Dynamic Object Detection, Environment Perception, Environment Representation, Intelligent Vehicle, Maneuver Detection, Nonlinear Multiple Model Filtering, Object Tracking, Occupancy Grid Map, Parametric Free Space (PFS) Map, PRORETA, Time-To-Collision (TTC), Time-To-Critical-Collision-Probability (TTCCP), Trajectory Prediction, Vehicle Automation, World Model, PRORETA3
Schlagworte:
Einzelne SchlagworteSprache
Bayessche Inferenzverfahren, Belegungsgitterkarte, B-Spline Konturverfolgung, Dynamische Objektdetektion, Fahrerassistenzsysteme, Fahrzeugautomation, Intelligentes Fahrzeug, Kollisionsvermeidung, Kollisionszeit, Kritikalitätsbewertung, Manövererkennung, Nichtlineare Mehrmodellfilter, Objektverfolgung, Parametrische Freiraumkarte, PRORETA, Trajektorienprädiktion, Umfeldmodell, Umfeldwahrnehmung, Umgebungsrepräsentation, WeltmodellDeutsch
URN: urn:nbn:de:tuda-tuprints-53539
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 600 Technik, Medizin, angewandte Wissenschaften > 600 Technik
Fachbereich(e)/-gebiet(e): 18 Fachbereich Elektrotechnik und Informationstechnik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Automatisierungstechnik und Mechatronik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Automatisierungstechnik und Mechatronik > Regelungsmethoden und Robotik (ab 01.08.2022 umbenannt in Regelungsmethoden und Intelligente Systeme)
Hinterlegungsdatum: 03 Apr 2016 19:55
Letzte Änderung: 22 Feb 2024 13:55
PPN:
Referenten: Adamy, Prof. Dr. Jürgen ; Winner, Prof. Dr. Hermann ; Damm, Prof. Dr. Christian ; Pesavento, Prof. Dr. Marius
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 10 Dezember 2015
Schlagworte:
Einzelne SchlagworteSprache
Bayessche Inferenzverfahren, Belegungsgitterkarte, B-Spline Konturverfolgung, Dynamische Objektdetektion, Fahrerassistenzsysteme, Fahrzeugautomation, Intelligentes Fahrzeug, Kollisionsvermeidung, Kollisionszeit, Kritikalitätsbewertung, Manövererkennung, Nichtlineare Mehrmodellfilter, Objektverfolgung, Parametrische Freiraumkarte, PRORETA, Trajektorienprädiktion, Umfeldmodell, Umfeldwahrnehmung, Umgebungsrepräsentation, WeltmodellDeutsch
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen