TU Darmstadt / ULB / TUbiblio

Vehicular Communication for Collective Perception : Adaptive and Communication-Efficient Vehicular Perception Mechanisms

Khalil, Ahmad (2024)
Vehicular Communication for Collective Perception : Adaptive and Communication-Efficient Vehicular Perception Mechanisms.
Technische Universität Darmstadt
Dissertation, Erstveröffentlichung, Verlagsversion

Kurzbeschreibung (Abstract)

The global road safety report for 2023 highlights a worryingly high number of 1.19 million road traffic fatalities per year. Notably, European road accidents, predominantly caused by human errors, highlight the urgent necessity for advanced vehicle automation to supplement or replace human driver control. Effective autonomous driving systems rely on reliable vehicular perception, crucial for vehicles to accurately perceive their surroundings. Vehicular perception must deliver consistently reliable results across diverse scenarios and conditions. Various methods, such as object detection models realize vehicular perception. Presently, deep neural networks dominate object detection in vehicular contexts due to their superior performance. However, the conventional approach of centrally training object detection models involves transferring vehicle data to central servers, which raises concerns about privacy and bandwidth usage. Furthermore, this method leads to models (situation-agnostic) that perform poorly in specific conditions such as adverse weather or complex traffic scenarios.

To address these challenges, the first contribution of this thesis introduces the Situation-aware Collective Perception (SCP) framework which provides two-stage perception. Environmental situations are initially detected, and then the situation-aware object detection models are employed based on the detection situation. This framework enables transitioning from conventional situation-agnostic to situation-aware object detection. When integrated with V2X communication, our framework supports collaborative and online model training directly in vehicles. Evaluations under diverse environmental conditions demonstrate that using situation-aware models notably improves detection performance.

Moreover, a notable finding emerging from our first contribution highlights the negative impact of increased data heterogeneity on the performance of the object detection models. To effectively mitigate the adverse influence of data heterogeneity, the second contribution focuses on mitigating data heterogeneity by introducing two novel methods that leverage both data characteristics and model parameters to enable an optimized training process. Evaluation of our methods using camera data from the vehicular field demonstrates a remarkable enhancement in model training convergence and detection performance compared with state-of-the-art approaches.

Lastly, the third contribution introduces the Adaptive Resource-aware Clustered Federated Learning (AR-CFL) framework. By integrating with the collaborative and online perception model training paradigm of our SCP framework, AR-CFL optimizes communication efficiency through the creation of efficient vehicle clusters for localized model training.

Overall, the proposed approaches are promising for increasing vehicular perception by enabling adaptive perception while considering communication efficiency.

Typ des Eintrags: Dissertation
Erschienen: 2024
Autor(en): Khalil, Ahmad
Art des Eintrags: Erstveröffentlichung
Titel: Vehicular Communication for Collective Perception : Adaptive and Communication-Efficient Vehicular Perception Mechanisms
Sprache: Englisch
Referenten: Steinmetz, Prof. Dr. Ralf ; Fernández Anta, Prof. Dr. Antonio ; Meuser, Dr. Tobias
Publikationsjahr: 5 September 2024
Ort: Darmstadt
Kollation: vi, 131 Seiten
Datum der mündlichen Prüfung: 21 Juni 2024
URL / URN: https://tuprints.ulb.tu-darmstadt.de/27891
Kurzbeschreibung (Abstract):

The global road safety report for 2023 highlights a worryingly high number of 1.19 million road traffic fatalities per year. Notably, European road accidents, predominantly caused by human errors, highlight the urgent necessity for advanced vehicle automation to supplement or replace human driver control. Effective autonomous driving systems rely on reliable vehicular perception, crucial for vehicles to accurately perceive their surroundings. Vehicular perception must deliver consistently reliable results across diverse scenarios and conditions. Various methods, such as object detection models realize vehicular perception. Presently, deep neural networks dominate object detection in vehicular contexts due to their superior performance. However, the conventional approach of centrally training object detection models involves transferring vehicle data to central servers, which raises concerns about privacy and bandwidth usage. Furthermore, this method leads to models (situation-agnostic) that perform poorly in specific conditions such as adverse weather or complex traffic scenarios.

To address these challenges, the first contribution of this thesis introduces the Situation-aware Collective Perception (SCP) framework which provides two-stage perception. Environmental situations are initially detected, and then the situation-aware object detection models are employed based on the detection situation. This framework enables transitioning from conventional situation-agnostic to situation-aware object detection. When integrated with V2X communication, our framework supports collaborative and online model training directly in vehicles. Evaluations under diverse environmental conditions demonstrate that using situation-aware models notably improves detection performance.

Moreover, a notable finding emerging from our first contribution highlights the negative impact of increased data heterogeneity on the performance of the object detection models. To effectively mitigate the adverse influence of data heterogeneity, the second contribution focuses on mitigating data heterogeneity by introducing two novel methods that leverage both data characteristics and model parameters to enable an optimized training process. Evaluation of our methods using camera data from the vehicular field demonstrates a remarkable enhancement in model training convergence and detection performance compared with state-of-the-art approaches.

Lastly, the third contribution introduces the Adaptive Resource-aware Clustered Federated Learning (AR-CFL) framework. By integrating with the collaborative and online perception model training paradigm of our SCP framework, AR-CFL optimizes communication efficiency through the creation of efficient vehicle clusters for localized model training.

Overall, the proposed approaches are promising for increasing vehicular perception by enabling adaptive perception while considering communication efficiency.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Der Bericht über die Sicherheit im weltweiten Straßenverkehr für das Jahr 2023 zeigt die beunruhigend hohe Zahl 1,19 Millionen Verkehrstoten pro Jahr. Die Mehrheit dieser Unfälle in Europa wird durch menschliches Versagen verursacht und zeigt somit eindrucksvoll, dass fortschrittliche Fahrzeugautomatisierung dringend erforderlich ist, um die menschlichen Fahrer zu unterstützen oder sogar zu ersetzen. Wirksame autonome Fahrsysteme sind auf eine zuverlässige Fahrzeugwahrnehmung angewiesen, damit die Fahrzeuge auf ihre Umgebung reagieren können. Diese Fahrzeugwahrnehmung muss in verschiedenen Szenarien und unter verschiedenen Bedingungen gleichbleibend zuverlässige Ergebnisse liefern. Verschiedene Methoden, wie z. B. Modelle zur Objekterkennung, ermöglichen diese Fahrzeugwahrnehmung. Gegenwärtig dominieren tiefe neuronale Netze die Objekterkennung im Fahrzeugkontext aufgrund ihrer hohen Detektionsleistung. Der herkömmliche Ansatz des Trainings dieser tiefen neuralen Netze ist das Training auf einem zentralen Server, wofür die Übertragung von Fahrzeugdaten an diesen Server nötig ist, was Bedenken hinsichtlich des Datenschutzes und der Bandbreitennutzung aufwirft. Darüber hinaus kann diese Methode zu (situationsagnostischen) Modellen führen, die unter bestimmten Bedingungen wie schlechtem Wetter oder komplexen Verkehrsszenarien über eine geringere Detektionsperformanz verfügen.

Um diese Herausforderungen zu bewältigen, stellt unser erster Beitrag ein Framework für Situational Collective Perception (SCP) vor, der eine zweistufige Wahrnehmung ermöglicht. Zunächst werden Umweltsituationen erkannt und auf Basis der detektierten Bedingungen situationsbewusste Objekterkennungsmodelle eingesetzt. Dieses Framework ermöglicht den Übergang von situationsagnostischer zu situationsbewusster Objekterkennung. In Verbindung mit V2X-Kommunikation unterstützt unser System das kollaborative und online Modelltraining direkt im Fahrzeug. Die Evaluation der situationsbewussten Modelle unter verschiedenen Umgebungsbedingungen zeigen eine deutliche Verbesserung der Erkennungsleistung.

Eine weitere bemerkenswerte Erkenntnis aus unserem ersten Beitrag ist die negative Auswirkung der zunehmenden Datenheterogenität auf die Leistung der Objekterkennungsmodelle. Um den negativen Einfluss der Datenheterogenität abzuschwächen, nutzen wir in unserem zweiten Beitrag gezielt Datenmerkmale und Modellparameter, um einen optimierten Trainingsprozess zu ermöglichen. Die Auswertung von Kameradaten aus dem Fahrzeugumfeld zeigt eine starke Verbesserung der Konvergenz des Modelltrainings und der Erkennungsleistung.

Schließlich wird in unserem dritten Beitrag das Adaptive Resource-aware Clustered Federated Learning (AR-CFL) Framework vorgestellt. Durch die Integration mit dem Ansatz unseres Situational-Collective-Perception-Frameworks optimiert AR-CFL die Kommunikationseffizienz durch die Schaffung effizienter Fahrzeug-Cluster für lokales Modelltraining.

Zusammenfassend sind die vorgeschlagenen Ansätze vielversprechend, um die Wahrnehmung von Fahrzeugen zu verbessern, indem sie eine adaptive Wahrnehmung unter Berücksichtigung der Kommunikationseffizienz ermöglichen.

Deutsch
Status: Verlagsversion
URN: urn:nbn:de:tuda-tuprints-278919
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
500 Naturwissenschaften und Mathematik > 500 Naturwissenschaften
600 Technik, Medizin, angewandte Wissenschaften > 600 Technik
600 Technik, Medizin, angewandte Wissenschaften > 620 Ingenieurwissenschaften und Maschinenbau
Fachbereich(e)/-gebiet(e): 18 Fachbereich Elektrotechnik und Informationstechnik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Datentechnik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Datentechnik > Multimedia Kommunikation
Hinterlegungsdatum: 05 Sep 2024 12:12
Letzte Änderung: 06 Sep 2024 07:49
PPN:
Referenten: Steinmetz, Prof. Dr. Ralf ; Fernández Anta, Prof. Dr. Antonio ; Meuser, Dr. Tobias
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 21 Juni 2024
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen