Heutzutage wurde eine Vielzahl von intelligenten Systemen für das autonome Fahren entwickelt, die bereits ein sehr hohes Maß an Leistungsfähigkeit gezeigt haben. Eine der Voraussetzungen für das autonome Fahren ist eine genaue und zuverlässige Darstellung der Umgebung des Fahrzeugs. Aktuelle Systeme stützen sich auf Kameras, RADAR und LiDAR, um die visuelle Umgebung zu erfassen und andere Verkehrsteilnehmer zu lokalisieren und zu verfolgen. Menschliche Fahrer haben neben dem Sehvermögen auch ein Gehör und nutzen neben den visuellen Hinweisen auch viele auditive Informationen, um die Umgebung zu verstehen. In dieser Arbeit wird ein System zur Verarbeitung von Schallsignalen für die auditiv basierte Umgebungsdarstellung vorgestellt.

Die Schallausbreitung ist weniger abhängig von Verdeckungen als alle anderen Arten von Sensoren und reagiert in manchen Situationen weniger empfindlich auf verschiedene Wetterbedingungen wie Schnee, Eis, Nebel oder Regen. Verschiedene Audioverarbeitungsalgorithmen ermöglichen die Erkennung und Klassifizierung verschiedener Audiosignale, die für bestimmte Fahrzeugtypen spezifisch sind, sowie die Lokalisierung.

Im ersten Schritt wird das Umgebungsgeräusch in vierzehn Hauptkategorien eingeteilt, die sich aus Verkehrsobjekten und durchgeführten Aktionen zusammensetzen. Zusätzlich wird die Klassifizierung von drei spezifischen Typen von Sirenen für Einsatzfahrzeuge vorgenommen. Im zweiten Schritt wird jedes Objekt mit Hilfe eines kombinierten Lokalisierungsalgorithmus lokalisiert, der auf der Amplitude und der Zeitdifferenz der Ankunft basiert. Das System wird anhand realer Daten evaluiert, wobei der Schwerpunkt auf der zuverlässigen Erkennung und genauen Lokalisierung von Einsatzfahrzeugen liegt. Im dritten Schritt wird die Möglichkeit geschaffen, die Schallquelle im Bild des autonomen Fahrzeugkamerasystems zu visualisieren. Zu diesem Zweck wurde eine Methode zur Kalibrierung von Kamera und Mikrofonen entwickelt.

Die vorgestellten Ansätze und Methoden verfügen über ein großes Potenzial, die Genauigkeit der Umgebungswahrnehmung zu erhöhen und damit die Zuverlässigkeit und Sicherheit von autonomen Fahrsystemen im Allgemeinen zu verbessern.