TU Darmstadt / ULB / TUbiblio

Ultrasonic Phased Arrays for 3D Sonar Imaging in Air

Allevato, Gianni (2023)
Ultrasonic Phased Arrays for 3D Sonar Imaging in Air.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00024425
Dissertation, Erstveröffentlichung, Verlagsversion

Kurzbeschreibung (Abstract)

Next-gen autonomous mobile robots are not only required to navigate in a wide variety of challenging environments, but also have to interact directly with humans. In order to ensure reliability and safety, the integration of different and complementary perception sensor technologies is crucial. In particular, ultrasonic sensors stand out due to their robust operation in difficult lighting conditions, in the presence of transparent and reflective objects, and in smoke-filled and dusty environments, so that they ideally complement lidar and camera systems. However, conventional one-dimensional ultrasonic range finders restrict the available navigation capabilities of highly maneuverable robots. Therefore, in this thesis, three-dimensional sonar perception sensors based on air-coupled ultrasonic phased arrays and beamforming are investigated, which are capable of simultaneously localizing multiple objects in terms of distance, direction and height, enabling to form an image of the environment. The focus of this work is the conception and realization, as well as the numerical and experimental evaluation of five sonar imaging systems, which pursue different optimization goals in order to highlight the real-world capabilities and limitations. Two of the sonar prototypes created consist of 64 piezoelectric ultrasonic transducers (PUTs) with a narrowband resonant frequency of 40 kHz, all of which are utilized for both, transmit and receive beamforming. The single-line-acquisition technique and the resulting array gain enable imaging within a long range of over 6 m. The corresponding transceiver electronics, FPGA and system architecture, as well as the implementation details of the GPU-accelerated frequency-domain array signal processing and visualization using Nvidia CUDA and OpenGL are described. One of the systems utilizes a waveguide structure in which the PUTs are inserted to form a uniform dense λ/2 array geometry, that allows grating-lobe-free beamforming. The other system prototype exploits a non-uniform sparse spiral array configuration to span a large aperture for achieving a high angular resolution of 2.3°, enabling to recognize patterns and shapes of objects, e.g. a hand. Two further minimalistic embedded sonar systems are particularly designed for hardware-limited and mobile applications. These concepts use narrow-band PUTs for transmitting and wide-band digital MEMS microphone arrays for receiving. Each system is based on the multi-line acquisition technique, requiring only a single pulse for image formation, and, thus, providing high frame rates of 30 Hz. One of the systems consists of one PUT and a hexagonal 36-element microphone array, whereas the signal and 3D image processing is handled by an FPGA and a GPU-accelerated single-board computer (Nvidia Jetson Nano). The other system requires only a single microcontroller and relies on a waveguided PUT line array paired with a microphone line array in a T-configuration. Moreover, array design strategies are introduced that combine two non-uniform spiral sub-arrays featuring different element densities, which achieve a lower side lobe level for the same main lobe width compared to existing density tapering modifications. Based on this geometry, a sonar system with 64 MEMS microphones is developed, which additionally uses three waveguided PUTs to sequentially transmit different frequencies, whose resulting individual images are merged into a compound image. This sonar system thus achieves an advantageous trade-off between angular resolution and image contrast while maintaining a high frame rate and range. All of these system prototypes are analyzed with respect to their transmit, receive, and pulse-echo characteristics, as well as their achievable imaging quality in an anechoic chamber. In addition, the relative amplitude and phase errors of the different transducer technologies are investigated, the effects of these errors on the beamforming are analyzed using Monte Carlo simulations, and the improvements after the experimental calibration are highlighted. Furthermore, image enhancement by post processing is investigated using an autoencoder neural network, trained to suppress the typical transmit pulse, main lobe, and sidelobe characteristics. All in all, this work highlights the broad application potential of 3D sonar systems, as they provide valuable localization information, that surpasses conventional 1D range sensors, contributing to the advancement of emerging technologies in autonomous vehicles, robotics, and industrial environments.

Typ des Eintrags: Dissertation
Erschienen: 2023
Autor(en): Allevato, Gianni
Art des Eintrags: Erstveröffentlichung
Titel: Ultrasonic Phased Arrays for 3D Sonar Imaging in Air
Sprache: Englisch
Referenten: Kupnik, Prof. Dr. Mario ; Pesavento, Prof. Dr. Marius
Publikationsjahr: 2023
Ort: Darmstadt
Kollation: xiv, 151 Seiten
Datum der mündlichen Prüfung: 25 Juli 2023
DOI: 10.26083/tuprints-00024425
URL / URN: https://tuprints.ulb.tu-darmstadt.de/24425
Kurzbeschreibung (Abstract):

Next-gen autonomous mobile robots are not only required to navigate in a wide variety of challenging environments, but also have to interact directly with humans. In order to ensure reliability and safety, the integration of different and complementary perception sensor technologies is crucial. In particular, ultrasonic sensors stand out due to their robust operation in difficult lighting conditions, in the presence of transparent and reflective objects, and in smoke-filled and dusty environments, so that they ideally complement lidar and camera systems. However, conventional one-dimensional ultrasonic range finders restrict the available navigation capabilities of highly maneuverable robots. Therefore, in this thesis, three-dimensional sonar perception sensors based on air-coupled ultrasonic phased arrays and beamforming are investigated, which are capable of simultaneously localizing multiple objects in terms of distance, direction and height, enabling to form an image of the environment. The focus of this work is the conception and realization, as well as the numerical and experimental evaluation of five sonar imaging systems, which pursue different optimization goals in order to highlight the real-world capabilities and limitations. Two of the sonar prototypes created consist of 64 piezoelectric ultrasonic transducers (PUTs) with a narrowband resonant frequency of 40 kHz, all of which are utilized for both, transmit and receive beamforming. The single-line-acquisition technique and the resulting array gain enable imaging within a long range of over 6 m. The corresponding transceiver electronics, FPGA and system architecture, as well as the implementation details of the GPU-accelerated frequency-domain array signal processing and visualization using Nvidia CUDA and OpenGL are described. One of the systems utilizes a waveguide structure in which the PUTs are inserted to form a uniform dense λ/2 array geometry, that allows grating-lobe-free beamforming. The other system prototype exploits a non-uniform sparse spiral array configuration to span a large aperture for achieving a high angular resolution of 2.3°, enabling to recognize patterns and shapes of objects, e.g. a hand. Two further minimalistic embedded sonar systems are particularly designed for hardware-limited and mobile applications. These concepts use narrow-band PUTs for transmitting and wide-band digital MEMS microphone arrays for receiving. Each system is based on the multi-line acquisition technique, requiring only a single pulse for image formation, and, thus, providing high frame rates of 30 Hz. One of the systems consists of one PUT and a hexagonal 36-element microphone array, whereas the signal and 3D image processing is handled by an FPGA and a GPU-accelerated single-board computer (Nvidia Jetson Nano). The other system requires only a single microcontroller and relies on a waveguided PUT line array paired with a microphone line array in a T-configuration. Moreover, array design strategies are introduced that combine two non-uniform spiral sub-arrays featuring different element densities, which achieve a lower side lobe level for the same main lobe width compared to existing density tapering modifications. Based on this geometry, a sonar system with 64 MEMS microphones is developed, which additionally uses three waveguided PUTs to sequentially transmit different frequencies, whose resulting individual images are merged into a compound image. This sonar system thus achieves an advantageous trade-off between angular resolution and image contrast while maintaining a high frame rate and range. All of these system prototypes are analyzed with respect to their transmit, receive, and pulse-echo characteristics, as well as their achievable imaging quality in an anechoic chamber. In addition, the relative amplitude and phase errors of the different transducer technologies are investigated, the effects of these errors on the beamforming are analyzed using Monte Carlo simulations, and the improvements after the experimental calibration are highlighted. Furthermore, image enhancement by post processing is investigated using an autoencoder neural network, trained to suppress the typical transmit pulse, main lobe, and sidelobe characteristics. All in all, this work highlights the broad application potential of 3D sonar systems, as they provide valuable localization information, that surpasses conventional 1D range sensors, contributing to the advancement of emerging technologies in autonomous vehicles, robotics, and industrial environments.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Die nächste Generation autonomer mobiler Roboter muss sich nicht nur in einer Vielzahl herausfordernder Umgebungen zurechtfinden, sondern tritt auch in direkte Interaktion mit Menschen. Um hierbei eine zuverlässige Funktionsweise und Sicherheit zu gewährleisten, spielt der Einsatz von unterschiedlichen, sich gegenseitig ergänzenden Sensorprinzipien zur Umfelderfassung eine entscheidende Rolle. Insbesondere Ultraschallsensoren zeichnen sich durch ihre Zuverlässigkeit bei schwierigen Lichtverhältnissen, transparenten und reflektierenden Objekten, sowie in verrauchten und staubigen Umgebungen aus, wodurch sie Lidar- und Kamerasysteme ideal ergänzen. Bisher genutzte eindimensionale Ultraschall-Entfernungssensoren schränken jedoch das mögliche Navigationspotential der wendigen Roboter ein. Deswegen wird in dieser Thesis die dreidimensionale Sonar-Umfelderfassung basierend auf luftgekoppelten Ultraschall Phased Arrays untersucht, die mittels Beamforming mehrere Objekte gleichzeitig in der Entfernung, Richtung und Höhe lokalisieren und somit ein Abbild der Umgebung erzeugen können. Der Schwerpunkt der Arbeit bildet die Konzipierung und Realisierung, sowie die numerische und experimentelle Evaluation von fünf 3D Sonar Bildgebungs-Systemen, welche unterschiedliche Optimierungsziele verfolgen, um die realistischen Möglichkeiten und Limitierungen aufzuzeigen. Zwei aufgebaute Systemprototypen bestehen aus jeweils 64 piezoelektrischen Ultraschall Wandlern (PUTs) mit einer schmalbandigen Resonanzfrequenz von 40 kHz, welche alle sowohl zum Sende- als auch Empfangsbeamforming genutzt werden. Mit dem Single-Line-Acquisition Verfahren und dem resultierenden Array Gain wird die Bildgebung mit einer großen Reichweite von über 6 m ermöglicht. Die benötigte Transceiver-Elektronik, FPGA- und Systemarchitektur, sowie die Implementierung der GPU-beschleunigten Array Signalverarbeitung im Frequenzbereich, als auch die Visualisierung mittels Nvidia CUDA und OpenGL werden näher beleuchtet. Bei einem der Systeme werden die PUTs in die Kanäle einer Waveguide-Struktur eingesetzt, um eine gleichförmige dicht-besetzte λ/2 Arraygeometrie zu bilden, welche grating-lobe-freies Beamforming ermöglicht. Der andere Systemprototyp nutzt eine irreguläre, spärlich-besetzte, spiralförmige Arrayanordnung, um eine große Apertur aufzuspannen und somit eine hohe Winkelauflösung (2.3°) zu erzielen, die es erlaubt Muster und Formen von Objekten, z.B. eine Hand, zu erkennen. Zwei weitere minimalistische eingebettete Sonar Systeme sind besonders für hardware-limitierte und mobile Applikationen zugeschnitten. Diese Konzepte nutzen schmalbandige PUTs zum Senden und breitbandige, digitale MEMS Mikrofonarrays zum Empfangen. Hierbei wird jeweils das Multi-Line-Acquistion Verfahren genutzt, welches einen einzigen Puls zur Bildformation benötigt und dadurch hohe Frameraten (30 Hz) ermöglicht. Eines der Systeme besteht aus einem PUT und einem hexagonales 36-Element Mikrofonarray, während die Signal- und 3D Bildverarbeitung mittels FPGA und GPU-beschleunigten Single-Board-Computer (Nvidia Jetson Nano) erfolgt. Das andere System benötigt nur einen einzelnen Microcontroller zur 2D Bildgebung und basiert auf einem wellengeleiteten PUT Linienarray, welches mit einem Mikrofon Linienarray in einer T-Konfiguration kombiniert wird. Weiterhin wird eine Array Design Strategie eingeführt, welche zwei irreguläre spiralförmige Subarrays mit unterschiedlichen Elementdichten kombiniert, die im Vergleich zu bisherigen Dichte-Verjüngungs-Modifikationen ein geringeres Sidelobe-Level bei gleicher Hauptkeulenbreite erreicht. Basierend auf dieser Geometrie wird ein Sonarsystem mit 64 MEMS Mikrofonen aufgebaut, das zusätzlich drei wellengeleitete PUTs zum aufeinanderfolgenden Aussenden von unterschiedlichen Frequenzen nutzt, deren resultierende Einzelbilder in einemGesamtbild zusammengefügt werden. Das Sonarsystem erreicht somit einen vorteilhaften Trade-off zwischen Winkelauflösung und Kontrast bei gleichzeitig hoher Framerate und Reichweite. Alle aufgebauten Systemprototypen werden bezüglich der Sende-, Empfangs-, und Pulse-Echo Eigenschaften, sowie deren erreichbare Bildgebungsqualität in einem schalltoten Raum charakterisiert. Zusätzlich werden die relativen Amplituden- und Phasenfehler der verschiedenen Wandlertechnologien untersucht, die Auswirkungen der Fehler auf das Beamforming mittels Monte-Carlo Simulationen analysiert, und die Verbesserungen nach einer experimentellen Kalibrierung hervorgehoben. Außerdem wird die nachträgliche Bildverbesserung mit einem neuronalen Autoencoder-Netzwerk untersucht, das trainiert wird, um die typischen Sendepuls-, Hauptund Nebenkeulen-Charakteristiken zu unterdrücken. Insgesamt verdeutlicht die Arbeit das vielfältige Anwendungspotential von 3D Sonar Systemen, da sie wertvolle Lokalisierungsinformationen liefern, welche konventionelle 1D Entfernungssensoren übertreffen, und somit zum Fortschritt aufkommender Technologien im Bereich autonomer Fahrzeuge, Roboter und industriellen Umgebungen beitragen.

Deutsch
Status: Verlagsversion
URN: urn:nbn:de:tuda-tuprints-244256
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 600 Technik, Medizin, angewandte Wissenschaften > 621.3 Elektrotechnik, Elektronik
Fachbereich(e)/-gebiet(e): 18 Fachbereich Elektrotechnik und Informationstechnik
18 Fachbereich Elektrotechnik und Informationstechnik > Mess- und Sensortechnik
Hinterlegungsdatum: 04 Sep 2023 12:32
Letzte Änderung: 05 Sep 2023 11:33
PPN:
Referenten: Kupnik, Prof. Dr. Mario ; Pesavento, Prof. Dr. Marius
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 25 Juli 2023
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen