TU Darmstadt / ULB / TUbiblio

Personalization of Hearing Aids using Daily Routine Recognition and Sensor Fusion

Kübert, Thomas (2022)
Personalization of Hearing Aids using Daily Routine Recognition and Sensor Fusion.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00021426
Dissertation, Erstveröffentlichung, Verlagsversion

Kurzbeschreibung (Abstract)

According to the World Health Organization, disabling hearing loss affects over 400 million people worldwide. Modern hearing aids (HA) can reduce this burden but require a situation-dependent control, which classifies the incoming sounds in a person-independent manner into predefined acoustic categories, such as speech in noise. For each category a corresponding setting, e.g., frequency gains, exists. However, the complex audio signal processing shows the highest benefits if the algorithms are optimally adapted to the respective acoustic situations and personal preferences. A stable and reliable situation identification is necessary for a natural and subtle HA control. To enhance the user satisfaction and increase the temporal prediction stability, we propose to personalize the classification system for each user by considering the recurring situations and environments of the daily routine. For this purpose, we link the daily routine situations and environments to preferred HA settings. Therefore, we are first to propose a combination of acceleration (ACC) and microphone data to recognize the daily routine in hearing aids.

While acoustic classification systems are typically trained on selected real and controlled situations, we solely perform our analysis on realistic unconstrained situations and environments of HA wearers following their personal daily routine. Therefore, we create two realistic large data sets that form the basis for our comprehensive investigations. The first set DT contains one subject over 9 days with coarse time diary annotations for our feasibility experiments. The second data set D7 includes seven subjects over 104 days with intention-based user annotations for the model generalization investigations. For the recordings, we build on a HA prototype allowing to stream the ACC and audio data to a mobile phone.

To show the feasibility of the approach and analyze which situations are distinguishable within the feature space, we perform clustering and visualization approaches on the data set DT. Thereby, we demonstrate that the ACC and audio features discriminate and group various daily routine situations and environments. These are visualized and clustered in data embeddings and feature plots over time. Using the knowledge of the discriminative routine situations and the coarse time diary annotations, we label the DT set by an extended semi-supervised algorithm. After that, the routine activities are recognized and the effect of three input variants, namely ACC, audio, and both, are analyzed. Within these experiments, we show the strong contribution of the audio features.

After showing the proof-of-concept, the second set D7 is used to analyze the model generalization abilities across subjects. We train several classifiers in an offline, online, and sequence manner. To achieve this, we build an efficient feature representation, which describes the recurring daily situations and environments well. To recognize the daily routine, we apply and test various classification methods in an online manner. The multi-layer perceptron and random forest (RF) trained in a person-dependent way show the best F-measure performance. We confirm for high-level activities that the person-dependent model outperforms the independent one. In our online experiments, the goal is to improve the offline classification results and simulate a real system. Therefore, we personalize a model that was pretrained in a person-independent manner by daily online updates with the predicted or true user labels. Thereby, multiple incremental learners and an online RF are tested. We demonstrate that the RF can self-improve the F-measure compared to the offline baselines. In our sequence simulations, we model the temporal relationships of the sequential data to improve the routine detection. The results show a strong improvement in the daily routine recognition with the proposed sequence classification techniques. The sequence learners enhance the temporal stability of the predictions.

In this dissertation, we show the potential of a personalized daily routine classification for an optimal HA configuration. Our efficient processing scheme allows to detect the routine classes linked to a preferred HA setting based on audio and acceleration features. To this end, our work contributes to support hearing aid wearers with an enhanced classification system to improve the user satisfaction.

Typ des Eintrags: Dissertation
Erschienen: 2022
Autor(en): Kübert, Thomas
Art des Eintrags: Erstveröffentlichung
Titel: Personalization of Hearing Aids using Daily Routine Recognition and Sensor Fusion
Sprache: Englisch
Referenten: Puder, Prof. Dr. Henning ; Koeppl, Prof. Dr. Heinz
Publikationsjahr: 2022
Ort: Darmstadt
Kollation: x, 125 Seiten
Datum der mündlichen Prüfung: 29 März 2022
DOI: 10.26083/tuprints-00021426
URL / URN: https://tuprints.ulb.tu-darmstadt.de/21426
Kurzbeschreibung (Abstract):

According to the World Health Organization, disabling hearing loss affects over 400 million people worldwide. Modern hearing aids (HA) can reduce this burden but require a situation-dependent control, which classifies the incoming sounds in a person-independent manner into predefined acoustic categories, such as speech in noise. For each category a corresponding setting, e.g., frequency gains, exists. However, the complex audio signal processing shows the highest benefits if the algorithms are optimally adapted to the respective acoustic situations and personal preferences. A stable and reliable situation identification is necessary for a natural and subtle HA control. To enhance the user satisfaction and increase the temporal prediction stability, we propose to personalize the classification system for each user by considering the recurring situations and environments of the daily routine. For this purpose, we link the daily routine situations and environments to preferred HA settings. Therefore, we are first to propose a combination of acceleration (ACC) and microphone data to recognize the daily routine in hearing aids.

While acoustic classification systems are typically trained on selected real and controlled situations, we solely perform our analysis on realistic unconstrained situations and environments of HA wearers following their personal daily routine. Therefore, we create two realistic large data sets that form the basis for our comprehensive investigations. The first set DT contains one subject over 9 days with coarse time diary annotations for our feasibility experiments. The second data set D7 includes seven subjects over 104 days with intention-based user annotations for the model generalization investigations. For the recordings, we build on a HA prototype allowing to stream the ACC and audio data to a mobile phone.

To show the feasibility of the approach and analyze which situations are distinguishable within the feature space, we perform clustering and visualization approaches on the data set DT. Thereby, we demonstrate that the ACC and audio features discriminate and group various daily routine situations and environments. These are visualized and clustered in data embeddings and feature plots over time. Using the knowledge of the discriminative routine situations and the coarse time diary annotations, we label the DT set by an extended semi-supervised algorithm. After that, the routine activities are recognized and the effect of three input variants, namely ACC, audio, and both, are analyzed. Within these experiments, we show the strong contribution of the audio features.

After showing the proof-of-concept, the second set D7 is used to analyze the model generalization abilities across subjects. We train several classifiers in an offline, online, and sequence manner. To achieve this, we build an efficient feature representation, which describes the recurring daily situations and environments well. To recognize the daily routine, we apply and test various classification methods in an online manner. The multi-layer perceptron and random forest (RF) trained in a person-dependent way show the best F-measure performance. We confirm for high-level activities that the person-dependent model outperforms the independent one. In our online experiments, the goal is to improve the offline classification results and simulate a real system. Therefore, we personalize a model that was pretrained in a person-independent manner by daily online updates with the predicted or true user labels. Thereby, multiple incremental learners and an online RF are tested. We demonstrate that the RF can self-improve the F-measure compared to the offline baselines. In our sequence simulations, we model the temporal relationships of the sequential data to improve the routine detection. The results show a strong improvement in the daily routine recognition with the proposed sequence classification techniques. The sequence learners enhance the temporal stability of the predictions.

In this dissertation, we show the potential of a personalized daily routine classification for an optimal HA configuration. Our efficient processing scheme allows to detect the routine classes linked to a preferred HA setting based on audio and acceleration features. To this end, our work contributes to support hearing aid wearers with an enhanced classification system to improve the user satisfaction.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Laut der Weltgesundheitsorganisation sind weltweit über 400 Millionen Menschen von der Schwerhörigkeit betroffen. Moderne Hörgeräte (HA) können diese Einschränkungen des Hörvermögens reduzieren. Dies erfordert aber eine situationsabhängige Steuerung, die die eingehenden Geräusche personenunabhängig in vordefinierte akustische Kategorien, wie z.B. Sprache in Lärm, einteilt. Für jede Kategorie existiert eine entsprechende Einstellung, z.B. die Frequenzverstärkung. Jedoch zeigt die komplexe Audiosignalverarbeitung den höchsten Nutzen, wenn die Algorithmen optimal an die jeweiligen akustischen Situationen und persönlichen Vorlieben angepasst sind. Für eine natürliche und subtile HA-Kontrolle ist eine stabile und zuverlässige Situationsidentifikation notwendig. Zur Erhöhung der Benutzerzufriedenheit und Steigerung der zeitlichen Prädiktionsstabilität schlagen wir die Personalisierung des Klassifizierungssystems für jeden Benutzer vor, indem die wiederkehrenden Situationen und Umgebungen der täglichen Routine berücksichtigt werden. Dazu verknüpfen wir die täglichen Routinesituationen und -umgebungen mit bevorzugten HA-Einstellungen. Daher schlagen wir als Erste eine Kombination aus Beschleunigungs- (ACC) und Mikrofondaten zur Erkennung der täglichen Routine in Hörgeräten vor.

Während akustische Klassifizierungssysteme typischerweise auf ausgewählten realen und kontrollierten Situationen trainiert werden, führen wir unsere Analysen ausschließlich in realistischen, unbeschränkten Situationen und Umgebungen von HA-Trägern durch, die ihrem persönlichen Tagesablauf folgen. Daher erstellen wir zwei realistische große Datensätze, die die Grundlage für unsere umfassenden Untersuchungen bilden. Der erste Datensatz DT besteht aus einem Probanden über 9 Tage mit groben Tagebuchannotationen für unsere Machbarkeitsexperimente. Der zweite Datensatz D7 umfasst sieben Probanden über 104 Tage mit absichtsbasierten Benutzerannotationen für die Modellgeneralisierungsuntersuchungen. Die Aufnahmen basieren auf einem HA-Prototypen, der die Übertragung der ACC- und Audiodaten auf ein Mobiltelefon ermöglicht.

Um die Realisierbarkeit des Ansatzes aufzuzeigen und zu analysieren, welche Situationen innerhalb des Merkmalraums unterscheidbar sind, führen wir Clustering- und Visualisierungsansätze am Datensatz DT durch. Damit zeigen wir, dass die ACC- und Audio-Merkmale verschiedene Alltagssituationen und -umgebungen unterscheiden und gruppieren können. Diese werden visualisiert und gruppiert in Datenembeddings und Merkmalsgraphen über die Zeit. Mit dem Wissen um die unterscheidbaren Routinesituationen und die groben Tagebuchannotationen beschriften wir den Datensatz DT durch einen erweiterten semi-überwachten Algorithmus. Danach werden die Routineaktivitäten erkannt und der Einfluss von drei Eingangsvarianten, nämlich ACC, Audio und die Kombination aus beiden Sensoren, analysiert. In diesen Experimenten zeigen wir den starken Beitrag der Audiomerkmale.

Nach der Darstellung des Proof-of-Concept wird der zweite Datensatz D7 verwendet, um die Modellgeneralisierungsfähigkeiten über Probanden hinweg zu analysieren. Wir trainieren mehrere Offline-, Online- und Sequenzklassifikatoren. Hierfür bauen wir einen effizienten Merkmalsraum auf, der die wiederkehrenden täglichen Situationen und Umgebungen gut beschreibt. Zur Erkennung des Tagesablaufs wenden wir verschiedene Offline-Klassifizierungsmethoden an und testen diese. Das mehrschichtige Perzeptron und der Random Forest (RF), die personenabhängig trainiert wurden, zeigen die besten Ergebnisse im F-Maß. Wir bestätigen mit unserer Analyse für die High-Level-Aktivitäten, dass das personenabhängige Modell das unabhängige Modell im direkten Vergleich zueinander übertrifft. Das Ziel unserer Online-Experimente ist die Verbesserung der Offline-Klassifizierungsergebnisse und die Simulation eines realen Systems. Für diesen Zweck personalisieren wir ein Modell, das personenunabhängig vortrainiert wurde, durch tägliche Online-Updates mit den vorhergesagten oder wahren Benutzerannotationen. Dabei werden mehrere inkrementelle Lernansätze und ein Online-RF getestet. Wir zeigen, dass der RF das F-Maß im Vergleich zu den Offline-Baselines selbst verbessern kann. In unseren Sequenzsimulationen modellieren wir die zeitlichen Beziehungen der sequentiellen Daten, um die Routineerkennung zu optimieren. Die Ergebnisse zeigen eine starke Verbesserung der täglichen Routineerkennung mit den vorgeschlagenen Sequenzklassifikationstechniken. Die Sequenzansätze erhöhen die zeitliche Stabilität der Vorhersagen.

In dieser Dissertation zeigen wir das Potential einer personalisierten täglichen Routineklassifizierung für eine optimale HA -Konfiguration auf. Unser effizientes Verarbeitungsschema ermöglicht die Erkennung der Routineklassen, die mit einer bevorzugten HA-Einstellung verbunden sind, basierend auf Audio- und Beschleunigungsmerkmalen. Unsere Arbeit unterstützt Hörgeräteträger mit Hilfe eines verbesserten Klassifizierungssystems, um die Benutzerzufriedenheit zu erhöhen.

Deutsch
Status: Verlagsversion
URN: urn:nbn:de:tuda-tuprints-214265
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 600 Technik, Medizin, angewandte Wissenschaften > 620 Ingenieurwissenschaften und Maschinenbau
Fachbereich(e)/-gebiet(e): 18 Fachbereich Elektrotechnik und Informationstechnik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Nachrichtentechnik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Nachrichtentechnik > Adaptive Systeme der Sprach- und Audiosignalverarbeitung
Hinterlegungsdatum: 06 Jul 2022 13:24
Letzte Änderung: 07 Jul 2022 09:16
PPN:
Referenten: Puder, Prof. Dr. Henning ; Koeppl, Prof. Dr. Heinz
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 29 März 2022
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen