TU Darmstadt / ULB / TUbiblio

Context-aware phone mode adaptation – Approaches to Classify Phone Position and User Activity from Smartphone Sensor Data

Diaconița, Irina (2018)
Context-aware phone mode adaptation – Approaches to Classify Phone Position and User Activity from Smartphone Sensor Data.
Technische Universität Darmstadt
Dissertation, Erstveröffentlichung

Kurzbeschreibung (Abstract)

Over the past few years both the popularity and the computing and sensing capabilities of smartphones increased significantly. This created tremendous opportunities for pervasive and mobile computing. Previous approaches had to rely on users carrying dedicated devices which gained limited acceptance and spread due to the constraints and extra costs involved. Nowadays a great and ever-increasing number of users own and carry smartphones, thus enabling the monitoring of user context and behavior and the provision of accordingly adapted services while not disturbing the user.

Despite the plethora of features that smartphones provide, a significant proportion of their usage still belongs to communications appplications [9]. In this context, adequate adaptation of the phone notification mechanisms is necessary in order to avoid disruptions and disturbances to the user and surrounding peers, as well as in order to ensure that notifications are not mistakenly overseen. The survey we carried out indicates that a significant percentage of respondents at least occasionally fail to adapt their phone mode, whereas the majority of the participants report having to change their phone modes several times per day.

The goal of this thesis is to provide the users with methods to automatically adapt their phones’ notification mechanism based on two types of contextual information that we deemed as essential: the place where the phone is carried and the users’ current activities. Phone position detection constitutes our main focus regarding context detection, while for user activity classification we adapt existing approaches to our scenarios. Both types of contextual information are inferred only based on hardware sensors embedded in off-the-shelf smartphones in order to make this approach available to as many users as possible.

The main challenges include obtaining the highest possible classification accuracy and ensuring that the contextual information is not deprecated, given the great risk of disturbance posed by inaccurate results. Furthermore, we aim to limit the duration of sensor sampling in order to reduce both battery impact and privacy concerns.

Our contributions include an audio-based active probing approach which achieves a significant improvement of phone position classification accuracy in comparison to existing state-of-the-art approaches. We subsequently improved this method, which relies on playing audio signals and recording them at the same time, by opportunistically piggybacking phone notification sounds. Thus we could at the same time avoid user disturbance through sound playing, limit the recording duration, and ensure that the classified phone position is actually the current one. For the situations when the phone is on silent mode, we propose an approach that piggybacks vibration motor movements to collect and classify accelerometer readings, achieving accuracies in excess of 90%. Lastly, we provide a proof of concept implementation of a system that awaits incoming phonecalls or notifications, records audio and accelerometer readings, determines the user’s activity and phone position, and immediately adapts the phone mode.

Typ des Eintrags: Dissertation
Erschienen: 2018
Autor(en): Diaconița, Irina
Art des Eintrags: Erstveröffentlichung
Titel: Context-aware phone mode adaptation – Approaches to Classify Phone Position and User Activity from Smartphone Sensor Data
Sprache: Englisch
Referenten: Steinmetz, Prof. Dr. Ralf ; Mauthe, Prof. Dr. Andreas
Publikationsjahr: 26 März 2018
Ort: Darmstadt
Datum der mündlichen Prüfung: 26 März 2018
URL / URN: http://tuprints.ulb.tu-darmstadt.de/7349
Kurzbeschreibung (Abstract):

Over the past few years both the popularity and the computing and sensing capabilities of smartphones increased significantly. This created tremendous opportunities for pervasive and mobile computing. Previous approaches had to rely on users carrying dedicated devices which gained limited acceptance and spread due to the constraints and extra costs involved. Nowadays a great and ever-increasing number of users own and carry smartphones, thus enabling the monitoring of user context and behavior and the provision of accordingly adapted services while not disturbing the user.

Despite the plethora of features that smartphones provide, a significant proportion of their usage still belongs to communications appplications [9]. In this context, adequate adaptation of the phone notification mechanisms is necessary in order to avoid disruptions and disturbances to the user and surrounding peers, as well as in order to ensure that notifications are not mistakenly overseen. The survey we carried out indicates that a significant percentage of respondents at least occasionally fail to adapt their phone mode, whereas the majority of the participants report having to change their phone modes several times per day.

The goal of this thesis is to provide the users with methods to automatically adapt their phones’ notification mechanism based on two types of contextual information that we deemed as essential: the place where the phone is carried and the users’ current activities. Phone position detection constitutes our main focus regarding context detection, while for user activity classification we adapt existing approaches to our scenarios. Both types of contextual information are inferred only based on hardware sensors embedded in off-the-shelf smartphones in order to make this approach available to as many users as possible.

The main challenges include obtaining the highest possible classification accuracy and ensuring that the contextual information is not deprecated, given the great risk of disturbance posed by inaccurate results. Furthermore, we aim to limit the duration of sensor sampling in order to reduce both battery impact and privacy concerns.

Our contributions include an audio-based active probing approach which achieves a significant improvement of phone position classification accuracy in comparison to existing state-of-the-art approaches. We subsequently improved this method, which relies on playing audio signals and recording them at the same time, by opportunistically piggybacking phone notification sounds. Thus we could at the same time avoid user disturbance through sound playing, limit the recording duration, and ensure that the classified phone position is actually the current one. For the situations when the phone is on silent mode, we propose an approach that piggybacks vibration motor movements to collect and classify accelerometer readings, achieving accuracies in excess of 90%. Lastly, we provide a proof of concept implementation of a system that awaits incoming phonecalls or notifications, records audio and accelerometer readings, determines the user’s activity and phone position, and immediately adapts the phone mode.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Innerhalb der letzten Jahre hat sich sowohl die Beliebtheit als auch die Rechenleistung und Sensorfähigkeiten von Smartphones erheblich erhöht. Daraus ergeben sich enorme Möglichkeiten für Pervasive und Mobile Computing. Frühere Ansätze mussten sich darauf verlassen, dass Nutzer dedizierte Geräte mitführen – was aufgrund der Einschränkungen und Zusatzkosten zu nur eingeschränkter Akzeptanz und Verbreitung führte. Heutzutage besitzt eine große und steigende Anzahl von Nutzern Smartphones und führt diese dauerhaft mit sich, was eine Beobachtung des Nutzerkontexts und -verhaltens sowie die Bereitstellung entsprechend angepasster Dienste ermöglicht, ohne den Nutzer zu stören.

Trotz der Vielzahl an Features die Smartphones bereitstellen ist ein signifikanter Anteil ihrer Nutzung weiterhin dem Bereich der Kommunikationsanwendungen zuzuordnen. In diesem Umfeld ist die adäquate Anpassung von Benachrichtigungsmechanismen notwendig, um Störungen und Belästigungen für den Nutzer und das Umfeld des Nutzers zu vermeiden sowie um sicherzustellen, dass Benachrichtigungen nicht irrtümlicherweise übersehen werden.

Die von uns durchgeführte Befragung zeigt, dass ein signifikanter Anteil der Befragten zumindest hin und wieder vergisst, ihren Telefonmodus anzupassen, wobei die Mehrzahl der Befragten angibt, diesen mehrmals täglich zu wechseln.

Das Ziel dieser Arbeit ist es Nutzern Methoden zu bieten, mit denen der Benachrichtigungsmodus automatisch angepasst werden kann. Hierbei werden zwei von uns als essenziell eingestufte kontextuelle Informationen analysiert: die Position, an der das Telefon mit sich geführt wird sowie die zurzeit durchgeführten Aktivitäten des Nutzers. Die Ermittlung der Position des Telefons ist der hauptsächliche Fokus unserer Arbeit, während wir uns bei der Klassifikation der Nutzeraktivität auf bereits existierende Ansätze stützen und diese für unser Szenario anpassen. Beide Arten kontextueller Information werden nur von Daten aus Hardwaresensoren abgeleitet, die in gängigen Smartphones verbaut sind, um den Ansatz für möglichst viele Nutzer nutzbar zu gestalten. Die hauptsächliche Herausforderung liegt darin, die höchstmögliche Genauigkeit der Klassifikation zu erreichen und sicherzustellen, dass die ermittelte kontextuelle Information nicht bereits veraltet ist, da ungenaue Resultate ein hohes Risiko für Störungen mit sich bringen. Weiterhin streben wir an, die Dauer der Sensorbenutzung zu minimieren, um sowohl den Energieverbrauch als auch Datenschutzbedenken zu reduzieren.

Unser Beitrag beinhaltet einen audiobasierten Ansatz mit aktiver Sondierung der eine signifikante Verbesserung der Genauigkeit der Klassifikation der Position des Telefons im Vergleich zu bestehenden State-of-the-Art-Ansätzen mit sich bringt. Anschließend zeigen wir, dass sich in einer Erweiterung dieses Ansatzes eine vergleichbare Genauigkeit erzielen lässt, wenn das Abspielen von vorhandenen Benachrichtigungstönen genutzt wird. Damit können wir sowohl die Störung des Nutzers durch das Abspielen von Geräuschen verhindern, die Aufnahmedauer verkürzen und sicherstellen, dass es sich bei der klassifizierten Telefonposition um die korrekte handelt. Für Situationen, bei denen sich das Telefon im Lautlosmodus befindet stellen wir einen Ansatz vor, der die Vibrationsmotorbewegungen benutzt und Daten des Beschleunigungssensors klassifiziert, wobei Genauigkeiten oberhalb von 90% erreicht werden. Schlussendlich stellen wir eine Proof-of-Concept-Implementierung eines Systems vor, das auf eingehende Anrufe oder Benachrichtigungen wartet, Audiound Beschleunigungsdaten aufnimmt, die Aktivität des Nutzers sowie die Position des Telefons bestimmt und umgehend den Telefonmodus anpasst.

Deutsch
URN: urn:nbn:de:tuda-tuprints-73491
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Fachbereich(e)/-gebiet(e): 18 Fachbereich Elektrotechnik und Informationstechnik
Hinterlegungsdatum: 03 Jun 2018 19:55
Letzte Änderung: 03 Jun 2018 19:55
PPN:
Referenten: Steinmetz, Prof. Dr. Ralf ; Mauthe, Prof. Dr. Andreas
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 26 März 2018
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen