TU Darmstadt / ULB / TUbiblio

Sensor-Based Feedback for Piano Pedagogy

Hadjakos, Aristotelis (2011)
Sensor-Based Feedback for Piano Pedagogy.
Technische Universität Darmstadt
Dissertation, Erstveröffentlichung

Kurzbeschreibung (Abstract)

Recent advances in sensor technology provide new opportunities for applications that utilize the user's movement as an input source. This thesis focuses on movement analysis, which is a sub-area of a larger field concerned with the interpretation of sensor signals of human movement. Movement analysis can be used to provide feedback for training motor tasks, which is of interest for application areas such as rehabilitation, sports, and ergonomics. Consciously controllable, goal-directed movements, which we call primary movements, lead to slight movements in other parts of the body that are beyond conscious control (secondary movements). Secondary movements are generated due to the mechanical interaction with the environment and physiological dependencies of the body. This thesis contributes methods to distinguish between primary and secondary movements. This is necessary in order to provide high-quality feedback for motor tasks that show a significant amount of secondary movement. This can be the case when the secondary movements are large because of large reaction forces (e.g., when shooting a ball) or when the primary movements to execute the task are small (e.g., in various forms of handcraft or musical instrument performance). Furthermore, a precise distinction between primary and secondary movement can be necessary to check whether the user keeps a part of the body still (e.g., as required by a gymnastic exercise). Apart from sensor-based feedback, our results can also be used to improve current gesture recognition methods by ignoring secondary movement in the sensor signal to avoid that a secondary movement is misinterpreted as an execution of a gesture. The effectiveness of the proposed methods is shown in the context of pianist arm movements, which are particularly challenging to analyze. The distinction between primary and secondary movement in one joint of the arm is based on the measured movement in that particular joint, an estimation of key reaction force from MIDI data, and the movement in the other joints of the arm. In order to know on which arm the estimated key reaction force acts, it is necessary to determine which hand has played a note. For that purpose two methods are introduced: One method is based on MIDI; the other one uses data from inertial sensors in combination to MIDI. A third method based on Computer Vision, which was originally developed for sign language recognition, is evaluated here for tracking pianist hands. Based on the analysis methods, two pedagogical applications were developed: One application supports an existing piano pedagogical movement notation and checks whether the player's movement conforms to the indicated movement. A user study with piano students of a music university shows that potential users judge that the system is useful for the training of technique. The second application visualizes the sensor data and allows synchronizing different performances of the same piece, making it easy to spot differences where a closer examination may be beneficial.

Typ des Eintrags: Dissertation
Erschienen: 2011
Autor(en): Hadjakos, Aristotelis
Art des Eintrags: Erstveröffentlichung
Titel: Sensor-Based Feedback for Piano Pedagogy
Sprache: Englisch
Referenten: Mühlhäuser, Prof. Dr. Max ; Lukowicz, Prof. Dr. Paul
Publikationsjahr: 11 November 2011
Datum der mündlichen Prüfung: 4 Juli 2011
URL / URN: urn:nbn:de:tuda-tuprints-27978
Kurzbeschreibung (Abstract):

Recent advances in sensor technology provide new opportunities for applications that utilize the user's movement as an input source. This thesis focuses on movement analysis, which is a sub-area of a larger field concerned with the interpretation of sensor signals of human movement. Movement analysis can be used to provide feedback for training motor tasks, which is of interest for application areas such as rehabilitation, sports, and ergonomics. Consciously controllable, goal-directed movements, which we call primary movements, lead to slight movements in other parts of the body that are beyond conscious control (secondary movements). Secondary movements are generated due to the mechanical interaction with the environment and physiological dependencies of the body. This thesis contributes methods to distinguish between primary and secondary movements. This is necessary in order to provide high-quality feedback for motor tasks that show a significant amount of secondary movement. This can be the case when the secondary movements are large because of large reaction forces (e.g., when shooting a ball) or when the primary movements to execute the task are small (e.g., in various forms of handcraft or musical instrument performance). Furthermore, a precise distinction between primary and secondary movement can be necessary to check whether the user keeps a part of the body still (e.g., as required by a gymnastic exercise). Apart from sensor-based feedback, our results can also be used to improve current gesture recognition methods by ignoring secondary movement in the sensor signal to avoid that a secondary movement is misinterpreted as an execution of a gesture. The effectiveness of the proposed methods is shown in the context of pianist arm movements, which are particularly challenging to analyze. The distinction between primary and secondary movement in one joint of the arm is based on the measured movement in that particular joint, an estimation of key reaction force from MIDI data, and the movement in the other joints of the arm. In order to know on which arm the estimated key reaction force acts, it is necessary to determine which hand has played a note. For that purpose two methods are introduced: One method is based on MIDI; the other one uses data from inertial sensors in combination to MIDI. A third method based on Computer Vision, which was originally developed for sign language recognition, is evaluated here for tracking pianist hands. Based on the analysis methods, two pedagogical applications were developed: One application supports an existing piano pedagogical movement notation and checks whether the player's movement conforms to the indicated movement. A user study with piano students of a music university shows that potential users judge that the system is useful for the training of technique. The second application visualizes the sensor data and allows synchronizing different performances of the same piece, making it easy to spot differences where a closer examination may be beneficial.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Fortschritte im Bereich der Sensortechnik ermöglichen heute neue Anwendungen, bei denen die Bewegungen des Nutzers als Eingabequelle dient. Das zentrale Thema dieser Arbeit ist die Bewegungsanalyse. Sie ist Teil eines größeren Forschungsfeldes, nämlich der Interpretation von Sensoraufzeichnungen menschlicher Bewegung. Bewegungsanalyse ist nötig, um Anwendungen sensorbasierten Feedbacks in Feldern wie Rehabilitation, Sport und Ergonomie zu ermöglichen. Bewusst kontrollierbare, zielgerichtete Bewegungen, die wir primäre Bewegungen nennen, führen aufgrund von mechanischen und physiologischen Abhängigkeiten zu kleinen, unbeabsichtigten Bewegungen in anderen Teilen des Körpers (sekundäre Bewegungen). Diese Arbeit führt Methoden zur Unterscheidung zwischen primären und sekundären Bewegungen ein. Diese Unterscheidung ist nötig, um hochqualitatives Feedback bei Aktivitäten zu liefern, bei denen ein signifikanter Anteil an sekundären Bewegungen auftritt. Dies können Aktivitäten sein bei denen große sekundäre Bewegungen aufgrund von großen Reaktionskräften auftreten (wie z.B. beim Schießen eines Balles) oder Aktivitäten bei denen die primären Bewegungen klein sind (wie z.B. bei verschiedenen handwerklichen Tätigkeiten oder beim Spiel eines Musikinstruments). Desweiteren kann eine präzise Unterscheidung zwischen primären und sekundären Bewegungen notwendig sein, um zu überprüfen, ob der Nutzer einen Teil des Körpers stillhält, wie es beispielsweise von einer gymnastischen Übung gefordert sein könnte. Von Anwendungen senorbasierten Feedbacks abgesehen ist die Verbesserung von existierenden Verfahren zur Gestenerkennung ein weiteres Anwendungsfeld für unsere Methoden. Dies ist möglich, indem die sekundären Bewegungen im Sensorsignal ignoriert werden, um zu vermeiden, dass fälschlicherweise eine Geste erkannt wird, wo eigentlich bloß sekundäre Bewegungen aufgetreten sind. Die Effektivität unserer Methoden wird im Kontext von Armbewegungen beim Klavierspiel gezeigt, welches ein für die Analyse besonders herausforderndes Feld ist. Die Unterscheidung zwischen primärer und sekundärer Bewegung in einem Gelenk erfolgt in Abhängigkeit der Bewegungsmessung in diesem Gelenk, der Schätzungen der Reaktionskraft beim Tastenniederdruck aus MIDI-Daten und von den Bewegungen in den anderen Gelenken des Arms. Um festzustellen an welchem Arm die Reaktionskraft beim Tastenniederdruck wirkt, muss ermittelt werden, welche Hand die Note gespielt hat. Dazu führt diese Arbeit zwei Methoden ein: Die eine Methode basiert auf MIDI, die andere nutzt zusätzlich noch Daten von am Arm getragenen Inertialsensoren. Eine dritte, kamerabasierte Methode, die ursprünglich für die Erkennung von Gebärdensprache entwickelt wurde, wird in dieser Arbeit hinsichtlich der Nutzbarkeit zum Verfolgen der Hände beim Klavierspiel evaluiert. Basierend auf unseren Analysemethoden wurden zwei klavierpädagogische Anwendungen entwickelt: Die eine Anwendung unterstützt eine existierende, klavierpädagogische Bewegungsnotation und überprüft ob die Bewegungen des Schülers der Vorgabe entsprechen. Eine Studie mit Klavierstudenten einer Musikhochschule zeigt, dass die potentiellen Nutzer das System als nützlich für das Techniktraining einschätzen. Die zweite Anwendung visualisiert Sensordaten und bietet die Möglichkeit zwei Interpretationen desselben Stücks zu synchronisieren. Dies erleichtert es, Bewegungsunterschiede zwischen verschiedenen Spielern zu identifizieren, was Ansatzpunkte für eine genauere Untersuchung der Bewegung aufzeigt.

Deutsch
Schlagworte:
Einzelne SchlagworteSprache
Piano pedagogy, inerital sensors, machine learning, gesture recognition, activity recognition, feedbackEnglisch
Klavierpädagogik, Inertialsensoren, Machine Learning, Gestenerkennung, AktivitätserkennungDeutsch
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Fachbereich(e)/-gebiet(e): 20 Fachbereich Informatik
20 Fachbereich Informatik > Telekooperation
Hinterlegungsdatum: 23 Nov 2011 09:47
Letzte Änderung: 16 Dez 2020 10:26
PPN:
Referenten: Mühlhäuser, Prof. Dr. Max ; Lukowicz, Prof. Dr. Paul
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 4 Juli 2011
Schlagworte:
Einzelne SchlagworteSprache
Piano pedagogy, inerital sensors, machine learning, gesture recognition, activity recognition, feedbackEnglisch
Klavierpädagogik, Inertialsensoren, Machine Learning, Gestenerkennung, AktivitätserkennungDeutsch
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen