Wiese, Pascal (2015)
Entwicklung und prototypische Umsetzung eines Softwaremoduls zur Identifizierung fehlerhafter Messwerte in Smart Metering Daten zu Strom- und Gasverbrauch.
Technische Universität Darmstadt
Bachelorarbeit, Bibliographie
Kurzbeschreibung (Abstract)
Trotz des steigenden Einsatzes von Smart Metering-Systemen im Sektor ‚Private Haushalte‘ wurde der Datenqualität bislang eine geringe Aufmerksamkeit zugemessen. Die Generierung fehlerhafter Messwerte lässt sich selbst unter Einsatz von modernster Technik nicht ausschließen, sodass eine frühzeitige und insbesondere automatisierte Erkennung solcher Fehler unerlässlich ist. Auf diese Weise können Hardware- oder Übertragungsfehler unmittelbar behoben werden. Diese Arbeit macht es sich zur Aufgabe, ein Softwaremodul zu entwickeln, das schnell und selbstständig fehlerhafte Messwerte, Ausreißer und Anomalien identifizieren kann und die betroffenen Zeitpunkte dauerhaft speichert. Unter Verwendung von Methoden aus dem Bereich des Data Mining wird eine nachvollziehbare Analyse von großen Datenmengen ermöglicht, die neben großer Zeitersparnis eine zeitgemäße Datenverarbeitung bietet. Dazu werden zunächst die auftretenden Fehler einer unter realen Bedingungen durchgeführten Smart Metering Studie untersucht und in fünf Kategorien eingeteilt. Darauf aufbauend werden Algorithmen vorgestellt, mit deren Hilfe neben Hardwarefehlern auch potenzielle Fehler identifiziert werden können. Es werden sowohl distanz- und dichtebasierte Unterscheidungskriterien als auch Klassifizierungsalgorithmen angewendet. Eine Zusammenführung und Spezialisierung der vorgestellten Methoden resultiert in der Entwicklung eines prototypischen Softwaremoduls, das technische Fehler und Ausreißer erkennt. Der Programmablauf gliedert sich in die drei Schritte Datenvorverarbeitung, Data Mining und Auswertung. Nachdem bei der Datenvorverarbeitung die fehlenden und inkorrekten Messwerte identifiziert wurden, erfolgt beim Data Mining die Erkennung von drei Ausreißer-Typen. Eine Datenreduktion ermöglicht zunächst die Einteilung der Einzelwerte in Gruppen, die durch ihren Verbrauch und ihre Uhrzeit charakterisiert werden. Die am wenigsten besetzten Gruppen beinhalten die punktuellen Ausreißer. Die Transformation der Ausgangsdaten in eine Zeitreihenmatrix ermöglicht anschließend die Identifizierung von Tagen mit ungewöhnlicher Lastkurve. Um die einzelnen Tage auf Ähnlichkeit zu überprüfen und die unterschiedlichsten Tage herauszufiltern, werden das dynamic time warping und der local outlier factor eingesetzt. Die Umsetzung des Algorithmus und des dazugehörigen GUI erfolgt mithilfe der Programmiersprache R und erlaubt einen Workflow mit einer geringen Anzahl an Input-Parametern und Zeitreihen-Plots zur Auswertung. Neben der Analyse von einzelnen Datensätzen lässt sich eine beliebige Anzahl von Datensätzen automatisiert analysieren und die Ergebnisse exportieren.
Typ des Eintrags: |
Bachelorarbeit
|
Erschienen: |
2015 |
Autor(en): |
Wiese, Pascal |
Art des Eintrags: |
Bibliographie |
Titel: |
Entwicklung und prototypische Umsetzung eines Softwaremoduls zur Identifizierung fehlerhafter Messwerte in Smart Metering Daten zu Strom- und Gasverbrauch |
Sprache: |
Deutsch |
Publikationsjahr: |
6 März 2015 |
Datum der mündlichen Prüfung: |
6 März 2015 |
Kurzbeschreibung (Abstract): |
Trotz des steigenden Einsatzes von Smart Metering-Systemen im Sektor ‚Private Haushalte‘ wurde der Datenqualität bislang eine geringe Aufmerksamkeit zugemessen. Die Generierung fehlerhafter Messwerte lässt sich selbst unter Einsatz von modernster Technik nicht ausschließen, sodass eine frühzeitige und insbesondere automatisierte Erkennung solcher Fehler unerlässlich ist. Auf diese Weise können Hardware- oder Übertragungsfehler unmittelbar behoben werden. Diese Arbeit macht es sich zur Aufgabe, ein Softwaremodul zu entwickeln, das schnell und selbstständig fehlerhafte Messwerte, Ausreißer und Anomalien identifizieren kann und die betroffenen Zeitpunkte dauerhaft speichert. Unter Verwendung von Methoden aus dem Bereich des Data Mining wird eine nachvollziehbare Analyse von großen Datenmengen ermöglicht, die neben großer Zeitersparnis eine zeitgemäße Datenverarbeitung bietet. Dazu werden zunächst die auftretenden Fehler einer unter realen Bedingungen durchgeführten Smart Metering Studie untersucht und in fünf Kategorien eingeteilt. Darauf aufbauend werden Algorithmen vorgestellt, mit deren Hilfe neben Hardwarefehlern auch potenzielle Fehler identifiziert werden können. Es werden sowohl distanz- und dichtebasierte Unterscheidungskriterien als auch Klassifizierungsalgorithmen angewendet. Eine Zusammenführung und Spezialisierung der vorgestellten Methoden resultiert in der Entwicklung eines prototypischen Softwaremoduls, das technische Fehler und Ausreißer erkennt. Der Programmablauf gliedert sich in die drei Schritte Datenvorverarbeitung, Data Mining und Auswertung. Nachdem bei der Datenvorverarbeitung die fehlenden und inkorrekten Messwerte identifiziert wurden, erfolgt beim Data Mining die Erkennung von drei Ausreißer-Typen. Eine Datenreduktion ermöglicht zunächst die Einteilung der Einzelwerte in Gruppen, die durch ihren Verbrauch und ihre Uhrzeit charakterisiert werden. Die am wenigsten besetzten Gruppen beinhalten die punktuellen Ausreißer. Die Transformation der Ausgangsdaten in eine Zeitreihenmatrix ermöglicht anschließend die Identifizierung von Tagen mit ungewöhnlicher Lastkurve. Um die einzelnen Tage auf Ähnlichkeit zu überprüfen und die unterschiedlichsten Tage herauszufiltern, werden das dynamic time warping und der local outlier factor eingesetzt. Die Umsetzung des Algorithmus und des dazugehörigen GUI erfolgt mithilfe der Programmiersprache R und erlaubt einen Workflow mit einer geringen Anzahl an Input-Parametern und Zeitreihen-Plots zur Auswertung. Neben der Analyse von einzelnen Datensätzen lässt sich eine beliebige Anzahl von Datensätzen automatisiert analysieren und die Ergebnisse exportieren. |
Alternatives oder übersetztes Abstract: |
Alternatives Abstract | Sprache |
---|
Despite the increasing use of Smart Metering systems in the sector households, less attention has been paid to data quality. Even modern metering technology cannot prevent the generation of erroneous metering values. Therefore early and especially automated error detection is inevitable. In this manner hardware and transmission errors can be immediately troubleshooted. In this thesis, a software component will be developed, which is able to identify erroneous values, outliers and anomalies in a fast and autonomous way. Afterwards the results can be saved permanently. Applying data mining methods enables a fast and comprehensible analysis of large data sets while using modern data processing. First of all, the occurring errors in a smart metering study, which was carried out under real conditions, will be examined and divided into five groups. Existing algorithms will be presented that cannot only identify hardware errors, but potentially erroneous values, too. Both distance and density based similarity measures as well as classification algorithms help to provide a foundation for an outlier detection software component. During run time, three steps will be taken to perform the analysis: data pre-processing, data mining and data post-processing. After identifying missing and incorrect metering values in pre-processing, outliers will be classified into three categories. Data reduction facilitates a grouping of all metering values by their value and their daytime. Sparsely populated groups include point outliers. The data set will then be transformed into a time series matrix to identify days with unusual load profiles. To recognize these sequential outliers, dynamic time warping and the local outlier factor algorithm will be performed. Using R as a programming language and GUI creator allows a workflow without many parameters and time series plots for evaluation. Besides single data set analysis, it is possible to analyze any amount of data sets automated while saving each result. | Englisch |
|
Freie Schlagworte: |
Smart Metering, Energieeffizienz, Datenanalyse, Fehlererkennung, Data Mining |
Schlagworte: |
Einzelne Schlagworte | Sprache |
---|
Smart Metering, Energy Efficiency, Data Analysis, Error Detection, Data Mining | Englisch |
|
Zusätzliche Informationen: |
Betreuer: Christian Schwöbel |
Fachbereich(e)/-gebiet(e): |
13 Fachbereich Bau- und Umweltingenieurwissenschaften > Institut für Numerische Methoden und Informatik im Bauwesen 13 Fachbereich Bau- und Umweltingenieurwissenschaften |
Hinterlegungsdatum: |
23 Jun 2015 09:54 |
Letzte Änderung: |
23 Jun 2015 09:54 |
PPN: |
|
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: |
6 März 2015 |
Schlagworte: |
Einzelne Schlagworte | Sprache |
---|
Smart Metering, Energy Efficiency, Data Analysis, Error Detection, Data Mining | Englisch |
|
Export: |
|
Suche nach Titel in: |
TUfind oder in Google |
|
Frage zum Eintrag |
Optionen (nur für Redakteure)
|
Redaktionelle Details anzeigen |