TU Darmstadt / ULB / TUbiblio

Entwicklung und prototypische Umsetzung eines Softwaremoduls zur Identifizierung fehlerhafter Messwerte in Smart Metering Daten zu Strom- und Gasverbrauch

Wiese, Pascal :
Entwicklung und prototypische Umsetzung eines Softwaremoduls zur Identifizierung fehlerhafter Messwerte in Smart Metering Daten zu Strom- und Gasverbrauch.
TU Darmstadt
[Bachelorarbeit], (2015)

Kurzbeschreibung (Abstract)

Trotz des steigenden Einsatzes von Smart Metering-Systemen im Sektor ‚Private Haushalte‘ wurde der Datenqualität bislang eine geringe Aufmerksamkeit zugemessen. Die Generierung fehlerhafter Messwerte lässt sich selbst unter Einsatz von modernster Technik nicht ausschließen, sodass eine frühzeitige und insbesondere automatisierte Erkennung solcher Fehler unerlässlich ist. Auf diese Weise können Hardware- oder Übertragungsfehler unmittelbar behoben werden. Diese Arbeit macht es sich zur Aufgabe, ein Softwaremodul zu entwickeln, das schnell und selbstständig fehlerhafte Messwerte, Ausreißer und Anomalien identifizieren kann und die betroffenen Zeitpunkte dauerhaft speichert. Unter Verwendung von Methoden aus dem Bereich des Data Mining wird eine nachvollziehbare Analyse von großen Datenmengen ermöglicht, die neben großer Zeitersparnis eine zeitgemäße Datenverarbeitung bietet. Dazu werden zunächst die auftretenden Fehler einer unter realen Bedingungen durchgeführten Smart Metering Studie untersucht und in fünf Kategorien eingeteilt. Darauf aufbauend werden Algorithmen vorgestellt, mit deren Hilfe neben Hardwarefehlern auch potenzielle Fehler identifiziert werden können. Es werden sowohl distanz- und dichtebasierte Unterscheidungskriterien als auch Klassifizierungsalgorithmen angewendet. Eine Zusammenführung und Spezialisierung der vorgestellten Methoden resultiert in der Entwicklung eines prototypischen Softwaremoduls, das technische Fehler und Ausreißer erkennt. Der Programmablauf gliedert sich in die drei Schritte Datenvorverarbeitung, Data Mining und Auswertung. Nachdem bei der Datenvorverarbeitung die fehlenden und inkorrekten Messwerte identifiziert wurden, erfolgt beim Data Mining die Erkennung von drei Ausreißer-Typen. Eine Datenreduktion ermöglicht zunächst die Einteilung der Einzelwerte in Gruppen, die durch ihren Verbrauch und ihre Uhrzeit charakterisiert werden. Die am wenigsten besetzten Gruppen beinhalten die punktuellen Ausreißer. Die Transformation der Ausgangsdaten in eine Zeitreihenmatrix ermöglicht anschließend die Identifizierung von Tagen mit ungewöhnlicher Lastkurve. Um die einzelnen Tage auf Ähnlichkeit zu überprüfen und die unterschiedlichsten Tage herauszufiltern, werden das dynamic time warping und der local outlier factor eingesetzt. Die Umsetzung des Algorithmus und des dazugehörigen GUI erfolgt mithilfe der Programmiersprache R und erlaubt einen Workflow mit einer geringen Anzahl an Input-Parametern und Zeitreihen-Plots zur Auswertung. Neben der Analyse von einzelnen Datensätzen lässt sich eine beliebige Anzahl von Datensätzen automatisiert analysieren und die Ergebnisse exportieren.

Typ des Eintrags: Bachelorarbeit
Erschienen: 2015
Autor(en): Wiese, Pascal
Titel: Entwicklung und prototypische Umsetzung eines Softwaremoduls zur Identifizierung fehlerhafter Messwerte in Smart Metering Daten zu Strom- und Gasverbrauch
Sprache: Deutsch
Kurzbeschreibung (Abstract):

Trotz des steigenden Einsatzes von Smart Metering-Systemen im Sektor ‚Private Haushalte‘ wurde der Datenqualität bislang eine geringe Aufmerksamkeit zugemessen. Die Generierung fehlerhafter Messwerte lässt sich selbst unter Einsatz von modernster Technik nicht ausschließen, sodass eine frühzeitige und insbesondere automatisierte Erkennung solcher Fehler unerlässlich ist. Auf diese Weise können Hardware- oder Übertragungsfehler unmittelbar behoben werden. Diese Arbeit macht es sich zur Aufgabe, ein Softwaremodul zu entwickeln, das schnell und selbstständig fehlerhafte Messwerte, Ausreißer und Anomalien identifizieren kann und die betroffenen Zeitpunkte dauerhaft speichert. Unter Verwendung von Methoden aus dem Bereich des Data Mining wird eine nachvollziehbare Analyse von großen Datenmengen ermöglicht, die neben großer Zeitersparnis eine zeitgemäße Datenverarbeitung bietet. Dazu werden zunächst die auftretenden Fehler einer unter realen Bedingungen durchgeführten Smart Metering Studie untersucht und in fünf Kategorien eingeteilt. Darauf aufbauend werden Algorithmen vorgestellt, mit deren Hilfe neben Hardwarefehlern auch potenzielle Fehler identifiziert werden können. Es werden sowohl distanz- und dichtebasierte Unterscheidungskriterien als auch Klassifizierungsalgorithmen angewendet. Eine Zusammenführung und Spezialisierung der vorgestellten Methoden resultiert in der Entwicklung eines prototypischen Softwaremoduls, das technische Fehler und Ausreißer erkennt. Der Programmablauf gliedert sich in die drei Schritte Datenvorverarbeitung, Data Mining und Auswertung. Nachdem bei der Datenvorverarbeitung die fehlenden und inkorrekten Messwerte identifiziert wurden, erfolgt beim Data Mining die Erkennung von drei Ausreißer-Typen. Eine Datenreduktion ermöglicht zunächst die Einteilung der Einzelwerte in Gruppen, die durch ihren Verbrauch und ihre Uhrzeit charakterisiert werden. Die am wenigsten besetzten Gruppen beinhalten die punktuellen Ausreißer. Die Transformation der Ausgangsdaten in eine Zeitreihenmatrix ermöglicht anschließend die Identifizierung von Tagen mit ungewöhnlicher Lastkurve. Um die einzelnen Tage auf Ähnlichkeit zu überprüfen und die unterschiedlichsten Tage herauszufiltern, werden das dynamic time warping und der local outlier factor eingesetzt. Die Umsetzung des Algorithmus und des dazugehörigen GUI erfolgt mithilfe der Programmiersprache R und erlaubt einen Workflow mit einer geringen Anzahl an Input-Parametern und Zeitreihen-Plots zur Auswertung. Neben der Analyse von einzelnen Datensätzen lässt sich eine beliebige Anzahl von Datensätzen automatisiert analysieren und die Ergebnisse exportieren.

Freie Schlagworte: Smart Metering, Energieeffizienz, Datenanalyse, Fehlererkennung, Data Mining
Fachbereich(e)/-gebiet(e): Fachbereich Bau- und Umweltingenieurwissenschaften, Civil and Environmental Engineering > Institut für Numerische Methoden und Informatik im Bauwesen
Fachbereich Bau- und Umweltingenieurwissenschaften, Civil and Environmental Engineering
Hinterlegungsdatum: 23 Jun 2015 09:54
Zusätzliche Informationen:

Betreuer: Christian Schwöbel

Datum der Begutachtung bzw. der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 6 März 2015
Schlagworte in weiteren Sprachen:
Einzelne SchlagworteSprache
Smart Metering, Energy Efficiency, Data Analysis, Error Detection, Data MiningEnglisch
Alternatives oder übersetztes Abstract:
AbstractSprache
Despite the increasing use of Smart Metering systems in the sector households, less attention has been paid to data quality. Even modern metering technology cannot prevent the generation of erroneous metering values. Therefore early and especially automated error detection is inevitable. In this manner hardware and transmission errors can be immediately troubleshooted. In this thesis, a software component will be developed, which is able to identify erroneous values, outliers and anomalies in a fast and autonomous way. Afterwards the results can be saved permanently. Applying data mining methods enables a fast and comprehensible analysis of large data sets while using modern data processing. First of all, the occurring errors in a smart metering study, which was carried out under real conditions, will be examined and divided into five groups. Existing algorithms will be presented that cannot only identify hardware errors, but potentially erroneous values, too. Both distance and density based similarity measures as well as classification algorithms help to provide a foundation for an outlier detection software component. During run time, three steps will be taken to perform the analysis: data pre-processing, data mining and data post-processing. After identifying missing and incorrect metering values in pre-processing, outliers will be classified into three categories. Data reduction facilitates a grouping of all metering values by their value and their daytime. Sparsely populated groups include point outliers. The data set will then be transformed into a time series matrix to identify days with unusual load profiles. To recognize these sequential outliers, dynamic time warping and the local outlier factor algorithm will be performed. Using R as a programming language and GUI creator allows a workflow without many parameters and time series plots for evaluation. Besides single data set analysis, it is possible to analyze any amount of data sets automated while saving each result.Englisch
Export:

Optionen (nur für Redakteure)

Eintrag anzeigen Eintrag anzeigen