TU Darmstadt / ULB / TUbiblio

A microservice architecture for the processing of large geospatial data in the Cloud

Krämer, Michel (2018)
A microservice architecture for the processing of large geospatial data in the Cloud.
Technische Universität Darmstadt
Dissertation, Erstveröffentlichung

Kurzbeschreibung (Abstract)

With the growing number of devices that can collect spatiotemporal information, as well as the improving quality of sensors, the geospatial data volume increases constantly. Before the raw collected data can be used, it has to be processed. Currently, expert users are still relying on desktop-based Geographic Information Systems to perform processing workflows. However, the volume of geospatial data and the complexity of processing algorithms exceeds the capacities of their workstations. There is a paradigm shift from desktop solutions towards the Cloud, which offers virtually unlimited storage space and computational power, but developers of processing algorithms often have no background in computer science and hence no expertise in Cloud Computing.

Our research hypothesis is that a microservice architecture and Domain-Specific Languages can be used to orchestrate existing geospatial processing algorithms, and to compose and execute geospatial workflows in a Cloud environment for efficient application development and enhanced stakeholder experience. We present a software architecture that contains extension points for processing algorithms (or microservices), a workflow management component for distributed service orchestration, and a workflow editor based on a Domain-Specific Language. The main aim is to provide both users and developers with the means to leverage the possibilities of the Cloud, without requiring them to have a deep knowledge of distributed computing. In order to conduct our research, we follow the Design Science Research Methodology. We perform an analysis of the problem domain and collect requirements as well as quality attributes for our architecture. To meet our research objectives, we design the architecture and develop approaches to workflow management and workflow modelling. We demonstrate the utility of our solution by applying it to two real-world use cases and evaluate the quality of our architecture based on defined scenarios. Finally, we critically discuss our results.

Our contributions to the scientific community can be classified into three pillars. We present a scalable and modifiable microservice architecture for geospatial processing that supports distributed development and has a high availability. Further, we present novel approaches to service integration and orchestration in the Cloud as well as rule-based and dynamic workflow management without a priori design-time knowledge. For the workflow modelling we create a Domain-Specific Language that is based on a novel language design method.

Typ des Eintrags: Dissertation
Erschienen: 2018
Autor(en): Krämer, Michel
Art des Eintrags: Erstveröffentlichung
Titel: A microservice architecture for the processing of large geospatial data in the Cloud
Sprache: Englisch
Referenten: Fellner, Prof. Dr. Dieter W. ; Boehm, Dr. Jan
Publikationsjahr: 2018
Ort: Darmstadt
Datum der mündlichen Prüfung: 7 November 2017
URL / URN: http://tuprints.ulb.tu-darmstadt.de/6956
Kurzbeschreibung (Abstract):

With the growing number of devices that can collect spatiotemporal information, as well as the improving quality of sensors, the geospatial data volume increases constantly. Before the raw collected data can be used, it has to be processed. Currently, expert users are still relying on desktop-based Geographic Information Systems to perform processing workflows. However, the volume of geospatial data and the complexity of processing algorithms exceeds the capacities of their workstations. There is a paradigm shift from desktop solutions towards the Cloud, which offers virtually unlimited storage space and computational power, but developers of processing algorithms often have no background in computer science and hence no expertise in Cloud Computing.

Our research hypothesis is that a microservice architecture and Domain-Specific Languages can be used to orchestrate existing geospatial processing algorithms, and to compose and execute geospatial workflows in a Cloud environment for efficient application development and enhanced stakeholder experience. We present a software architecture that contains extension points for processing algorithms (or microservices), a workflow management component for distributed service orchestration, and a workflow editor based on a Domain-Specific Language. The main aim is to provide both users and developers with the means to leverage the possibilities of the Cloud, without requiring them to have a deep knowledge of distributed computing. In order to conduct our research, we follow the Design Science Research Methodology. We perform an analysis of the problem domain and collect requirements as well as quality attributes for our architecture. To meet our research objectives, we design the architecture and develop approaches to workflow management and workflow modelling. We demonstrate the utility of our solution by applying it to two real-world use cases and evaluate the quality of our architecture based on defined scenarios. Finally, we critically discuss our results.

Our contributions to the scientific community can be classified into three pillars. We present a scalable and modifiable microservice architecture for geospatial processing that supports distributed development and has a high availability. Further, we present novel approaches to service integration and orchestration in the Cloud as well as rule-based and dynamic workflow management without a priori design-time knowledge. For the workflow modelling we create a Domain-Specific Language that is based on a novel language design method.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Mit der wachsenden Zahl an Geräten, die spatio-temporale Informationen aufnehmen können sowie immer besser werdenden Sensoren, steigt auch die Menge an Geodaten. Vor der Benutzung müssen die rohen gesammelten Informationen verarbeitet werden. Zurzeit greifen Experten auf desktop-basierte Geographische Informationssysteme zurück, um Prozessierungsworkflows durchzuführen. Allerdings übersteigt das Datenvolumen sowie die Komplexität der Verarbeitungsalgorithmen längst die Kapazität ihrer Workstations. Zurzeit findet ein Paradigmenwechsel von Desktop-Lösungen zur Cloud statt, aber die Entwickler von Prozessierungsalgorithmen sind oft keine Informatiker und haben deshalb wenig Erfahrung im Bereich Cloud-Computing.

Unsere Forschungshypothese ist, dass eine Microservice-Architektur und domänenspezifische Sprachen genutzt werden können, um existierende Algorithmen zu orchestrieren und Workflows für die Prozessierung von Geodaten in der Cloud auszuführen, und damit eine effiziente Anwendungsentwicklung ermöglichen und die Erfahrung von Stakeholdern verbessern. Wir präsentieren eine Softwarearchitektur, die Erweiterungspunkte für Prozessierungsalgorithmen (oder Microservices) enthält, eine Workflow-Management-Komponente für die verteilte Service-Orchestrierung, und einen Workflow-Editor basierend auf einer domänenspezifischen Sprache. Ziel ist es, Benutzern und Entwicklern ohne tiefergehendes Wissen in verteilten Systemen den Zugang zur Cloud zu ermöglichen. Unsere Forschungsmethode basiert auf der Design Science Research Methodology. Wir führen eine Analyse der Problemdomäne durch und sammeln Anforderungen und Qualitätsattribute für unsere Architektur. Um unsere Forschungsziele zu erreichen, entwickeln wir die Architektur sowie Ansätze für Workflow-Management und -Modellierung. Wir stellen den Nutzen unserer Lösung dar, indem wir sie auf zwei praktische Anwendungsfälle anwenden. Außerdem evaluieren wir ihre Qualität anhand von definierten Szenarien. Abschließend führen wir eine kritische Bewertung unserer Ergebnisse durch.

Unsere wissenschaftlichen Beiträge können in drei Bereiche gegliedert werden. Wir präsentieren eine skalierbare und erweiterbare Microservice-Architektur für die Geodatenprozessierung, die eine verteilte Entwicklung ermöglicht sowie eine hohe Verfügbarkeit bietet. Außerdem präsentieren wir neue Ansätze für die Service-Integration und -Orchestrierung in der Cloud sowie regelbasiertes und dynamisches Workflow-Management ohne a priori Wissen im Entwurf. Für die Workflow-Modellierung entwickeln wir eine domänenspezifische Sprache sowie eine neue Methode fürs Sprachdesign.

Die Ergebnisse unserer Arbeit stützen unsere Forschungshypothese. Die Microservice-Architektur ermöglicht eine effiziente Entwicklung eines verteilten Systems. Die domänenspezifische Sprache sowie unser Ansatz zur Service-Integration verbessern die Erfahrung der Stakeholder. Unsere Arbeit stellt einen großen Schritt im Paradigmenwechsel zur Cloud dar und bietet Möglichkeiten für weitere Forschung.

Deutsch
URN: urn:nbn:de:tuda-tuprints-69562
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Fachbereich(e)/-gebiet(e): 20 Fachbereich Informatik
Hinterlegungsdatum: 28 Jan 2018 20:55
Letzte Änderung: 28 Jan 2018 20:55
PPN:
Referenten: Fellner, Prof. Dr. Dieter W. ; Boehm, Dr. Jan
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 7 November 2017
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen