TU Darmstadt / ULB / TUbiblio

Network-centric Complex Event Processing

Luthra, Manisha (2021)
Network-centric Complex Event Processing.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00019285
Dissertation, Erstveröffentlichung, Verlagsversion

Kurzbeschreibung (Abstract)

Complex Event Processing (CEP) is a widely used paradigm to detect and react to events of interest for various applications. Numerous companies, including Twitter and Google, build on CEP in a broad spectrum of applications to perform real-time data analytics. Many of these applications require to efficiently adapt to the dynamic environmental conditions and changes in the quality requirements. An essential building block to perform adaptations in CEP is through an operator, which encapsulates the event detection logic in the form of a query often coupled with an execution state. Despite significant contributions to concepts for operator specification, placement, and execution, there are multiple research gaps concerning adaptivity, efficiency, and interoperability in CEP. Thereby, this thesis identifies and contributes appropriate methods and their analysis to overcome these fundamental research gaps in CEP: (i) The lack of adaptivity between CEP mechanisms hinders meeting the changing quality requirements of applications. (ii) Absence of suitable network-centric abstractions that hinder efficient event processing. (iii) Absence of suitable programming abstractions that hinder reuse of CEP mechanisms across multiple programming models.

To close the first gap, we contribute a novel programming model, named TCEP, that enables transitions between so-called operator placement mechanisms. The programming model provides methods for the research questions "when" and "how" to perform a transition while ensuring crucial properties of transition such as seamlessness. In particular, we propose transition strategies that minimize the costs for operator migrations and ensure seamlessness in performing adaptations. A learning-based selection algorithm guarantees a well-suited operator placement mechanism for given quality requirements. By integrating and evaluating six operator placement mechanisms, we showed that the programming model allows the use of distinct mechanisms for adaptations, and it provides a better understanding of their cost and performance characteristics. Our extensive evaluation study using a real-world workload and implementation shows that TCEP can adapt to the dynamic quality requirements of applications in a quick, seamless, and low-cost manner.

To close the second gap, we propose a novel unified communication model named INETCEP. The proposed concepts of INETCEP contribute to the research question of "how" to enable efficient continuous event stream processing and network-centric CEP query execution. We build INETCEP using the concepts of Information-centric Networking, which has been proven to facilitate in-network programmability. As part of the unified communication model, we propose an expressive meta query language and query execution algorithms for CEP that efficiently place operators over Information-centric Networks. Our detailed evaluation study of INETCEP shows that event forwarding can be achieved in a very short time of a few microseconds. Similarly, using our network-centric abstractions, CEP queries can be resolved at very high incoming event rates in a few milliseconds while incurring no event loss.

Finally, we propose a novel unified CEP middleware, named CEPLESS, based on the serverless computing principles to close the third gap. The middleware provides concepts for the research question of "how" to specify CEP queries independent of their programming and execution environment. Specifically, the middleware contributes a programming abstraction that hides away the complexity of heterogeneous CEP programming models from the application developers. Moreover, we propose mechanisms for an efficient exchange of events using so-called in-memory queues and allow event processing across different execution models. By extending the CEPLESS middleware programming abstraction with five different programming languages, we show extensibility as well as the platform and language independence of the concept. Our evaluation using a real-world workload and implementation shows that event processing using the CEPLESS middleware is equally performant as native CEP systems.

Overall, this thesis contributes (i) a novel programming model and methods for transitions in CEP systems to support changing quality requirements, (ii) a novel unified communication model and efficient algorithms that accelerate query execution using the concepts of Information-centric Networking, and (iii) a novel serverless middleware with programming abstractions to achieve efficient execution and reuse of multiple and heterogeneous CEP execution environments.

Typ des Eintrags: Dissertation
Erschienen: 2021
Autor(en): Luthra, Manisha
Art des Eintrags: Erstveröffentlichung
Titel: Network-centric Complex Event Processing
Sprache: Englisch
Referenten: Steinmetz, Prof. Dr. Ralf ; Koldehofe, Prof. Dr. Boris ; Binnig, Prof. Dr. Carsten ; Köppl, Prof. Dr. Heinz
Publikationsjahr: 1 September 2021
Ort: Darmstadt
Kollation: xxiii, 229 Seiten
Datum der mündlichen Prüfung: 5 August 2021
DOI: 10.26083/tuprints-00019285
URL / URN: https://tuprints.ulb.tu-darmstadt.de/19285
Kurzbeschreibung (Abstract):

Complex Event Processing (CEP) is a widely used paradigm to detect and react to events of interest for various applications. Numerous companies, including Twitter and Google, build on CEP in a broad spectrum of applications to perform real-time data analytics. Many of these applications require to efficiently adapt to the dynamic environmental conditions and changes in the quality requirements. An essential building block to perform adaptations in CEP is through an operator, which encapsulates the event detection logic in the form of a query often coupled with an execution state. Despite significant contributions to concepts for operator specification, placement, and execution, there are multiple research gaps concerning adaptivity, efficiency, and interoperability in CEP. Thereby, this thesis identifies and contributes appropriate methods and their analysis to overcome these fundamental research gaps in CEP: (i) The lack of adaptivity between CEP mechanisms hinders meeting the changing quality requirements of applications. (ii) Absence of suitable network-centric abstractions that hinder efficient event processing. (iii) Absence of suitable programming abstractions that hinder reuse of CEP mechanisms across multiple programming models.

To close the first gap, we contribute a novel programming model, named TCEP, that enables transitions between so-called operator placement mechanisms. The programming model provides methods for the research questions "when" and "how" to perform a transition while ensuring crucial properties of transition such as seamlessness. In particular, we propose transition strategies that minimize the costs for operator migrations and ensure seamlessness in performing adaptations. A learning-based selection algorithm guarantees a well-suited operator placement mechanism for given quality requirements. By integrating and evaluating six operator placement mechanisms, we showed that the programming model allows the use of distinct mechanisms for adaptations, and it provides a better understanding of their cost and performance characteristics. Our extensive evaluation study using a real-world workload and implementation shows that TCEP can adapt to the dynamic quality requirements of applications in a quick, seamless, and low-cost manner.

To close the second gap, we propose a novel unified communication model named INETCEP. The proposed concepts of INETCEP contribute to the research question of "how" to enable efficient continuous event stream processing and network-centric CEP query execution. We build INETCEP using the concepts of Information-centric Networking, which has been proven to facilitate in-network programmability. As part of the unified communication model, we propose an expressive meta query language and query execution algorithms for CEP that efficiently place operators over Information-centric Networks. Our detailed evaluation study of INETCEP shows that event forwarding can be achieved in a very short time of a few microseconds. Similarly, using our network-centric abstractions, CEP queries can be resolved at very high incoming event rates in a few milliseconds while incurring no event loss.

Finally, we propose a novel unified CEP middleware, named CEPLESS, based on the serverless computing principles to close the third gap. The middleware provides concepts for the research question of "how" to specify CEP queries independent of their programming and execution environment. Specifically, the middleware contributes a programming abstraction that hides away the complexity of heterogeneous CEP programming models from the application developers. Moreover, we propose mechanisms for an efficient exchange of events using so-called in-memory queues and allow event processing across different execution models. By extending the CEPLESS middleware programming abstraction with five different programming languages, we show extensibility as well as the platform and language independence of the concept. Our evaluation using a real-world workload and implementation shows that event processing using the CEPLESS middleware is equally performant as native CEP systems.

Overall, this thesis contributes (i) a novel programming model and methods for transitions in CEP systems to support changing quality requirements, (ii) a novel unified communication model and efficient algorithms that accelerate query execution using the concepts of Information-centric Networking, and (iii) a novel serverless middleware with programming abstractions to achieve efficient execution and reuse of multiple and heterogeneous CEP execution environments.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Complex Event Processing (CEP) ist ein weit verbreitetes Paradigma, das Anwendungen unterstützt, Ereignisse zu erkennen und auf diese zu reagieren. Zahlreiche Unternehmen, unter anderem Twitter und Google, nutzen CEP in vielfältigen Anwendungsfeldern, um Echtzeit-Analysen in Form der Ereignisverarbeitung über Ereignisströme durchzuführen. Viele dieser Anwendungen erfordern die dynamische Anpassung an sich ändernde Rahmenbedingungen und Qualitätsanforderungen. Ein zentraler Baustein bei der Adaption von CEP ist der Operator, welcher Logik und entsprechenden Zustand der Datenanalyse umfasst. Trotz signifikanter Forschungsanstrengungen zu Konzepten und Mechanismen hinsichtlich Spezifikation, Platzierung und Ausführung von Operatoren, besteht eine erhebliche Forschungslücke bei der Unterstützung von Adaptivität, Effizienz und Interoperabilität von CEP. Entsprechend identifiziert und trägt diese Arbeit mit geeigneten Methoden sowie deren Analyse dazu bei, drei fundamentalen Problemen in der dynamischen Anpassung von CEP entgegenzuwirken: (i) die fehlende Adaptivität von CEP-Mechanismen, die das Erfüllen von sich dynamisch ändernden Qualitätsanforderungen solcher Anwendungen erschwert, (ii) fehlende netzwerkzentrische Abstraktionen, die eine effiziente Datenanalyse in Form der Ereignisverarbeitung behindern und (iii) fehlende Programmierabstraktionen, die die Wiederverwendung von CEP-Mechanismen über mehrere Programmiermodelle hinweg einschränken.

Entsprechend der ersten Forschungslücke trägt diese Dissertation zu einem neuen Programmiermodell namens TCEP bei, dass Transitionen zwischen Mechanismen der Operatorplatzierung unterstützt. Die als Teil des TCEP Programmiermodells konzipierten Verfahren leisten einen Beitrag zu Konzepten zur Durchführung von Transitionen, insbesondere hinsichtlich der Forschungsfragen ‘wann’ und ‘wie’ Transitionen nahtlos durchgeführt werden sollen. Die konzipierten Transitionen stellen sicher, die Kosten für Operator-Migrationen in Folge von Anpassungen zu minimieren. Ein auf Lernverfahren basierter Auswahlalgorithmus garantiert die Verwendung geeigneter Operator-Platzierungsmechanismen entsprechend gegebener Qualitätsanforderungen. Durch die Integration und Evaluierung von sechs Operator-Platzierungsmechanismen wird gezeigt, dass das Programmiermodell von TCEP die Verwendung unterschiedlicher Mechanismen zur Anpassung unterstützt und ein besseres Verständnis der Kosten- und Leistungsmerkmale ermöglicht. Als Teil einer umfangreichen Evaluierungsstudie mit realistischer Arbeitslast und Implementierung zeigt, dass TCEP schnell und kostengünstig Anwendungen an dynamische Qualitätsanforderungen anpassen kann.

Weiterhin wird in dieser Dissertation mit INETCEP ein neues einheitliches Kommunikationsmodell vorgestellt, dass beiträgt die zweite identifizierte Forschungslücke zu schließen. Die als Teil von INETCEP entwickelten Konzepte ermöglichen durch Nutzung und Erweiterung von Konzepten der Informations-zentrischen Netze (ICN) die Ausführung von Operatoren auf Ressourcen eines Rechnernetzes. Das auf die Anforderungen von CEP und ICN abgestimmte vereinheitlichte Kommunikationsmodell ermöglicht Effizienzgewinne in der Verarbeitung von kontinuierlichen Ereignisströmen. Durch eine eigens für ICN konzipierte ausdrucksstarke Meta-Sprache, können Operatoren einfach auf ICN Ressourcen von ICN abgebildet und platziert werden. Eine detaillierte Evaluierung von INETCEP zeigt, dass die Weiterleitung von Ereignissen über ICN mit geringer Verzögerung im Bereich von wenigen Mikrosekunden erreicht werden kann. In ähnlicher Weise werden CEP Anfragen, selbst bei einer sehr hohen Eingangslast, über die in INETCEP bereitgestellten netzzentrischen Abstraktionen in wenigen Millisekunden aufgelöst, ohne dass es zu Verlusten von Ereignissen kommt.

Schließlich werden als Teil der konzipierten CEPLESS Middleware Konzepte zur vereinheitlichten Nutzung verschiedener CEP Programmiermodelle und deren integrierte Nutzung in heterogenen Ressourcenumgebungen vorgeschlagen. Diese basieren auf Prinzipien des sogenannte Serverless Computing. Die Konzepte und Abstraktionen in CEPLESS ermöglichen eine Programmierung und Spezifikation von CEP Abfragen unabhängig von der Ressourcenumgebung, in der sie ausgeführt werden. Dies verbirgt die Komplexität der Vielfalt und Heterogenität bestehender CEP Programmiermodelle vor den Anwendungsentwicklern. Die Konzeption neuer Mechanismen, die den Austausch von Ereignissen über sogenannte In-Memory Queues erreichen, können Ereignisse effizient über verschiedenen Ressourcenumgebungen verarbeiten. Die Erweiterbarkeit und Unabhängigkeit der Spezifikationskonzepte werden durch die Integration von fünf verschiedenen Programmiersprachen in CEPLESS aufgezeigt. Die als Teil der Dissertation durchgeführten Studien unter realen Bedingungen belegen, dass durch die Konzepte der vereinheitlichten Ereignisverarbeitung über CEPLESS keine Leistungsnachteile gegen- über nativen CEP Systemen entstehen.

Insgesamt leistet diese Dissertation Beiträge (i) zu einem Programmiermodell und Methoden zur Durchführung von Transitionen, die hochdynamisch die Platzierung von CEP-Operatoren unterstützen, (ii) zu einem neuen einheitlichen Kommunikationsmodell und entsprechenden Konzepten, die eine Ausführung von Operatoren als Teil Informationszentrischer Netze beschleunigen und (iii) zu Verfahren und Programmierabstraktionen, die basierend auf dem Paradigma des Serverless Computing die effiziente Ausführung, Wiederverwendung und Zusammenführung verschiedenster CEP Systeme über heterogene Ressourcenumgebungen erreichen.

Deutsch
Status: Verlagsversion
URN: urn:nbn:de:tuda-tuprints-192857
Zusätzliche Informationen:

This work has been co-funded by the German Research Foundation (DFG) as part of project C2 within the Collaborative Research Center (CRC) 1053 – MAKI.

Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Fachbereich(e)/-gebiet(e): 18 Fachbereich Elektrotechnik und Informationstechnik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Datentechnik
18 Fachbereich Elektrotechnik und Informationstechnik > Institut für Datentechnik > Multimedia Kommunikation
DFG-Sonderforschungsbereiche (inkl. Transregio)
DFG-Sonderforschungsbereiche (inkl. Transregio) > Sonderforschungsbereiche
DFG-Sonderforschungsbereiche (inkl. Transregio) > Sonderforschungsbereiche > SFB 1053: MAKI – Multi-Mechanismen-Adaption für das künftige Internet
DFG-Sonderforschungsbereiche (inkl. Transregio) > Sonderforschungsbereiche > SFB 1053: MAKI – Multi-Mechanismen-Adaption für das künftige Internet > C: Kommunikationsmechanismen
DFG-Sonderforschungsbereiche (inkl. Transregio) > Sonderforschungsbereiche > SFB 1053: MAKI – Multi-Mechanismen-Adaption für das künftige Internet > C: Kommunikationsmechanismen > Teilprojekt C2: Informationszentrische Sicht
Hinterlegungsdatum: 23 Sep 2021 08:07
Letzte Änderung: 21 Apr 2022 07:45
PPN:
Referenten: Steinmetz, Prof. Dr. Ralf ; Koldehofe, Prof. Dr. Boris ; Binnig, Prof. Dr. Carsten ; Köppl, Prof. Dr. Heinz
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 5 August 2021
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen