TU Darmstadt / ULB / TUbiblio

Adaptive Architectures for Robust Database Management Systems

Bang, Tiemo (2022)
Adaptive Architectures for Robust Database Management Systems.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00021383
Dissertation, Erstveröffentlichung, Verlagsversion

Kurzbeschreibung (Abstract)

Ever since, the workload and hardware conditions for Database Management Systems (DBMSs) are expanding through new use cases and hardware. Starting from the first transactional DBMSs supporting the moon landing, today’s DBMSs process billions of sales transactions for online commerce on a single day and process many further workloads like reporting or fraud detection. Similarly, for the early DBMSs only few hardware platforms were available, while today’s DBMSs face a host of diverse hardware platforms. Indeed, today a single DBMS is exposed to changing and load-fluctuating workloads, e.g., depending on the popularity of sales items, and is operated on changing hardware.

However, serving changing workloads and supporting diverse hardware platforms is non-trivial, as for the best performance DBMS designs must be specialized. For flexibly specializing DBMS components to changing workload or hardware conditions, adaptation approaches have been proposed, e.g., adaptive query execution. Whereas the DBMS architecture that deploys the components is manually specialized and statically implemented at design-time. While in essence all DBMS architectures determine which components are executed together on what resource partitions, today there exist only few static architectures that largely predetermine this at design-time for specific conditions, e.g., for multi-processor hardware the NUMA-aware architecture dictates a resource partitioning per processor for all components. Besides high re-implementation effort for adjusting these static architectures, this approach also inadequately simplifies architectures with coarse-grained specialization for many components at once, neglecting the distinct workload and hardware effects on individual DBMS components and their contained functions. Hence, these static DBMS architectures severely degrade DBMS performance, when unfit.

This dissertation pursues the adaptation of DBMS architectures. For high and robust performance under changing workload and hardware, the static specialization at design-time is progressed to the flexible and precise adaptation of the architecture when deploying the DBMS or even at runtime. The approach is an initial evaluation of DBMSs with static architectures. Then, general concepts for the adaptation of DBMS architectures are proposed, based on which adaptive architectures for the classes of single-server and multi-server DBMSs are realized.

The overall idea for the adaptation of DBMS architectures is to flexibly compose fine-grained building blocks of the DBMS to a best-fit architecture, i.e., adapting at the granularity of distinct functions of DBMS components without requiring any re-implementation. Besides the effortless adjustment of the architecture, this dissertation proposes concepts with an emphasis on fine-granular and separate adaptation for distinct DBMS functions, such that optimizers can derive architectures best-fit for the specific conditions and functions at hand. By constructing a navigable optimization space for architectures of single- and multi-server DBMSs, the proposed concepts not only enable the flexible mimicking of any existing architecture, but importantly enable the creation of entirely new architectures.

The key findings are that both the realized adaptive single-server and the adaptive multi-server architecture prove effective and efficient, for adapting to the conditions considered in this dissertation. Under changing transactional and mixed workloads, the proposed adaptive architectures generally perform at least on par with the individually best state-of-the-art architecture. Indeed, when adopting novel better-fit architectures, all existing architectures are outperformed, e.g., with resource assigned at a granularity unlike any of today’s single-server architectures or when separately specializing for distinct queries of mixed workloads rather than compromising as today’s multi-server architectures. That is, the proposed flexible and precise adaptation demonstrates higher and more robust performance.

While our findings exhibit novel better-fit architectures only for a subset of possible workload and hardware conditions, this dissertation overall indicates high potential for adapting architectures with the proposed concepts. As the proposed concepts make a vast optimization space generally navigable, optimizers will be able to adapt DBMS architectures flexibly and more precisely to many workloads and hardware. Instead of fragile static architectures, the proposed adaptive architectures thus provide the necessary foundation for DBMSs to achieve high and robust performance under changing workload and hardware.

Typ des Eintrags: Dissertation
Erschienen: 2022
Autor(en): Bang, Tiemo
Art des Eintrags: Erstveröffentlichung
Titel: Adaptive Architectures for Robust Database Management Systems
Sprache: Englisch
Referenten: Binnig, Prof. Dr. Carsten ; Hellerstein, Prof. Joseph
Publikationsjahr: 2022
Ort: Darmstadt
Kollation: xvi, 218 Seiten
Datum der mündlichen Prüfung: 26 Juli 2022
DOI: 10.26083/tuprints-00021383
URL / URN: https://tuprints.ulb.tu-darmstadt.de/21383
Kurzbeschreibung (Abstract):

Ever since, the workload and hardware conditions for Database Management Systems (DBMSs) are expanding through new use cases and hardware. Starting from the first transactional DBMSs supporting the moon landing, today’s DBMSs process billions of sales transactions for online commerce on a single day and process many further workloads like reporting or fraud detection. Similarly, for the early DBMSs only few hardware platforms were available, while today’s DBMSs face a host of diverse hardware platforms. Indeed, today a single DBMS is exposed to changing and load-fluctuating workloads, e.g., depending on the popularity of sales items, and is operated on changing hardware.

However, serving changing workloads and supporting diverse hardware platforms is non-trivial, as for the best performance DBMS designs must be specialized. For flexibly specializing DBMS components to changing workload or hardware conditions, adaptation approaches have been proposed, e.g., adaptive query execution. Whereas the DBMS architecture that deploys the components is manually specialized and statically implemented at design-time. While in essence all DBMS architectures determine which components are executed together on what resource partitions, today there exist only few static architectures that largely predetermine this at design-time for specific conditions, e.g., for multi-processor hardware the NUMA-aware architecture dictates a resource partitioning per processor for all components. Besides high re-implementation effort for adjusting these static architectures, this approach also inadequately simplifies architectures with coarse-grained specialization for many components at once, neglecting the distinct workload and hardware effects on individual DBMS components and their contained functions. Hence, these static DBMS architectures severely degrade DBMS performance, when unfit.

This dissertation pursues the adaptation of DBMS architectures. For high and robust performance under changing workload and hardware, the static specialization at design-time is progressed to the flexible and precise adaptation of the architecture when deploying the DBMS or even at runtime. The approach is an initial evaluation of DBMSs with static architectures. Then, general concepts for the adaptation of DBMS architectures are proposed, based on which adaptive architectures for the classes of single-server and multi-server DBMSs are realized.

The overall idea for the adaptation of DBMS architectures is to flexibly compose fine-grained building blocks of the DBMS to a best-fit architecture, i.e., adapting at the granularity of distinct functions of DBMS components without requiring any re-implementation. Besides the effortless adjustment of the architecture, this dissertation proposes concepts with an emphasis on fine-granular and separate adaptation for distinct DBMS functions, such that optimizers can derive architectures best-fit for the specific conditions and functions at hand. By constructing a navigable optimization space for architectures of single- and multi-server DBMSs, the proposed concepts not only enable the flexible mimicking of any existing architecture, but importantly enable the creation of entirely new architectures.

The key findings are that both the realized adaptive single-server and the adaptive multi-server architecture prove effective and efficient, for adapting to the conditions considered in this dissertation. Under changing transactional and mixed workloads, the proposed adaptive architectures generally perform at least on par with the individually best state-of-the-art architecture. Indeed, when adopting novel better-fit architectures, all existing architectures are outperformed, e.g., with resource assigned at a granularity unlike any of today’s single-server architectures or when separately specializing for distinct queries of mixed workloads rather than compromising as today’s multi-server architectures. That is, the proposed flexible and precise adaptation demonstrates higher and more robust performance.

While our findings exhibit novel better-fit architectures only for a subset of possible workload and hardware conditions, this dissertation overall indicates high potential for adapting architectures with the proposed concepts. As the proposed concepts make a vast optimization space generally navigable, optimizers will be able to adapt DBMS architectures flexibly and more precisely to many workloads and hardware. Instead of fragile static architectures, the proposed adaptive architectures thus provide the necessary foundation for DBMSs to achieve high and robust performance under changing workload and hardware.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Seit jeher entwickeln sich die Arbeitslasten und die Hardware für Datenbankmanagementsysteme (DBMS) durch neue Anwendungsfälle und Hardware. Ausgehend von den ersten transaktionalen DBMS, die die Mondlandung ermöglichten, verarbeiten die heutigen DBMS Milliarden von Verkaufstransaktionen für den Online-Handel an einem einzigen Tag und verarbeiten viele weitere Arbeitslasten wie Berichterstattung oder Betrugserkennung. In ähnlicher Weise waren für die frühen DBMS nur wenige Hardware-Plattformen verfügbar, während die heutigen DBMS mit einer Vielzahl unterschiedlicher Hardwareplattformen konfrontiert sind. In der Tat ist ein einzelnes DBMS heute wechselnden und lastschwankenden Arbeitslasten ausgesetzt, z.B. abhängig von der Beliebtheit der Verkaufsartikel, und wird auf wechselnder Hardware betrieben.

Die Bewältigung dieser wechselnder Arbeitslasten und die Unterstützung der verschiedener Hardware-Plattformen ist jedoch nicht trivial, denn um die beste Leistung zu erzielen, müssen DBMS-Designs spezialisiert werden. Für die flexible Spezialisierung von DBMS-Komponenten auf sich ändernde Arbeitslast- oder Hardware-Bedingungen wurden Anpassungsansätze vorgeschlagen, z.B. die adaptive Abfrageausführung. Im Gegensatz dazu wird die DBMS-Architektur, in der die Komponenten eingesetzt werden, zur Entwurfszeit manuell spezialisiert und statisch implementiert. Während im Wesentlichen alle DBMS-Architekturen festlegen, welche Komponenten zusammen auf welchen Ressourcenpartitionen ausgeführt werden, gibt es heute nur einige wenige statische Architekturen, die dies zur Entwurfszeit für bestimmte Bedingungen weitgehend vordefinieren, z.B., bei Multiprozessor-Hardware diktiert die NUMA-aware Architektur eine Ressourcenpartitionierung pro Prozessor für alle Komponenten. Neben dem hohen Re-Implementierungsaufwand für die Anpassung dieser statischen Architekturen vereinfacht dieser Ansatz auch Architekturen inadäquat mit grobkörniger Spezialisierung für viele Komponenten auf einmal, und vernachlässigt somit die unterschiedlichen Auswirkungen von Arbeitslast und Hardware auf einzelne DBMS-Komponenten und die darin enthaltenen Funktionen. Diese statischen DBMS-Architekturen verschlechtern daher die DBMS-Leistung erheblich, wenn sie ungeeignet sind.

Diese Dissertation verfolgt die Adaption von DBMS-Architekturen. Um eine hohe und robuste Leistung bei wechselnder Arbeitslast und Hardware zu erreichen, wird die statische Spezialisierung zur Entwurfszeit zu der flexiblen und präzisen Adaption der Architektur weiterentwickelt. Der Ansatz ist eine erst Evaluation von DBMS mit statischen Architekturen. Anschließend werden allgemeine Konzepte für die Adaptation von DBMS-Architekturen entworfen, auf deren Basis adaptive Architekturen für die Klassen der Einzel- und Multi-Server-DBMS realisiert werden.

Die generelle Idee für die Adaption von DBMS-Architekturen besteht darin, feinkörnige DBMS-Bausteine flexibel zu einer bestgeeigneten Architektur zusammensetzen, d.h. die Anpassung auf der Granularität einzelner Funktionen von DBMS-Komponenten, ohne eine Neuimplementierung zu erfordern. Neben der leichten Anpassung der Architektur werden in dieser Dissertation Konzepte mit dem Schwerpunkt auf feingranularer und separater Anpassung für verschiedene DBMS-Funktionen vorgeschlagen, sodass Optimierer Architekturen ableiten können, die für die jeweiligen Bedingungen und Funktionen am besten geeignet sind. Durch die Schaffung eines navigierbaren Optimierungsraums für Architekturen von Single- und Multi-Server-DBMS, ermöglichen die vorgeschlagenen Konzepte nicht nur die flexible Nachahmung jedweder bestehender Architektur, sondern ermöglichen vor allem auch die Bildung völlig neuer Architekturen.

Die wichtigsten Ergebnisse sind, dass sowohl die realisierte adaptive Einzel-Server- als auch die adaptive Multi-Server-Architektur sich als effektiv und effizient erweisen, für die Anpassung an die in dieser Dissertation betrachteten Bedingungen. Bei variierenden transaktionalen (OLTP) und gemischten (HTAP) Arbeitslasten schneiden die vorgestellten adaptiven Architekturen im Allgemeinen mindestens genauso gut ab wie die jeweils beste State-of-the-Art-Architektur. In der Tat werden alle bestehenden Architekturen übertroffen, wenn neue, besser geeignete Architekturen angewandt werden, z.B. durch die Ressourcenzuweisung mit einer Granularität, die mit den heutigen Einzel-Server-Architekturen nicht vergleichbar ist, oder bei der separaten Spezialisierung auf verschiedene Abfragen gemischter Arbeitslasten, anstelle von Kompromissen wie in den heutigen Multi-Server-Architekturen. Das heißt, die vorgestellte flexible und präzise Adaption zeigt eine höhere und robustere Leistung.

Obwohl unsere Ergebnisse neuartige, besser geeignete Architekturen nur für eine Teilmenge möglicher Arbeitslast- und Hardware-Bedingungen zeigen, weist diese Dissertation insgesamt auf ein hohes Potenzial für die Anpassung von Architekturen mit den vorgeschlagenen Konzepten hin. Da die vorgeschlagenen Konzepte einen großen Optimierungsraum allgemein navigierbar machen, werden Optimierer in der Lage sein, DBMS-Architekturen flexible und präziser an viele Arbeitslasten und Hardware anzupassen. Anstelle von fragilen statischen Architekturen, bieten die vorgeschlagenen adaptiven Architekturen somit die notwendige Grundlage für eine hohe und robuste Leistung von DBMS bei variierender Arbeitslast und Hardware.

Deutsch
Freie Schlagworte: DBMS, architectures, scale-up, scale-out, adaptive, evaluation
Status: Verlagsversion
URN: urn:nbn:de:tuda-tuprints-213831
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Fachbereich(e)/-gebiet(e): 20 Fachbereich Informatik
20 Fachbereich Informatik > Data Management (2022 umbenannt in Data and AI Systems)
TU-Projekte: SAP|SOWNO.DE-2018-31|CON-00705: HSCD-0068
Hinterlegungsdatum: 03 Aug 2022 12:31
Letzte Änderung: 16 Dez 2022 16:17
PPN: 499051114
Referenten: Binnig, Prof. Dr. Carsten ; Hellerstein, Prof. Joseph
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 26 Juli 2022
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen