TU Darmstadt / ULB / TUbiblio

Novel Architectures for Offloading and Accelerating Computations in Artificial Intelligence and Big Data

Weber, Lukas Max (2023)
Novel Architectures for Offloading and Accelerating Computations in Artificial Intelligence and Big Data.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00024349
Dissertation, Erstveröffentlichung, Verlagsversion

Kurzbeschreibung (Abstract)

Due to the end of Moore's Law and Dennard Scaling, performance gains in general-purpose architectures have significantly slowed in recent years. While raising the number of cores has been a viable approach for further performance increases, Amdahl's Law and its implications on parallelization also limit further performance gains. Consequently, research has shifted towards different approaches, including domain-specific custom architectures tailored to specific workloads.

This has led to a new golden age for computer architecture, as noted in the Turing Award Lecture by Hennessy and Patterson, which has spawned several new architectures and architectural advances specifically targeted at highly current workloads, including Machine Learning. This thesis introduces a hierarchy of architectural improvements ranging from minor incremental changes, such as High-Bandwidth Memory, to more complex architectural extensions that offload workloads from the general-purpose CPU towards more specialized accelerators. Finally, we introduce novel architectural paradigms, namely Near-Data or In-Network Processing, as the most complex architectural improvements.

This cumulative dissertation then investigates several architectural improvements to accelerate Sum-Product Networks, a novel Machine Learning approach from the class of Probabilistic Graphical Models. Furthermore, we use these improvements as case studies to discuss the impact of novel architectures, showing that minor and major architectural changes can significantly increase performance in Machine Learning applications.

In addition, this thesis presents recent works on Near-Data Processing, which introduces Smart Storage Devices as a novel architectural paradigm that is especially interesting in the context of Big Data. We discuss how Near-Data Processing can be applied to improve performance in different database settings by offloading database operations to smart storage devices. Offloading data-reductive operations, such as selections, reduces the amount of data transferred, thus improving performance and alleviating bandwidth-related bottlenecks.

Using Near-Data Processing as a use-case, we also discuss how Machine Learning approaches, like Sum-Product Networks, can improve novel architectures. Specifically, we introduce an approach for offloading Cardinality Estimation using Sum-Product Networks that could enable more intelligent decision-making in smart storage devices. Overall, we show that Machine Learning can benefit from developing novel architectures while also showing that Machine Learning can be applied to improve the applications of novel architectures.

Typ des Eintrags: Dissertation
Erschienen: 2023
Autor(en): Weber, Lukas Max
Art des Eintrags: Erstveröffentlichung
Titel: Novel Architectures for Offloading and Accelerating Computations in Artificial Intelligence and Big Data
Sprache: Englisch
Referenten: Koch, Prof. Dr. Andreas ; Sinnen, Prof. Oliver
Publikationsjahr: 19 Oktober 2023
Ort: Darmstadt
Kollation: xxx, 231 Seiten
Datum der mündlichen Prüfung: 15 September 2023
DOI: 10.26083/tuprints-00024349
URL / URN: https://tuprints.ulb.tu-darmstadt.de/24349
Kurzbeschreibung (Abstract):

Due to the end of Moore's Law and Dennard Scaling, performance gains in general-purpose architectures have significantly slowed in recent years. While raising the number of cores has been a viable approach for further performance increases, Amdahl's Law and its implications on parallelization also limit further performance gains. Consequently, research has shifted towards different approaches, including domain-specific custom architectures tailored to specific workloads.

This has led to a new golden age for computer architecture, as noted in the Turing Award Lecture by Hennessy and Patterson, which has spawned several new architectures and architectural advances specifically targeted at highly current workloads, including Machine Learning. This thesis introduces a hierarchy of architectural improvements ranging from minor incremental changes, such as High-Bandwidth Memory, to more complex architectural extensions that offload workloads from the general-purpose CPU towards more specialized accelerators. Finally, we introduce novel architectural paradigms, namely Near-Data or In-Network Processing, as the most complex architectural improvements.

This cumulative dissertation then investigates several architectural improvements to accelerate Sum-Product Networks, a novel Machine Learning approach from the class of Probabilistic Graphical Models. Furthermore, we use these improvements as case studies to discuss the impact of novel architectures, showing that minor and major architectural changes can significantly increase performance in Machine Learning applications.

In addition, this thesis presents recent works on Near-Data Processing, which introduces Smart Storage Devices as a novel architectural paradigm that is especially interesting in the context of Big Data. We discuss how Near-Data Processing can be applied to improve performance in different database settings by offloading database operations to smart storage devices. Offloading data-reductive operations, such as selections, reduces the amount of data transferred, thus improving performance and alleviating bandwidth-related bottlenecks.

Using Near-Data Processing as a use-case, we also discuss how Machine Learning approaches, like Sum-Product Networks, can improve novel architectures. Specifically, we introduce an approach for offloading Cardinality Estimation using Sum-Product Networks that could enable more intelligent decision-making in smart storage devices. Overall, we show that Machine Learning can benefit from developing novel architectures while also showing that Machine Learning can be applied to improve the applications of novel architectures.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Aufgrund des Endes von Moore's Law und Dennard Scaling haben Leistungszuwächse in typischen Architekturen signifikant abgenommen. Während das Hinzufügen zusätzlicher Kerne anfangs ein sinnvoller Ansatz für zusätzliches Leistungswachstum war, so sind die entsprechenden Zuwächse aufgrund von Amdahl's Law und dessen Auswirkungen auf Parallelisierung ebenfalls begrenzt. Als Konsequenz musste sich die Forschung in Richtung neuer Ansätze, wie beispielsweise domänen-spezifische Architekturen, orientieren.

Die entsprechende Umorientierung wird in der Turing-Award-Vorlesung von Hennessy und Patterson als ein neues goldenes Zeitalter der Computerarchitektur beschrieben, welches schon damals einige neuartige und hochspezialisierte Architekturen für künstliche Intelligenz hervorgebracht hatte. Diese Thesis stellt eine Hierarchie entsprechender architektonischer Anpassungen auf, welche von kleinen inkrementellen Verbesserungen, wie der Verwendung von High-Bandwidth Memory, zu deutlich komplexeren architektonischen Erweiterungen reicht, die das Offloading bestimmter komplexer Aufgaben ermöglichen. Zum Schluss wird auf neue architektonische Paradigmen, wie Near-Data oder In-Network Processing, eingegangen, die die komplexeste Form von architektonischen Veränderungen repräsentieren.

Diese kumulative Dissertation untersucht dann eine Reihe entsprechender architektonischer Verbesserungen zur Beschleunigung von Sum-Product Networks, die ein Beispiel für neuartige Ansätze im Bereich des maschinellen Lernens sind. Darüber hinaus nutzen wir die Verbesserungen zur Diskussion entsprechender Ansätze und wie kleine und große architektonische Änderungen die Leistung in Anwendungen des maschinellen Lernens erhöhen können.

Zusätzlich präsentiert diese Thesis neuartige Forschungsarbeiten aus dem Bereich des Near-Data Processing, welche sich mit intelligenten Speichermedien befassen, die insbesondere in Big-Data Anwendungen interessant sind. Wir diskutieren, wie Near-Data Processing angewendet werden kann, um die Leistung in verschiedenen Datenbankszenarien zu erhöhen, indem Datenbankoperationen auf intelligente Speichermedien ausgelagert werden. Insbesondere die Auslagerung datenreduzierender Operationen, wie Selektionen, verringert die Menge an zu übertragenden Daten, wodurch die Leistung erhöht werden kann.

In der Umkehrung betrachten wir auch, wie Ansätze des maschinellen Lernens verwendet werden können, um neuartige Architekturen, wie beispielsweise intelligente Speichermedien, zu verbessern. Speziell betrachten wir die Verwendung von Sum-Product Networks für das Offloading der Cardinality Estimation, die in intelligenten Speichermedien verwendet werden könnte, um bessere Entscheidungen zu treffen. Insgesamt zeigen wir, dass sowohl maschinelles Lernen von neuartigen Architekturen profitieren kann, aber auch, dass maschinelles Lernen eingesetzt werden kann, um die Anwendung von neuartigen Architekturen zu verbessern.

Deutsch
Freie Schlagworte: Computer Architecture, FPGA, Machine Learning, Probabilistic Models
Status: Verlagsversion
URN: urn:nbn:de:tuda-tuprints-243490
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Fachbereich(e)/-gebiet(e): 20 Fachbereich Informatik
20 Fachbereich Informatik > Eingebettete Systeme und ihre Anwendungen
Hinterlegungsdatum: 19 Okt 2023 12:10
Letzte Änderung: 26 Okt 2023 07:39
PPN:
Referenten: Koch, Prof. Dr. Andreas ; Sinnen, Prof. Oliver
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 15 September 2023
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen