Deep Learning (DL) hat in verschiedenen Online-Anwendungen an Popularität gewonnen, darunter intelligente persönliche Assistenten, Bild- und Spracherkennung und Frageninterpretation. Die ressourceneffiziente Bereitstellung von Anwendungen, die aus DL-Modellen bestehen, ist aufgrund der Rechenintensität der DL-Modelle mit mehreren Schichten und einer großen Anzahl von Parametern, strengen Service Level Objectives (SLO) (z. B. End-to-End-Latenzanforderungen) und der Datenabhängigkeit zwischen den DL-Modellen eine Herausforderung. Die effiziente Verwaltung von Rechenressourcen wird noch schwieriger, wenn dynamische Arbeitslasten vorhanden sind.

Das Hauptaugenmerk dieser Arbeit liegt auf der folgenden übergreifenden Frage: Wie können wir ressourceneffiziente DL-basierte Inferenzservicesysteme entwerfen, implementieren und einsetzen und dabei eine garantierte SLO sowohl unter vorhersehbaren als auch unvorhersehbaren Arbeitslasten gewährleisten? Als Antwort auf diese Frage werden in dieser Arbeit vier Beiträge vorgestellt, die darauf abzielen, die Ressourceneffizienz DL-basierter Anwendungen zu verbessern und die Bereitstellung von DL-Modellen auf nicht-traditionellen Rechenressourcen, wie z.B. programmierbaren Switches, zu ermöglichen.

Erstens verbessern wir die Effizienz von Multi-Modell-Serving-Systemen durch Erhöhung der Systemauslastung in einer Arbeit namens FA2: Schnelle, genaue Autoskalierung für die Bereitstellung von Deep Learning-Inferenzen mit SLA-Garantien. FA2 führt ein graphenbasiertes Modell ein, um die Ressourcenzuweisung und die Stapelgröße gemeinsamer Konfigurationen und die Datenabhängigkeit in DL-Inferenz-Servicing-Systemen zu erfassen, und stellt einen auf horizontaler Skalierung basierenden Ressourcenzuweisungsalgorithmus vor, der Graphentransformation und dynamische Programmierung nutzt.

Zweitens, um die SLO zu garantieren und gleichzeitig die dynamischen Bedingungen im Kommunikationsnetzwerk zwischen dem Benutzergerät und dem Serving-System zu berücksichtigen, nutzen wir den Vorteil der vertikalen Skalierung und schlagen eine neue Arbeit mit dem Titel Sponge vor: Inference Serving mit dynamischen SLOs mit vertikaler Skalierung vor Ort. Sponge verwendet Mechanismen zur vertikalen Skalierung an Ort und Stelle, um Rechenressourcen sofort an die Nachfrage anzupassen, ordnet eingehende Anfragen strategisch neu an, um diejenigen mit den am stärksten eingeschränkten verbleibenden Latenzbudgets zu priorisieren, und nutzt dynamische Stapelverarbeitungstechniken, um die Auslastung des Systems zu erhöhen. Um die Benutzerzufriedenheit zu erhöhen, führen wir außerdem Modellvarianten ein - verschiedene DL-Modelle mit unterschiedlichen Kosten-, Genauigkeits- und Latenz-Eigenschaften für dieselbe Anfrage -, indem wir die vertikale Skalierung nutzen und das DL-Modell und die Rechenressourcen in einer Arbeit namens IPA ändern: Inference Pipeline Adaptation to Achieve High Accuracy and Cost-Efficiency. IPA führt eine Multi-Modell-Genauigkeitsmetrik ein, um die End-to-End-Genauigkeit zu berechnen, indem eine neue Genauigkeitsmetrik definiert und die Multiplikation dieser Metrik verwendet wird, um die Gesamtgenauigkeit der Anwendung zu approximieren.

Drittens untersuchen wir, wie man sowohl Reaktionsfähigkeit als auch Ressourceneffizienz erreichen kann. Wenn die Arbeitslast unvorhersehbar wird, kann die SLO-Verletzung im DL Inference Serving System zunehmen. Die vertikale Skalierung an Ort und Stelle kann schnell auf dramatische Änderungen der Arbeitslast reagieren, ist aber nicht so ressourceneffizient wie die horizontale Skalierung. Wir untersuchen die gleichzeitige Verwendung von horizontaler und vertikaler Skalierung in einem Papier mit dem Titel Biscale: Integrating Horizontal and Vertical Scaling for Inference Serving Systems. In Biscale analysieren wir die Auswirkungen beider Skalierungsmechanismen in Bezug auf die Serving-Geschwindigkeit unter Verwendung des Amdahl-Gesetzes und befassen uns mit den drei Schlüsselfragen, warum, wie und wann zwischen horizontalen und vertikalen Skalierungsmechanismen gewechselt werden sollte, um die SLO zu garantieren und die Rechenressourcen zu optimieren.

Schließlich untersuchen wir die Machbarkeit der Bereitstellung von DL-Modellen in programmierbaren Netzwerkgeräten für Netzwerksicherheitsaufgaben wie die Erkennung von Eindringlingen. Da programmierbare Netzwerkgeräte für die Übertragung der Daten (einschließlich der Inferenzanfragen) verantwortlich sind, beschleunigt die Bereitstellung von Inferenzanfragen direkt auf den programmierbaren Netzwerkgeräten die Berechnung und eliminiert den Bedarf an externen Rechenressourcen. Um dies zu erreichen, entwickeln wir eine neuartige Methode, um ein DL-Modell in mehrere Teile aufzuteilen und jeden Teil zusammen mit seinen spezifischen Rechenanforderungen einer Reihe von programmierbaren Netzwerkgeräten zuzuweisen. Darüber hinaus trainieren wir ein DL-Modell zur Erkennung von Eindringlingen und verwenden diesen Ansatz in einem Papier mit dem Titel NetNN: Neural Intrusion Detection System in programmierbaren Netzwerken.

Zusammenfassend lässt sich sagen, dass diese Arbeit die Herausforderungen in Bezug auf die Hauptforschungsfrage umfassend adressiert und innovative Lösungen bietet, um die Ressourceneffizienz von DL-Inferenzsystemen zu verbessern und gleichzeitig strenge SLO-Garantien unter verschiedenen Arbeitslasten zu gewährleisten.