TU Darmstadt / ULB / TUbiblio

Quality-aware Content Adaptation in Digital Video Streaming

Wilk, Stefan (2016)
Quality-aware Content Adaptation in Digital Video Streaming.
Technische Universität Darmstadt
Dissertation, Erstveröffentlichung

Kurzbeschreibung (Abstract)

User-generated video has attracted a lot of attention due to the success of Video Sharing Sites such as YouTube and Online Social Networks. Recently, a shift towards live consumption of these videos is observable. The content is captured and instantly shared over the Internet using smart mobile devices such as smartphones. Large-scale platforms arise such as YouTube.Live, YouNow or Facebook.Live which enable the smartphones of users to livestream to the public. These platforms achieve the distribution of tens of thousands of low resolution videos to remote viewers in parallel. Nonetheless, the providers are not capable to guarantee an efficient collection and distribution of high-quality video streams. As a result, the user experience is often degraded, and the needed infrastructure installments are huge. Efficient methods are required to cope with the increasing demand for these video streams; and an understanding is needed how to capture, process and distribute the videos to guarantee a high-quality experience for viewers. This thesis addresses the quality awareness of user-generated videos by leveraging the concept of content adaptation. Two types of content adaptation, the adaptive video streaming and the video composition, are discussed in this thesis. Then, a novel approach for the given scenario of a live upload from mobile devices, the processing of video streams and their distribution is presented. This thesis demonstrates that content adaptation applied to each step of this scenario, ranging from the upload to the consumption, can significantly improve the quality for the viewer. At the same time, if content adaptation is planned wisely, the data traffic can be reduced while keeping the quality for the viewers high. The first contribution of this thesis is a better understanding of the perceived quality in user-generated video and its influencing factors. Subjective studies are performed to understand what affects the human perception, leading to the first of their kind quality models. Developed quality models are used for the second contribution of this work: novel quality assessment algorithms. A unique attribute of these algorithms is the usage of multiple features from different sensors. Whereas classical video quality assessment algorithms focus on the visual information, the proposed algorithms reduce the runtime by an order of magnitude when using data from other sensors in video capturing devices. Still, the scalability for quality assessment is limited by executing algorithms on a single server. This is solved with the proposed placement and selection component. It allows the distribution of quality assessment tasks to mobile devices and thus increases the scalability of existing approaches by up to 33.71% when using the resources of only 15 mobile devices. These three contributions are required to provide a real-time understanding of the perceived quality of the video streams produced on mobile devices. The upload of video streams is the fourth contribution of this work. It relies on content and mechanism adaptation. The thesis introduces the first prototypically evaluated adaptive video upload protocol (LiViU) which transcodes multiple video representations in real-time and copes with changing network conditions. In addition, a mechanism adaptation is integrated into LiViU to react to changing application scenarios such as streaming high-quality videos to remote viewers or distributing video with a minimal delay to close-by recipients. A second type of content adaptation is discussed in the fifth contribution of this work. An automatic video composition application is presented which enables live composition from multiple user-generated video streams. The proposed application is the first of its kind, allowing the in-time composition of high-quality video streams by inspecting the quality of individual video streams, recording locations and cinematographic rules. As a last contribution, the content-aware adaptive distribution of video streams to mobile devices is introduced by the Video Adaptation Service (VAS). The VAS analyzes the video content streamed to understand which adaptations are most beneficial for a viewer. It maximizes the perceived quality for each video stream individually and at the same time tries to produce as little data traffic as possible - achieving data traffic reduction of more than 80%.

Typ des Eintrags: Dissertation
Erschienen: 2016
Autor(en): Wilk, Stefan
Art des Eintrags: Erstveröffentlichung
Titel: Quality-aware Content Adaptation in Digital Video Streaming
Sprache: Englisch
Referenten: Effelsberg, Prof. Dr. Wolfgang ; Mühlhäuser, Prof. Dr. Max ; Zimmermann, Prof. Dr. Roger
Publikationsjahr: 2016
Ort: Darmstadt
Datum der mündlichen Prüfung: 7 Dezember 2016
URL / URN: http://tuprints.ulb.tu-darmstadt.de/5819
Kurzbeschreibung (Abstract):

User-generated video has attracted a lot of attention due to the success of Video Sharing Sites such as YouTube and Online Social Networks. Recently, a shift towards live consumption of these videos is observable. The content is captured and instantly shared over the Internet using smart mobile devices such as smartphones. Large-scale platforms arise such as YouTube.Live, YouNow or Facebook.Live which enable the smartphones of users to livestream to the public. These platforms achieve the distribution of tens of thousands of low resolution videos to remote viewers in parallel. Nonetheless, the providers are not capable to guarantee an efficient collection and distribution of high-quality video streams. As a result, the user experience is often degraded, and the needed infrastructure installments are huge. Efficient methods are required to cope with the increasing demand for these video streams; and an understanding is needed how to capture, process and distribute the videos to guarantee a high-quality experience for viewers. This thesis addresses the quality awareness of user-generated videos by leveraging the concept of content adaptation. Two types of content adaptation, the adaptive video streaming and the video composition, are discussed in this thesis. Then, a novel approach for the given scenario of a live upload from mobile devices, the processing of video streams and their distribution is presented. This thesis demonstrates that content adaptation applied to each step of this scenario, ranging from the upload to the consumption, can significantly improve the quality for the viewer. At the same time, if content adaptation is planned wisely, the data traffic can be reduced while keeping the quality for the viewers high. The first contribution of this thesis is a better understanding of the perceived quality in user-generated video and its influencing factors. Subjective studies are performed to understand what affects the human perception, leading to the first of their kind quality models. Developed quality models are used for the second contribution of this work: novel quality assessment algorithms. A unique attribute of these algorithms is the usage of multiple features from different sensors. Whereas classical video quality assessment algorithms focus on the visual information, the proposed algorithms reduce the runtime by an order of magnitude when using data from other sensors in video capturing devices. Still, the scalability for quality assessment is limited by executing algorithms on a single server. This is solved with the proposed placement and selection component. It allows the distribution of quality assessment tasks to mobile devices and thus increases the scalability of existing approaches by up to 33.71% when using the resources of only 15 mobile devices. These three contributions are required to provide a real-time understanding of the perceived quality of the video streams produced on mobile devices. The upload of video streams is the fourth contribution of this work. It relies on content and mechanism adaptation. The thesis introduces the first prototypically evaluated adaptive video upload protocol (LiViU) which transcodes multiple video representations in real-time and copes with changing network conditions. In addition, a mechanism adaptation is integrated into LiViU to react to changing application scenarios such as streaming high-quality videos to remote viewers or distributing video with a minimal delay to close-by recipients. A second type of content adaptation is discussed in the fifth contribution of this work. An automatic video composition application is presented which enables live composition from multiple user-generated video streams. The proposed application is the first of its kind, allowing the in-time composition of high-quality video streams by inspecting the quality of individual video streams, recording locations and cinematographic rules. As a last contribution, the content-aware adaptive distribution of video streams to mobile devices is introduced by the Video Adaptation Service (VAS). The VAS analyzes the video content streamed to understand which adaptations are most beneficial for a viewer. It maximizes the perceived quality for each video stream individually and at the same time tries to produce as little data traffic as possible - achieving data traffic reduction of more than 80%.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Videoportale wie YouTube oder soziale Netzwerke wie Facebook verhalfen nutzergenerierten Videos zu einem enormen Erfolg. Zuletzt veränderte sich jedoch das Produktionsverhalten hin zu einer echtzeitnahen Verbreitung als Live-Videostrom. Dies ist möglich, da Mobilgeräte in der Lage sind aufgenommene Inhalte instantan an entfernte Betrachter zu verteilen. Heute müssen große Anbieter wie YouTube.Live, YouNow oder Facebook.Live jene Videoströme an zehntausende Betrachter gleichzeitig verteilen. Dies erreichen sie nur für geringe Bitraten und Auflösungen. Jene Anbieter sind noch nicht in der Lage die Videoströme hochqualitativ und effizient zu sammeln, zu verarbeiten und zu verteilen. Ein Ergebnis hiervon ist eine vergleichsweise geringe, wahrgenommene Qualität. Effiziente Methoden werden erforderlich, da die aktuellen Kommunikationsnetze mit zunehmender Nutzung der Dienste überlastet sind. In dieser Thesis wird das Konzept der Inhaltsadaption als eine Lösung zur effizienten und qualitätssensitiven Sammlung, Verarbeitung und Verteilung nutzergenerierter Videoströme diskutiert. Zwei Formen der Inhaltsadaption sind hierbei im Fokus der Arbeit: adaptives Videostreaming und Videokomposition. Beide Konzepte werden an verschiedenen Stellen des Videoproduktions- und Videoverteilungsprozesses angesiedelt um die wahrgenommene Qualität der Videoströme zu verbessern und den verursachten Datenverkehr zu verringern. Dabei werden die Adaptionen stets wohlüberlegt und geleitet durch die für den Betrachter eines Videostroms wahrnehmbare Qualität gesteuert. Der erste Beitrag dieser Thesis ist ein besseres Verständnis was wahrgenommene Qualität bei nutzergenerierten Videos bedeutet und welche Faktoren diese beeinflussen. Hierfür werden in Nutzerstudien Qualitätsmodelle erstellt, die in dieser Form einzigartig sind. Jene Qualitätsmodelle erlauben den Entwurf neuartiger Qualitätsberechnungsalgorithmen. Gleichzeitig nutzen jene Algorithmen nicht ausschließlich visuelle Daten zur Berechnung, sondern vor allem Kontextinformationen. Dies ermöglicht eine signifikante Beschleunigung der Verarbeitung und damit eine für Live-Videoströme notwendige echtzeitnahe Berechnung der Qualität ermöglicht. Der dritte Beitrag dieser Thesis ist eine Komponente zur Erhöhung der Skalierbarkeit der Qualitätsberechnung durch die Nutzung von stationären und mobilen Rechenkapazitäten. Jene Selektions- und Platzierungskomponente erlaubt die Bestimmung des besten Qualitätsberechnungsalgorithmus und dessen Ausführungslokation. Hierbei wird eine Erhöhung der Skalierbarkeit um bis zu einem Drittel erreicht, wenn die Ressourcen von 15 mobilen Endgeräten genutzt werden. Jene drei Beiträge erlauben die für die restliche Arbeit so wichtige echtzeitnahe Qualitätsberechnung. Die Bereitstellung der Videoströme ist der vierte Beitrag dieser Arbeit. Jene Bereitstellung nutzt Inhaltsadaption um sich an verändernde Netzwerkbedingungen anzupassen und ferner Applikationsanforderungen oder Szenarienwechsel zu ermöglichen. Hierbei wird eine Form der Inhaltsadaption gewählt, die es auf Mobilgeräten ermöglicht verschiedene Repräsentationen desselben Videos zu enkodieren und in Echtzeit zwischen diesen zu wechseln. Hiermit kann zum einen eine echtzeitnahe Bereitstellung von Videoinhalten ermöglicht werden, aber auch ein hochqualitativer Videostrom mit größerer Latenz an entfernte Nutzer verteilt werden. Die zweite Form und damit der fünfte Beitrag dieser Thesis ist die Videokomposition. Hierzu wird ein neuartiger, automatischer Videokompositionsalgorithmus für nutzergenerierte Live-Videoströme vorgeschlagen, der Kompositionsregeln von manueller Komposition lernt. Der vorgeschlagene Algorithmus ist der erste seiner Art, der echtzeitnahen Komposition einer Vielzahl an Videoströmen erlaubt und dabei Kriterien wie Videoqualität, -inhalt und kinematographische Regeln beachtet. Der letzte Beitrag dieser Arbeit adressiert die Verteilung von Videoströmen durch den Einsatz einer inhaltsabhängigen, adaptiven Videoverteilung. Das vorgeschlagene System untersucht die zu verteilenden Videoinhalte hinsichtlich ihrer verschiedenen Repräsentationen und schlägt Adaptionen vor, die vorteilhaft für den Nutzer sind. Dabei zielt das System auf eine hohe, wahrgenommene Qualität bei gleichzeitiger Datenverkehrsreduktion ab. Das System erlaubt eine Datenverkehrsreduktion von über 80%.

Deutsch
URN: urn:nbn:de:tuda-tuprints-58190
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Fachbereich(e)/-gebiet(e): 20 Fachbereich Informatik
20 Fachbereich Informatik > Distributed Multimedia Systems
DFG-Sonderforschungsbereiche (inkl. Transregio) > Sonderforschungsbereiche > SFB 1053: MAKI – Multi-Mechanismen-Adaption für das künftige Internet > C: Kommunikationsmechanismen > Teilprojekt C3: Inhaltszentrische Sicht
DFG-Sonderforschungsbereiche (inkl. Transregio) > Sonderforschungsbereiche > SFB 1053: MAKI – Multi-Mechanismen-Adaption für das künftige Internet > C: Kommunikationsmechanismen
DFG-Sonderforschungsbereiche (inkl. Transregio) > Sonderforschungsbereiche > SFB 1053: MAKI – Multi-Mechanismen-Adaption für das künftige Internet
DFG-Sonderforschungsbereiche (inkl. Transregio) > Sonderforschungsbereiche
DFG-Sonderforschungsbereiche (inkl. Transregio)
Hinterlegungsdatum: 18 Dez 2016 20:55
Letzte Änderung: 18 Dez 2016 20:55
PPN:
Referenten: Effelsberg, Prof. Dr. Wolfgang ; Mühlhäuser, Prof. Dr. Max ; Zimmermann, Prof. Dr. Roger
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 7 Dezember 2016
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen