TU Darmstadt / ULB / TUbiblio

Deep learning for characterizing full-color 3D printers: accuracy, robustness, and data-efficiency

Chen, Danwu (2023)
Deep learning for characterizing full-color 3D printers: accuracy, robustness, and data-efficiency.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00026378
Dissertation, Erstveröffentlichung, Verlagsversion

Kurzbeschreibung (Abstract)

High-fidelity color and appearance reproduction via multi-material-jetting full-color 3D printing has seen increasing applications, including art and cultural artifacts preservation, product prototypes, game character figurines, stop-motion animated movie, and 3D-printed prostheses such as dental restorations or prosthetic eyes.

To achieve high-quality appearance reproduction via full-color 3D printing, a prerequisite is an accurate optical printer model that is a predicting function from an arrangement or ratio of printing materials to the optical/visual properties (e.g. spectral reflectance, color, and translucency) of the resulting print. For appearance 3D printing, the model needs to be inverted to determine the printing material arrangement that reproduces distinct optical/visual properties such as color. Therefore, the accuracy of optical printer models plays a crucial role for the final print quality. The process of fitting an optical printer model's parameters for a printing system is called optical characterization, which requires test prints and optical measurements. The objective of developing a printer model is to maximize prediction performance such as accuracy, while minimizing optical characterization efforts including printing, post-processing, and measuring.

In this thesis, I aim at leveraging deep learning to achieve holistically-performant optical printer models, in terms of three different performance aspects of optical printer models: 1) accuracy, 2) robustness, and 3) data efficiency.

First, for model accuracy, we propose two deep learning-based printer models that both achieve high accuracies with only a moderate number of required training samples. Experiments show that both models outperform the traditional cellular Neugebauer model by large margins: up to 6 times higher accuracy, or, up to 10 times less data for a similar accuracy. The high accuracy could enhance or even enable color- and translucency-critical applications of 3D printing such as dental restorations or prosthetic eyes.

Second, for model robustness, we propose a methodology to induce physically-plausible constraints and smoothness into deep learning-based optical printer models. Experiments show that the model not only almost always corrects implausible relationships between material arrangement and the resulting optical/visual properties, but also ensures significantly smoother predictions. The robustness and smoothness improvements are important to alleviate or avoid unacceptable banding artifacts on textures of the final printouts, particularly for applications where texture details must be preserved, such as for reproducing prosthetic eyes whose texture must match the companion (healthy) eye.

Finally, for data efficiency, we propose a learning framework that significantly improves printer models' data efficiency by employing existing characterization data from other printers. We also propose a contrastive learning-based approach to learn dataset embeddings that are extra inputs required by the aforementioned learning framework. Experiments show that the learning framework can drastically reduce the number of required samples for achieving an application-specific prediction accuracy. For some printers, it requires only 10% of the samples to achieve a similar accuracy as the state-of-the-art model. The significant improvement in data efficiency makes it economically possible to frequently characterize 3D printers to achieve more consistent output across different printers over time, which is crucial for color- and translucency-critical individualized mass production.

With these proposed deep learning-based methodologies significantly improving the three performance aspects (i.e. accuracy, robustness, and data efficiency), a holistically-performant optical printer model can be achieved, which is particularly important for color- and translucency-critical applications such as dental restorations or prosthetic eyes.

Typ des Eintrags: Dissertation
Erschienen: 2023
Autor(en): Chen, Danwu
Art des Eintrags: Erstveröffentlichung
Titel: Deep learning for characterizing full-color 3D printers: accuracy, robustness, and data-efficiency
Sprache: Englisch
Referenten: Kuijper, Prof. Dr. Arjan ; Fellner, Prof. Dr. Dieter ; Urban, Prof. Dr. Philipp
Publikationsjahr: 1 Dezember 2023
Ort: Darmstadt
Kollation: xii, 123 Seite
Datum der mündlichen Prüfung: 21 November 2023
DOI: 10.26083/tuprints-00026378
URL / URN: https://tuprints.ulb.tu-darmstadt.de/26378
Kurzbeschreibung (Abstract):

High-fidelity color and appearance reproduction via multi-material-jetting full-color 3D printing has seen increasing applications, including art and cultural artifacts preservation, product prototypes, game character figurines, stop-motion animated movie, and 3D-printed prostheses such as dental restorations or prosthetic eyes.

To achieve high-quality appearance reproduction via full-color 3D printing, a prerequisite is an accurate optical printer model that is a predicting function from an arrangement or ratio of printing materials to the optical/visual properties (e.g. spectral reflectance, color, and translucency) of the resulting print. For appearance 3D printing, the model needs to be inverted to determine the printing material arrangement that reproduces distinct optical/visual properties such as color. Therefore, the accuracy of optical printer models plays a crucial role for the final print quality. The process of fitting an optical printer model's parameters for a printing system is called optical characterization, which requires test prints and optical measurements. The objective of developing a printer model is to maximize prediction performance such as accuracy, while minimizing optical characterization efforts including printing, post-processing, and measuring.

In this thesis, I aim at leveraging deep learning to achieve holistically-performant optical printer models, in terms of three different performance aspects of optical printer models: 1) accuracy, 2) robustness, and 3) data efficiency.

First, for model accuracy, we propose two deep learning-based printer models that both achieve high accuracies with only a moderate number of required training samples. Experiments show that both models outperform the traditional cellular Neugebauer model by large margins: up to 6 times higher accuracy, or, up to 10 times less data for a similar accuracy. The high accuracy could enhance or even enable color- and translucency-critical applications of 3D printing such as dental restorations or prosthetic eyes.

Second, for model robustness, we propose a methodology to induce physically-plausible constraints and smoothness into deep learning-based optical printer models. Experiments show that the model not only almost always corrects implausible relationships between material arrangement and the resulting optical/visual properties, but also ensures significantly smoother predictions. The robustness and smoothness improvements are important to alleviate or avoid unacceptable banding artifacts on textures of the final printouts, particularly for applications where texture details must be preserved, such as for reproducing prosthetic eyes whose texture must match the companion (healthy) eye.

Finally, for data efficiency, we propose a learning framework that significantly improves printer models' data efficiency by employing existing characterization data from other printers. We also propose a contrastive learning-based approach to learn dataset embeddings that are extra inputs required by the aforementioned learning framework. Experiments show that the learning framework can drastically reduce the number of required samples for achieving an application-specific prediction accuracy. For some printers, it requires only 10% of the samples to achieve a similar accuracy as the state-of-the-art model. The significant improvement in data efficiency makes it economically possible to frequently characterize 3D printers to achieve more consistent output across different printers over time, which is crucial for color- and translucency-critical individualized mass production.

With these proposed deep learning-based methodologies significantly improving the three performance aspects (i.e. accuracy, robustness, and data efficiency), a holistically-performant optical printer model can be achieved, which is particularly important for color- and translucency-critical applications such as dental restorations or prosthetic eyes.
Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Die Wiedergabe von Farben und Erscheinungsbildern mit hoher Wiedergabetreue durch Multi-Material-Jetting-Vollfarb-3D-Druck findet zunehmend Anwendung, darunter die Konservierung von Kunst- und Kulturartefakten, Produktprototypen, Figuren von Spielfiguren, Stop-Motion-Animationsfilme und 3D-gedruckte Prothesen wie z Zahnrestaurationen oder Augenprothesen.

Um eine qualitativ hochwertige Reproduktion des Erscheinungsbilds durch vollfarbigen 3D-Druck zu erreichen, ist ein genaues optisches Druckermodell eine Voraussetzung, das eine Vorhersagefunktion aus einer Anordnung oder einem Verhältnis von Druckmaterialien zu den optischen/visuellen Eigenschaften (z. B. spektraler Reflexionsgrad) darstellt , Farbe und Lichtdurchlässigkeit) des resultierenden Drucks. Für den 3D-Druck mit Erscheinungsbild muss das Modell invertiert werden, um die Druckmaterialanordnung zu bestimmen, die bestimmte optische/visuelle Eigenschaften wie Farbe reproduziert. Daher spielt die Genauigkeit optischer Druckermodelle eine entscheidende Rolle Entscheidende Rolle für die endgültige Druckqualität. Der Prozess der Anpassung der Parameter eines optischen Druckermodells für ein Drucksystem wird als optische Charakterisierung bezeichnet und erfordert Testdrucke und optische Messungen. Das Ziel der Entwicklung eines Druckermodells besteht darin, die Vorhersageleistung zu maximieren B. Genauigkeit, bei gleichzeitiger Minimierung des Aufwands für die optische Charakterisierung, einschließlich Drucken, Nachbearbeitung und Messen.

In dieser Arbeit möchte ich Deep Learning nutzen, um ganzheitlich leistungsstarke optische Druckermodelle im Hinblick auf drei verschiedene Leistungsaspekte optischer Druckermodelle zu erstellen: 1) Genauigkeit, 2) Robustheit und 3) Dateneffizienz.

Erstens schlagen wir für die Modellgenauigkeit zwei auf Deep Learning basierende Druckermodelle vor, die beide hohe Genauigkeiten mit nur einer moderaten Anzahl erforderlicher Trainingsbeispiele erreichen. Experimente zeigen, dass beide Modelle das traditionelle zelluläre Neugebauer-Modell bei weitem übertreffen: bis zu sechsmal höhere Genauigkeit oder bis zu zehnmal weniger Daten für eine ähnliche Genauigkeit. Die hohe Genauigkeit könnte farb- und transluzenzkritische Anwendungen des 3D-Drucks wie Zahnrestaurationen oder Augenprothesen verbessern oder sogar ermöglichen.

Zweitens schlagen wir für die Modellrobustheit eine Methodik vor, um physikalisch plausible Einschränkungen und Glätte in Deep-Learning-basierte optische Druckermodelle zu induzieren. Experimente zeigen, dass das Modell nicht nur unplausible Zusammenhänge zwischen Materialanordnung und den resultierenden optischen/visuellen Eigenschaften fast immer korrigiert, sondern auch deutlich glattere Vorhersagen gewährleistet. Die Verbesserungen der Robustheit und Glätte sind wichtig, um inakzeptable Streifenartefakte auf Texturen der endgültigen Ausdrucke zu mildern oder zu vermeiden, insbesondere für Anwendungen, bei denen Texturdetails erhalten bleiben müssen, wie zum Beispiel für die Reproduktion von Augenprothesen, deren Textur mit dem begleitenden (gesunden) Auge übereinstimmen muss.

Schließlich schlagen wir für die Dateneffizienz ein Lernframework vor, das die Dateneffizienz von Druckermodellen erheblich verbessert, indem es vorhandene Charakterisierungsdaten von anderen Druckern verwendet. Wir schlagen außerdem einen kontrastiven, lernbasierten Ansatz vor, um die Einbettung von Datensätzen zu erlernen sind zusätzliche Eingaben, die für den oben genannten Lernrahmen erforderlich sind. Experimente zeigen, dass das Lernrahmenwerk die Anzahl der erforderlichen Proben zum Erreichen einer anwendungsspezifischen Vorhersagegenauigkeit drastisch reduzieren kann. Bei einigen Druckern sind nur 10% der Proben erforderlich, um eine ähnliche Genauigkeit wie beim Stand der Technik zu erreichen Modell. Die deutliche Verbesserung der Dateneffizienz macht es wirtschaftlich möglich, 3D-Drucker häufig zu charakterisieren, um im Laufe der Zeit eine konsistentere Ausgabe über verschiedene Drucker hinweg zu erzielen, was für eine farb- und transluzenzkritische individualisierte Massenproduktion von entscheidender Bedeutung ist.

Mit diesen vorgeschlagenen Deep-Learning-basierten Methoden, die die drei Leistungsaspekte (d. h. Genauigkeit, Robustheit und Dateneffizienz) deutlich verbessern, kann ein ganzheitlich leistungsfähiges optisches Druckermodell erreicht werden, was besonders wichtig für farb- und transluzenzkritische Drucker ist Anwendungen wie Zahnrestaurationen oder Augenprothesen.

Deutsch
Status: Verlagsversion
URN: urn:nbn:de:tuda-tuprints-263785
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Fachbereich(e)/-gebiet(e): 20 Fachbereich Informatik
20 Fachbereich Informatik > Graphisch-Interaktive Systeme
Hinterlegungsdatum: 01 Dez 2023 13:09
Letzte Änderung: 04 Dez 2023 11:44
PPN:
Referenten: Kuijper, Prof. Dr. Arjan ; Fellner, Prof. Dr. Dieter ; Urban, Prof. Dr. Philipp
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 21 November 2023
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen
OAI 2.0-Basis-URL: https://tubiblio.ulb.tu-darmstadt.de/cgi/oai2 TUbiblio verwendet EPrints 3.
Drucken | Impressum | Datenschutzerklärung