TU Darmstadt / ULB / TUbiblio

Image Classification of High Variant Objects in Fast Industrial Applications

Siegmund, Dirk Eric (2024)
Image Classification of High Variant Objects in Fast Industrial Applications.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00026914
Ph.D. Thesis, Primary publication, Publisher's Version

Abstract

Recent advances in machine learning and image processing have expanded the applications of computer vision in many industries. In industrial applications, image classification is a crucial task since high variant objects present difficult problems because of their variety and constant change in attributes. Computer vision algorithms can function effectively in complex environments, working alongside human operators to enhance efficiency and data accuracy. However, there are still many industries facing difficulties with automation that have not yet been properly solved and put into practice. They have the need for more accurate, convenient, and faster methods. These solutions drove my interest in combining multiple learning strategies as well as sensors and image formats to enable the use of computer vision for these applications. The motivation for this work is to answer a number of research questions that aim to mitigate current problems in hinder their practical application. This work therefore aims to present solutions that contribute to enabling these solutions. I demonstrate why standard methods cannot simply be applied to an existing problem. Each method must be customized to the specific application scenario in order to obtain a working solution. One example is face recognition where the classification performance is crucial for the system’s ability to correctly identify individuals. Additional features would allow higher accuracy, robustness, safety, and make presentation attacks more difficult. The detection of attempted attacks is critical for the acceptance of such systems and significantly impacts the applicability of biometrics. Another application is tailgating detection at automated entrance gates. Especially in high security environments it is important to prevent that authorized persons can take an unauthorized person into the secured area. There is a plethora of technology that seem potentially suitable but there are several practical factors to consider that increase or decrease applicability depending which method is used. The third application covered in this thesis is the classification of textiles when they are not spread out. Finding certain properties on them is complex, as these properties might be inside a fold, or differ in appearance because of shadows and position. The first part of this work provides in-depth analysis of the three individual applications, including background information that is needed to understand the research topic and its proposed solutions. It includes the state of the art in the area for all researched applications. In the second part of this work, methods are presented to facilitate or enable the industrial applicability of the presented applications. New image databases are initially presented for all three application areas. In the case of biometrics, three methods that identify and improve specific performance parameters are shown. It will be shown how melanin face pigmentation (MFP) features can be extracted and used for classification in face recognition and PAD applications. In the entrance control application, the focus is on the sensor information with six methods being presented in detail. This includes the use of thermal images to detect humans based on their body heat, depth images in form of RGB-D images and 2D image series, as well as data of a floor mounted sensor-grid. For textile defect detection several methods and a novel classification procedure, in free-fall is presented. In summary, this work examines computer vision applications for their practical industrial applicability and presents solutions to mitigate the identified problems. In contrast to previous work, the proposed approaches are (a) effective in improving classification performance (b) fast in execution and (c) easily integrated into existing processes and equipment.

Item Type: Ph.D. Thesis
Erschienen: 2024
Creators: Siegmund, Dirk Eric
Type of entry: Primary publication
Title: Image Classification of High Variant Objects in Fast Industrial Applications
Language: English
Referees: Kuijper, Prof. Dr. Arjan ; Fellner, Prof. Dr. Dieter ; Soares, Prof. Dr. Fabrizzio
Date: 7 May 2024
Place of Publication: Darmstadt
Collation: viii, 151 Seiten
Refereed: 13 November 2023
DOI: 10.26083/tuprints-00026914
URL / URN: https://tuprints.ulb.tu-darmstadt.de/26914
Abstract:

Recent advances in machine learning and image processing have expanded the applications of computer vision in many industries. In industrial applications, image classification is a crucial task since high variant objects present difficult problems because of their variety and constant change in attributes. Computer vision algorithms can function effectively in complex environments, working alongside human operators to enhance efficiency and data accuracy. However, there are still many industries facing difficulties with automation that have not yet been properly solved and put into practice. They have the need for more accurate, convenient, and faster methods. These solutions drove my interest in combining multiple learning strategies as well as sensors and image formats to enable the use of computer vision for these applications. The motivation for this work is to answer a number of research questions that aim to mitigate current problems in hinder their practical application. This work therefore aims to present solutions that contribute to enabling these solutions. I demonstrate why standard methods cannot simply be applied to an existing problem. Each method must be customized to the specific application scenario in order to obtain a working solution. One example is face recognition where the classification performance is crucial for the system’s ability to correctly identify individuals. Additional features would allow higher accuracy, robustness, safety, and make presentation attacks more difficult. The detection of attempted attacks is critical for the acceptance of such systems and significantly impacts the applicability of biometrics. Another application is tailgating detection at automated entrance gates. Especially in high security environments it is important to prevent that authorized persons can take an unauthorized person into the secured area. There is a plethora of technology that seem potentially suitable but there are several practical factors to consider that increase or decrease applicability depending which method is used. The third application covered in this thesis is the classification of textiles when they are not spread out. Finding certain properties on them is complex, as these properties might be inside a fold, or differ in appearance because of shadows and position. The first part of this work provides in-depth analysis of the three individual applications, including background information that is needed to understand the research topic and its proposed solutions. It includes the state of the art in the area for all researched applications. In the second part of this work, methods are presented to facilitate or enable the industrial applicability of the presented applications. New image databases are initially presented for all three application areas. In the case of biometrics, three methods that identify and improve specific performance parameters are shown. It will be shown how melanin face pigmentation (MFP) features can be extracted and used for classification in face recognition and PAD applications. In the entrance control application, the focus is on the sensor information with six methods being presented in detail. This includes the use of thermal images to detect humans based on their body heat, depth images in form of RGB-D images and 2D image series, as well as data of a floor mounted sensor-grid. For textile defect detection several methods and a novel classification procedure, in free-fall is presented. In summary, this work examines computer vision applications for their practical industrial applicability and presents solutions to mitigate the identified problems. In contrast to previous work, the proposed approaches are (a) effective in improving classification performance (b) fast in execution and (c) easily integrated into existing processes and equipment.

Alternative Abstract:
Alternative abstract Language

Jüngste Fortschritte im Bereich des maschinellen Lernens und der Bildverarbeitung haben die Anwendungsmöglichkeiten von Computer Vision in vielen Branchen erweitert. In industriellen Anwendungen ist die Bildklassifizierung eine wichtige Aufgabe, da variantenreiche Objekte aufgrund ihrer aufgrund ihrer Vielfalt und der ständigen Veränderung ihrer Eigenschaften schwierige Probleme darstellen. Bildverarbeitungsalgorithmen können in komplexen Umgebungen effektiv arbeiten und mit menschlichen Bedienern zusammenarbeiten, um Effizienz und Datengenauigkeit zu verbessern. Es gibt jedoch noch viele Branchen, die Lösungen benötigen, die noch nicht noch nicht richtig gelöst und in die Praxis umgesetzt wurden. Sie zeigen den Bedarf an genaueren, bequemeren und schnelleren Methoden. Diese Lösungen haben mein Interesse an der Kombination verschiedener Lernstrategien sowie Sensoren und Bildformaten geweckt um den Einsatz von Computer Vision für diese Anwendungen zu ermöglichen. Die Motivation für diese Arbeit ist die Suche nach Lösungen für eine Reihe von Forschungsfragen zu finden, die derzeit ihre praktische Anwendung behindern. Ziel dieser Arbeit ist es daher, Lösungen zu präsentieren, die zur Erreichung der Anwendbarkeit beitragen. Ich zeige, warum Standardmethoden nicht einfach auf ein bestehendes Problem angewendet werden können. Jede Methode muss an das jeweilige Anwendungsszenario angepasst werden, um eine funktionierende Lösung zu erhalten. Ein Beispiel ist die Klassifizierung von Textilien, wenn sie nicht ausgebreitet sind. Das Auffinden bestimmter Defekte ist sehr schwierig, da sich diese Eigenschaften in einer Falte befinden können oder aufgrund des sie umgebenden Schatten anders aussehen. Daher sind neue Ansätze notwendig um die Übertragbarkeit der Erkennungsalgorithmen auf 3D-Objekte zu verbessern. Eine weitere Anwendung ist die Gesichtserkennung, bei der die Klassifizierungsleistung entscheidend für die Fähigkeit des Systems ist, Personen korrekt zu identifizieren. Bislang ist nicht bekannt, ob die Melaminpigmentierung als zusätzliches biometrisches Merkmal verwendet werden kann. Wenn sie zusätzliche Merkmale hätte, würde sie eine höhere Genauigkeit, Robustheit und Sicherheit ermöglichen und Präsentationsangriffe erschweren. Die Erkennung von Angriffsversuchen ist für die Akzeptanz solcher Systeme von entscheidender Bedeutung und wirkt sich erheblich auf die Anwendbarkeit biometrischer Verfahren aus. Die dritte Anwendung, die in dieser Arbeit behandelt wird, ist die Erkennung von Zutrittsverletzungen an automatischen Eingangstoren. Gerade in Hochsicherheitsbereichen ist es wichtig zu verhindern, dass Unbefugte eine unbefugte Person in den gesicherten Bereich bringen können. Es gibt eine Fülle von Technologien, die potentiell geeignet erscheinen, aber es gibt mehrere praktische Faktoren zu berücksichtigen, die die Anwendbarkeit erhöhen oder verringern, je nachdem welcher Algorithmus verwendet wird. Der erste Teil dieser Arbeit enthält eine eingehende Analyse der drei einzelnen Anwendungen sowie Hintergrundinformationen, die zum Verständnis des Forschungsthemas dieser Arbeit und der vorgeschlagenen Lösungen erforderlich sind. Er umfasst den Stand der Technik in diesem Bereich für alle untersuchten Anwendungen. Im zweiten Teil dieser Arbeit werden Methoden vorgestellt, die die Anwendbarkeit der vorgestellten Anwendungen für den industriellen Einsatz erhöhen bzw. ermöglichen. Für alle drei Anwendungsbereiche werden zunächst neue Bilddatenbanken vorgestellt. Im Falle der Biometrie werden drei Methoden gezeigt, die bestimmte Leistungsparameter identifizieren und verbessern. Es wird gezeigt, wie Melanin-Gesichtspigmentierungs-Merkmale (MFP) extrahiert und zur Klassifizierung in der Gesichtserkennung und in PAD-Anwendungen verwendet werden können. Bei der Eingangskontrollanwendung liegt der Schwerpunkt auf den Sensorinformationen, wobei sechs Methoden im Detail vorgestellt werden. Dazu gehören die Verwendung von Wärmebildern zur Erkennung von Menschen anhand ihrer Körperwärme, Tiefenbilder in Form von RGB-D-Bildern und 2D-Bildserien sowie Daten eines am Boden montierten Sensorgitters. Alle Ansätze werden dahingehend analysiert, ob sie die Anwendbarkeit zuverlässig erhöhen und die untersuchten Methoden somit industriell anwendbar sind. Zusammenfassend lässt sich sagen, dass in dieser Arbeit Bildverarbeitungsanwendungen auf ihre praktische Anwendbarkeit hin untersucht und Lösungen zur Entschärfung der festgestellten Probleme vorgestellt werden. Im Gegensatz zu früheren Arbeiten sind die vorgeschlagenen Ansätze (a) wirksam bei der Verbesserung der Klassifizierungsleistung, (b) schnell in der Ausführung und (c) leicht in bestehende Anlagen zu integrieren.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-269144
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science
20 Department of Computer Science > Interactive Graphics Systems
20 Department of Computer Science > Fraunhofer IGD
Date Deposited: 07 May 2024 12:41
Last Modified: 08 May 2024 06:12
PPN:
Referees: Kuijper, Prof. Dr. Arjan ; Fellner, Prof. Dr. Dieter ; Soares, Prof. Dr. Fabrizzio
Refereed / Verteidigung / mdl. Prüfung: 13 November 2023
Export:
Suche nach Titel in: TUfind oder in Google
Send an inquiry Send an inquiry

Options (only for editors)
Show editorial Details Show editorial Details