TU Darmstadt / ULB / TUbiblio

Mitigating Soft-Biometric Driven Bias and Privacy Concerns in Face Recognition Systems

Terhörst, Philipp (2021)
Mitigating Soft-Biometric Driven Bias and Privacy Concerns in Face Recognition Systems.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00018515
Dissertation, Erstveröffentlichung, Verlagsversion

Kurzbeschreibung (Abstract)

Biometric verification refers to the automatic verification of a person’s identity based on their behavioural and biological characteristics. Among various biometric modalities, the face is one of the most widely used since it is easily acquirable in unconstrained environments and provides a strong uniqueness. In recent years, face recognition systems spread world-wide and are increasingly involved in critical decision-making processes such as finance, public security, and forensics. The growing effect of these systems on everybody’s daily life is driven by the strong enhancements in their recognition performance. The advances in extracting deeply-learned feature representations from face images enabled the high-performance of current face recognition systems. However, the success of these representations came at the cost of two major discriminatory concerns. These concerns are driven by soft-biometric attributes such as demographics, accessories, health conditions, or hairstyles. The first concern is about bias in face recognition. Current face recognition solutions are built on representation-learning strategies that optimize total recognition performance. These learning strategies often depend on the underlying distribution of soft-biometric attributes in the training data. Consequently, the behaviour of the learned face recognition solutions strongly varies depending on the individual’s soft-biometrics (e.g. based on the individual’s ethnicity). The second concern tackles the user’s privacy in such systems. Although face recognition systems are trained to recognize individuals based on face images, the deeply-learned representation of an individual contains more information than just the person’s identity. Privacy-sensitive information such as demographics, sexual orientation, or health status, is encoded in such representations. However, for many applications, the biometric data is expected to be used for recognition only and thus, raises major privacy issues. The unauthorized access of such individual’s privacy-sensitive information can lead to unfair or unequal treatment of this individual. Both issues are caused by the presence of soft-biometric attribute information in the face images. Previous research focused on investigating the influence of demographic attributes on both concerns. Consequently, the solutions from previous works focused on the mitigation of demographic-concerns only as well. Moreover, these approaches require computationally-heavy retraining of the deployed face recognition model and thus, are hardly-integrable into existing systems. Unlike previous works, this thesis proposes solutions to mitigating soft-biometric driven bias and privacy concerns in face recognition systems that are easily-integrable in existing systems and aim for more comprehensive mitigation, not limited to pre-defined demographic attributes. This aims at enhancing the reliability, trust, and dissemination of these systems. The first part of this work provides in-depth investigations on soft-biometric driven bias and privacy concerns in face recognition over a wide range of soft-biometric attributes. The findings of these investigations guided the development of the proposed solutions. The investigations showed that a high number of soft-biometric and privacy-sensitive attributes are encoded in face representations. Moreover, the presence of these soft-biometric attributes strongly influences the behaviour of face recognition systems. This demonstrates the strong need for more comprehensive privacy-enhancing and bias-mitigating technologies that are not limited to pre-defined (demographic) attributes. Guided by these findings, this work proposes solutions for mitigating bias in face recognition systems and solutions for the enhancement of soft-biometric privacy in these systems. The proposed bias-mitigating solutions operate on the comparison- and score-level of recognition system and thus, can be easily integrated. Incorporating the notation of individual fairness, that aims at treating similar individuals similarly, strongly mitigates bias of unknown origins and further improves the overall-recognition performance of the system. The proposed solutions for enhancing the soft-biometric privacy in face recognition systems either manipulate existing face representations directly or changes the representation type including the inference process for verification. The manipulation of existing face representations aims at directly suppressing the encoded privacy-risk information in an easily-integrable manner. Contrarily, the inference-level solutions indirectly suppress this privacy-risk information by changing the way of how this information is encoded. To summarise, this work investigates soft-biometric driven bias and privacy concerns in face recognition systems and proposed solutions to mitigate these. Unlike previous works, the proposed approaches are (a) highly effective in mitigating these concerns, (b) not limited to the mitigation of concerns origin from specific attributes, and (c) easily-integrable into existing systems. Moreover, the presented solutions are not limited to face biometrics and thus, aim at enhancing the reliability, trust, and dissemination of biometric systems in general.

Typ des Eintrags: Dissertation
Erschienen: 2021
Autor(en): Terhörst, Philipp
Art des Eintrags: Erstveröffentlichung
Titel: Mitigating Soft-Biometric Driven Bias and Privacy Concerns in Face Recognition Systems
Sprache: Englisch
Referenten: Kuijper, Prof. Dr. Arjan ; Fellner, Prof. Dr. Dieter ; Struc, Prof. Vitomir
Publikationsjahr: 2021
Ort: Darmstadt
Kollation: xvii, 303 Seiten
Datum der mündlichen Prüfung: 20 April 2021
DOI: 10.26083/tuprints-00018515
URL / URN: https://tuprints.ulb.tu-darmstadt.de/18515
Kurzbeschreibung (Abstract):

Biometric verification refers to the automatic verification of a person’s identity based on their behavioural and biological characteristics. Among various biometric modalities, the face is one of the most widely used since it is easily acquirable in unconstrained environments and provides a strong uniqueness. In recent years, face recognition systems spread world-wide and are increasingly involved in critical decision-making processes such as finance, public security, and forensics. The growing effect of these systems on everybody’s daily life is driven by the strong enhancements in their recognition performance. The advances in extracting deeply-learned feature representations from face images enabled the high-performance of current face recognition systems. However, the success of these representations came at the cost of two major discriminatory concerns. These concerns are driven by soft-biometric attributes such as demographics, accessories, health conditions, or hairstyles. The first concern is about bias in face recognition. Current face recognition solutions are built on representation-learning strategies that optimize total recognition performance. These learning strategies often depend on the underlying distribution of soft-biometric attributes in the training data. Consequently, the behaviour of the learned face recognition solutions strongly varies depending on the individual’s soft-biometrics (e.g. based on the individual’s ethnicity). The second concern tackles the user’s privacy in such systems. Although face recognition systems are trained to recognize individuals based on face images, the deeply-learned representation of an individual contains more information than just the person’s identity. Privacy-sensitive information such as demographics, sexual orientation, or health status, is encoded in such representations. However, for many applications, the biometric data is expected to be used for recognition only and thus, raises major privacy issues. The unauthorized access of such individual’s privacy-sensitive information can lead to unfair or unequal treatment of this individual. Both issues are caused by the presence of soft-biometric attribute information in the face images. Previous research focused on investigating the influence of demographic attributes on both concerns. Consequently, the solutions from previous works focused on the mitigation of demographic-concerns only as well. Moreover, these approaches require computationally-heavy retraining of the deployed face recognition model and thus, are hardly-integrable into existing systems. Unlike previous works, this thesis proposes solutions to mitigating soft-biometric driven bias and privacy concerns in face recognition systems that are easily-integrable in existing systems and aim for more comprehensive mitigation, not limited to pre-defined demographic attributes. This aims at enhancing the reliability, trust, and dissemination of these systems. The first part of this work provides in-depth investigations on soft-biometric driven bias and privacy concerns in face recognition over a wide range of soft-biometric attributes. The findings of these investigations guided the development of the proposed solutions. The investigations showed that a high number of soft-biometric and privacy-sensitive attributes are encoded in face representations. Moreover, the presence of these soft-biometric attributes strongly influences the behaviour of face recognition systems. This demonstrates the strong need for more comprehensive privacy-enhancing and bias-mitigating technologies that are not limited to pre-defined (demographic) attributes. Guided by these findings, this work proposes solutions for mitigating bias in face recognition systems and solutions for the enhancement of soft-biometric privacy in these systems. The proposed bias-mitigating solutions operate on the comparison- and score-level of recognition system and thus, can be easily integrated. Incorporating the notation of individual fairness, that aims at treating similar individuals similarly, strongly mitigates bias of unknown origins and further improves the overall-recognition performance of the system. The proposed solutions for enhancing the soft-biometric privacy in face recognition systems either manipulate existing face representations directly or changes the representation type including the inference process for verification. The manipulation of existing face representations aims at directly suppressing the encoded privacy-risk information in an easily-integrable manner. Contrarily, the inference-level solutions indirectly suppress this privacy-risk information by changing the way of how this information is encoded. To summarise, this work investigates soft-biometric driven bias and privacy concerns in face recognition systems and proposed solutions to mitigate these. Unlike previous works, the proposed approaches are (a) highly effective in mitigating these concerns, (b) not limited to the mitigation of concerns origin from specific attributes, and (c) easily-integrable into existing systems. Moreover, the presented solutions are not limited to face biometrics and thus, aim at enhancing the reliability, trust, and dissemination of biometric systems in general.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Biometrische Verifizierung verweist auf die automatische Überprüfung der Identität einer Person auf der Grundlage ihrer Verhaltens- und biologischen Merkmale. Unter den verschiedenen biometrischen Modalitäten ist das Gesicht eine der am weitesten verbreiteten, da es in einer unbeschränkten Umgebung leicht zu erfassen ist und gleichzeitig eine starke Einzigartigkeit bietet. In den letzten Jahren haben sich Gesichtserkennungssysteme weltweit verbreitet und werden auch zunehmend in kritische Entscheidungsprozesse wie im Finanzwesen, der öffentlichen Sicherheit oder der Forensik einbezogen. Der wachsende Einfluss dieser Systeme auf das tägliche Leben eines jeden Menschen wird durch die starke Verbesserung ihrer Erkennungsleistung angetrieben. Die Fortschritte bei der Extraktion von Feature-Repräsentationen mit tiefen neuronalen Netzen aus Gesichtsbildern ermöglichten die hohe Leistungsfähigkeit der aktuellen Gesichtserkennungssysteme. Der Erfolg dieser Darstellungen kam jedoch auf Kosten zweier wesentlicher diskriminierender Bedenken. Diese Bedenkenwerden durch soft-biometrische Merkmale wie demographische Daten, Accessoires, Gesundheitszustände oder Frisuren hervorgerufen. Das erste Bedenken bezieht sich auf die Voreingenommenheit von Gesichtserkennungssystemen. Aktuelle Gesichtserkennungslösungen bauen auf Repräsentations-Lernstrategien auf, die auf eine optimale Gesamterkennungsleistung ausgelegt ist. Solche Lernstrategien hängen stark von der zugrundeliegenden Verteilung der soft-biometrischen Attribute in den Trainingsdaten ab und beeinflussen daher stark die Erkennungsleistung verschiedener Individuen abhängig von diesen Attributen. Das zweite Bedenken betrifft die Privatsphäre der Benutzer in solchen Systemen. Obwohl Gesichtserkennungssysteme darauf trainiert sind, Personen anhand von Gesichtsbildern zu erkennen, enthalten die gelernten Repräsentationen einer Person mehr Informationen als nur ihre Identität. Datenschutzrelevante Informationen wie demographische Daten, sexuelle Orientierung oder Gesundheitszustand der Person sind in solchen Darstellungen enthalten. Bei vielen Anwendungen wird jedoch davon ausgegangen, dass die biometrischen Daten nur zur Erkennung verwendet werden, was große Probleme bezüglich der Privatsphäre aufwirft. Bei vielen Anwendungen wird jedoch erwartet, dass die biometrischen Daten nur zur Erkennung verwendet werden. Das trotzdem solche datenschutzrelevanten Informationen enthalten sind wirft große Bedenken hinsichtlich der Nutzerprivatsphäre auf. Der unbefugte Zugriff auf die datenschutzsensitiven Informationen einer Person kann zu einer ungerechten oder ungleichen Behandlung dieser Person führen. Dieser unbefugte Zugriff auf die sensiblen Daten einer Person kann zu einer unfairen oder diskriminierenden Behandlung dieser Person führen. Beide Bedenken werden durch das Vorhandensein von Informationen über soft-biometrische Attribute in den Gesichtsbildern verursacht. Frühere Forschungsarbeiten konzentrierten sich auf die Untersuchung des Einflusses demographischer Merkmale auf beide Bedenken. Folglich fokussierten sich auch die Lösungen aus früheren Arbeiten nur auf die Entschärfung der demographischen Bedenken. Darüber hinaus erfordern diese Ansätze rechenintensive Trainings der eingesetzten Gesichtserkennungsmodelle und sind daher nur schwer in bestehende Systeme integrierbar. Im Gegensatz zu früheren Arbeiten werden in dieser Dissertation Lösungen zur Entschärfung soft-biometrisch bedingter Voreingenommenheit und Datenschutzbedenken in Gesichtserkennungssystemen vorgeschlagen, die leicht in bestehende Systeme integrierbar sind und auf eine umfassendere Entschärfung abzielen, die sich nicht auf vordefinierte demografische Merkmale beschränkt. Dadurch sollen die Zuverlässigkeit, das Vertrauen und die Verbreitung dieser Systeme verbessert werden. Der erste Teil dieser Arbeit bietet eingehende Untersuchungen zu der soft-biometrisch bedingten Voreingenommenheit und Datenschutzbedenken bei der Gesichtserkennung über ein breites Spektrum soft-biometrischer Merkmale. Die Erkenntnisse aus diesen Untersuchungen dienten als Grundlage für die Entwicklung der Lösungsvorschläge. Die Untersuchungen zeigten, dass eine hohe Anzahl von soft-biometrischen und datenschutzrelevanten Attributen in Gesichtsrepräsentationen enthalten ist. Darüber hinaus beeinflusst das Vorhandensein dieser weich-biometrischen Attribute stark das Verhalten der Gesichtserkennungssysteme. Dies zeigt den dringenden Bedarf an weiterführenden Technologien zur Verbesserung der Privatsphäre und zur Verringerung von der systembedingten Voreingenommenheit, die nicht auf vordefinierte (demografische) Attribute beschränkt ist. Geleitet von diesen Erkenntnissen werden in dieser Arbeit Lösungen zur Entschärfung von Voreingenommenheit in Gesichtserkennungssystemen und Lösungen zur Verbesserung der soft-biometrischen Privatsphäre in diesen Systemen vorgeschlagen. Die vorgeschlagenen Lösungen zur Minderung der Voreingenommenheit arbeiten auf der Vergleichs- und Score-Ebene des Erkennungssystems und können daher leicht in bestehende Systeme integriert werden. Durch die Integration der Notation der individuellen Fairness, die darauf abzielt ähnliche Personen ähnlich zu behandeln, werden Voreingenommenheit unbekannter Herkunft stark abgeschwächt und die Gesamterkennungsleistung des Systems zusätzlich verbessert. Die vorgeschlagenen Lösungen zur Verbesserung der soft-biometrischen Privatsphäre in Gesichtserkennungssystemen basieren entweder auf der direkten Manipulation bestehender Gesichtsrepräsentationen oder auf der Änderung des Darstellungstyps dieser Repräsentationen einschließlich des Inferenzprozesses zur Verifizierung. Während die Manipulation vorhandener Gesichtsrepräsentationen auf die direkte Unterdrückung der Privatsphäre relevanten Informationen abzielt, unterdrücken die vorgeschlagenen Lösungen, die auf der Inferenz-Ebene des Erkennungssystems arbeiten, indirekt diese Informationen, indem sie die Art und Weise ändern, wie diese Informationen kodiert werden. Zusammengefasst untersucht diese Arbeit soft-biometrisch bedingte Voreingenommenheit und Datenschutzbedenken in Gesichtserkennungssystemen und präsentiert Lösungen, um diese zu entschärfen. Im Gegensatz zu früheren Arbeiten sind die vorgeschlagenen Ansätze (a) hocheffektiv bei der Verminderung dieser Bedenken, (b) nicht auf die Verminderung von Bedenken beschränkt, die nur von spezifischen Attributen ausgehen, und (c) leicht in bestehende Systeme integrierbar. Außerdem sind die vorgestellten Lösungen nicht auf die Gesichtsbiometrie begrenzt und zielen daher darauf ab, die Zuverlässigkeit, das Vertrauen und die Verbreitung biometrischer Systeme im Allgemeinen zu verbessern.

Deutsch
Status: Verlagsversion
URN: urn:nbn:de:tuda-tuprints-185152
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Fachbereich(e)/-gebiet(e): 20 Fachbereich Informatik
20 Fachbereich Informatik > Graphisch-Interaktive Systeme
Hinterlegungsdatum: 19 Mai 2021 07:27
Letzte Änderung: 25 Mai 2021 08:26
PPN:
Referenten: Kuijper, Prof. Dr. Arjan ; Fellner, Prof. Dr. Dieter ; Struc, Prof. Vitomir
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 20 April 2021
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen