TU Darmstadt / ULB / TUbiblio

Preference-based Representation Learning for Collections

Diallo, Aissatou (2022)
Preference-based Representation Learning for Collections.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00021652
Dissertation, Erstveröffentlichung, Verlagsversion

Kurzbeschreibung (Abstract)

In this thesis, I make some contributions to the development of representation learning in the setting of external constraints and noisy supervision. A setting of external constraints refers to the scenario in which the learner is forced to output a latent representation of the given data points while enforcing some particular conditions. These conditions can be geometrical constraints, for example forcing the vector embeddings to be close to each other based on a particular relations, or forcing the embedding vectors to lie in a particular manifold, such as the manifold of vectors whose elements sum to 1, or even more complex constraints. The objects of interest in this thesis are elements of a collection X in an abstract space that is endowed with a similarity function which quantifies how similar two objects are. A collection is defined as a set of items in which the order is ignored but the multiplicity is relevant. Various types of collections are used as inputs or outputs in the machine learning field. The most common are perhaps sequences and sets. Besides studying representation learning approaches in presence of external constraints, in this thesis we tackle the case in which the evaluation of this similarity function is not directly possible. In recent years, the machine learning setting of having only binary answers to some comparisons for tuples of elements has gained interest. Learning good representations from a scenario in which a clear distance information cannot be obtained is of fundamental importance. This problem is opposite to the standard machine learning setting where the similarity function between elements can be directly evaluated. Moreover, we tackle the case in which the learner is given noisy supervision signals, with a certain probability for the label to be incorrect. Another research question that was studied in this thesis is how to assess the quality of the learned representations and how a learner can convey the uncertainty about this representation. After the introductory Chapter 1, the thesis is structured in three main parts. In the first part, I present the results of representation learning based on data points that are sequences. The focus in this part is on sentences and permutations, particular types of sequences. The first contribution of this part consists in enforcing analogical relations between sentences and the second is learning appropriate representations for permutations, which are particular mathematical objects, while using neural networks. The second part of this thesis tackles the question of learning perceptual embeddings from binary and noisy comparisons. In machine learning, this problem is referred as ordinal embedding problem. This part contains two chapters which elaborate two different aspects of the problem: appropriately conveying the uncertainty of the representation and learning the embeddings from aggregated and noisy feedback. Finally the third part of the thesis, contains applications of the findings of the previous part, namely unsupervised alignment of clouds of embedding vectors and entity set extension.

Typ des Eintrags: Dissertation
Erschienen: 2022
Autor(en): Diallo, Aissatou
Art des Eintrags: Erstveröffentlichung
Titel: Preference-based Representation Learning for Collections
Sprache: Englisch
Referenten: Gurevych, Prof. Dr. Iryna ; Fürnkranz, Prof. Dr. Johannes ; Aiolli, Prof. Dr. Fabio
Publikationsjahr: 2022
Ort: Darmstadt
Kollation: xx, 161 Seiten
Datum der mündlichen Prüfung: 28 Juni 2022
DOI: 10.26083/tuprints-00021652
URL / URN: https://tuprints.ulb.tu-darmstadt.de/21652
Kurzbeschreibung (Abstract):

In this thesis, I make some contributions to the development of representation learning in the setting of external constraints and noisy supervision. A setting of external constraints refers to the scenario in which the learner is forced to output a latent representation of the given data points while enforcing some particular conditions. These conditions can be geometrical constraints, for example forcing the vector embeddings to be close to each other based on a particular relations, or forcing the embedding vectors to lie in a particular manifold, such as the manifold of vectors whose elements sum to 1, or even more complex constraints. The objects of interest in this thesis are elements of a collection X in an abstract space that is endowed with a similarity function which quantifies how similar two objects are. A collection is defined as a set of items in which the order is ignored but the multiplicity is relevant. Various types of collections are used as inputs or outputs in the machine learning field. The most common are perhaps sequences and sets. Besides studying representation learning approaches in presence of external constraints, in this thesis we tackle the case in which the evaluation of this similarity function is not directly possible. In recent years, the machine learning setting of having only binary answers to some comparisons for tuples of elements has gained interest. Learning good representations from a scenario in which a clear distance information cannot be obtained is of fundamental importance. This problem is opposite to the standard machine learning setting where the similarity function between elements can be directly evaluated. Moreover, we tackle the case in which the learner is given noisy supervision signals, with a certain probability for the label to be incorrect. Another research question that was studied in this thesis is how to assess the quality of the learned representations and how a learner can convey the uncertainty about this representation. After the introductory Chapter 1, the thesis is structured in three main parts. In the first part, I present the results of representation learning based on data points that are sequences. The focus in this part is on sentences and permutations, particular types of sequences. The first contribution of this part consists in enforcing analogical relations between sentences and the second is learning appropriate representations for permutations, which are particular mathematical objects, while using neural networks. The second part of this thesis tackles the question of learning perceptual embeddings from binary and noisy comparisons. In machine learning, this problem is referred as ordinal embedding problem. This part contains two chapters which elaborate two different aspects of the problem: appropriately conveying the uncertainty of the representation and learning the embeddings from aggregated and noisy feedback. Finally the third part of the thesis, contains applications of the findings of the previous part, namely unsupervised alignment of clouds of embedding vectors and entity set extension.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

In dieser Dissertation leiste ich einige Beiträge zur Entwicklung des Repräsentationslernens im Kontext externer Zwänge und lauter Supervision. Eine Einstellung externer Einschränkungen bezieht sich auf das Szenario, in dem der Lernende gezwungen ist, eine latente Darstellung der gegebenen Datenpunkte auszugeben, während er bestimmte Bedingungen durchsetzt. Diese Bedingungen können geometrische Einschränkungen sein, z. B. das Erzwingen, dass die Vektoreinbettungen basierend auf bestimmten Beziehungen nahe beieinander liegen, oder das Erzwingen, dass die Einbettungsvektoren in einer bestimmten Mannigfaltigkeit liegen. wie die Mannigfaltigkeit von Vektoren, deren Elemente sich zu 1 summieren, oder noch komplexere Einschränkungen.

Die interessierenden Objekte dieser Arbeit sind Elemente einer Sammlung X in einem abstrakten Raum, der mit einer Ähnlichkeitsfunktion ausgestattet ist, die quantifiziert, wie ähnlich zwei Objekte sind. Eine Sammlung ist definiert als eine Menge von Elementen, bei denen die Reihenfolge ignoriert wird, aber die Multiplizität relevant ist. Auf dem Gebiet des maschinellen Lernens werden verschiedene Arten von Sammlungen als Eingaben oder Ausgaben verwendet. Die gebräuchlichsten sind vielleicht Sequenzen und Mengen.

Neben der Untersuchung von Repräsentationslernansätzen in Gegenwart externer Einschränkungen behandeln wir in dieser Arbeit den Fall, in dem die Auswertung dieser Ähnlichkeitsfunktion nicht direkt möglich ist. In den letzten Jahren hat die Einstellung des maschinellen Lernens, nur binäre Antworten auf einige Vergleiche für Tupel von Elementen zu haben, an Interesse gewonnen. Es ist von grundlegender Bedeutung, gute Darstellungen aus einem Szenario zu lernen, in dem keine eindeutigen Entfernungsinformationen erhalten werden können. Dieses Problem steht im Gegensatz zu der Standardeinstellung für maschinelles Lernen, bei der die Ähnlichkeitsfunktion zwischen Elementen direkt ausgewertet werden kann. Außerdem gehen wir den Fall an, dass dem Lernenden verrauschte Supervisionssignale gegeben werden, mit einer gewissen Wahrscheinlichkeit, dass das Etikett falsch ist. Eine weitere Forschungsfrage, die in dieser Arbeit untersucht wurde, ist, wie die Qualität der erlernten Repräsentationen beurteilt werden kann und wie ein Lernender die Unsicherheit über diese Repräsentation vermitteln kann.

Nach dem einleitenden Kapitel 1 ist die Arbeit in drei Hauptteile gegliedert. Im ersten Teil präsentiere ich die Ergebnisse des Repräsentationslernens basierend auf Datenpunkten, die Sequenzen sind. Der Schwerpunkt in diesem Teil liegt auf Sätzen und Permutationen, bestimmten Arten von Sequenzen. Der erste Beitrag dieses Teils besteht darin, analoge Beziehungen zwischen Sätzen durchzusetzen, und der zweite besteht darin, geeignete Darstellungen für Permutationen zu lernen, die bestimmte mathematische Objekte sind, indem neuronale Netze verwendet werden. Der zweite Teil dieser Arbeit befasst sich mit der Frage des Lernens wahrnehmungsbezogener Einbettungen aus binären und verrauschten Vergleichen. Beim maschinellen Lernen wird dieses Problem als ordinales Einbettungsproblem bezeichnet. Dieser Teil enthält zwei Kapitel, die zwei unterschiedliche Aspekte des Problems herausarbeiten: die angemessene Vermittlung der Unsicherheit der Darstellung und das Lernen der Einbettungen aus aggregiertem und verrauschtem Feedback. Schließlich enthält der dritte Teil der Arbeit Anwendungen der Ergebnisse des vorherigen Teils, nämlich die unüberwachte Ausrichtung von Wolken von Einbettungsvektoren und die Erweiterung von Entitätsmengen.

Deutsch
Status: Verlagsversion
URN: urn:nbn:de:tuda-tuprints-216525
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Fachbereich(e)/-gebiet(e): 20 Fachbereich Informatik
20 Fachbereich Informatik > Ubiquitäre Wissensverarbeitung
Hinterlegungsdatum: 06 Dez 2022 13:14
Letzte Änderung: 09 Dez 2022 08:44
PPN:
Referenten: Gurevych, Prof. Dr. Iryna ; Fürnkranz, Prof. Dr. Johannes ; Aiolli, Prof. Dr. Fabio
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 28 Juni 2022
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen