Die Menge der im Internet veröffentlichten Informationen wächst stetig. Ein grundlegendes Ziel vieler Aufgaben in der natürlichen Sprachverarbeitung ist es, einen effektiven Zugriff auf dieses Wissen zu ermöglichen. In dieser Arbeit adressieren wir dies aus der Perspektive des Community Question Answering, indem wir Daten aus Webforen und Q&A-Communities nutzen, um Antworten auf gestellte Fragen automatisch zu finden. Insbesondere beschäftigen wir uns mit grundlegenden Herausforderungen, die sich daraus ergeben, unterteilt in (1) das Erlernen besserer Textrepräsentationen und (2) den Umgang mit Szenarien, in denen wir nur wenige oder keine annotierten Trainingsdaten zur Verfügung haben.

Zunächst untersuchen wir sogenannte Attention-Mechanismen für das Erlernen von Frage- und Antwortrepräsentationen, um einen effizienten und effektiven Vergleich der beiden Texte zu ermöglichen. Eine Einschränkung bisheriger Ansätze besteht darin, dass diese beim Lernen von Antwortrepräsentationen auf Informationen in der Frage zurückgreifen. Diese Abhängigkeit macht es erforderlich, für jede Frage eine separate Antwortrepräsentation zu lernen, was ineffizient ist. Wir schlagen als Alternative ein Modell mit Self-Attention vor, welches nicht unter diesem Nachteil leidet. Wir zeigen, dass unser Modell im Vergleich zu anderen Modellen gleichwertige oder bessere Ergebnisse bei der automatischen Antwortselektion erreicht, während es uns zudem erlaubt, Frage- und Antwortrepräsentationen unabhängig zu lernen. Aufgrund der großen Bedeutung von Attention-Mechanismen stellen wir daraufhin ein Framework vor, mit dem wir Modelle zur Antwortselektion in prototypische Frage-Antwort Systeme überführen können. Dies ermöglicht es Forschern verschiedene Attention-Mechanismen interaktiv zu untersuchen und zu vergleichen.

Neben rein monolingualen Ansätzen untersuchen wir darüber hinaus, wie wir sprachübergreifende Textrepräsentationen lernen können. Ein beliebter Ansatz sind sogenannte Sentence Embeddings, die oft als universelle Textrepräsentationen Anwendung finden. Allerdings haben bisherige Arbeiten diese nur monolingual oder nur für wenige sprachübergreifende Aufgaben untersucht. Wir gehen darüber hinaus, indem wir Sentence Embeddings sprachübergreifend für eine Vielzahl von Klassifizierungsaufgaben untersuchen. Wir schlagen einen trainingsfreien Ansatz vor, der ein effizientes Verfahren verallgemeinert, welches den arithmetischen Mittelwert über die Embeddings von Wörtern in einem Satz berechnet. Wir erweitern dies mit verschiedenen Typen von Embeddings und berechnen mehrere Arten von Mittelwerten. Wir können unseren Ansatz dabei mühelos auf neue Sprachen übertragen, indem wir sprachübergreifende Word Embeddings integrieren. Wir zeigen, dass unsere Sentence Embeddings die meisten komplexeren Techniken auf neun monolingualen Klassifikationsaufgaben übertreffen und sprachübergreifend die besten Ergebnisse für den Transfer vom Englischen ins Deutsche und Französische erzielen.

Ergänzend untersuchen wir einen orthogonalen Ansatz, indem wir den Eingabetext vom Deutschen ins Englische maschinell übersetzen und monolingual fortfahren. Wir untersuchen den Einfluss eines neuronalen maschinellen Übersetzungsmodells auf die Effektivität von Modellen zur Bestimmung der Frageähnlichkeit in Programmier- und Betriebssystemforen. Wir zeigen, dass Übersetzungsfehler einen erheblichen Einfluss auf die Effektivität dieses Ansatzes haben können, und verbessern dies, indem wir unser maschinelles Übersetzungsmodell durch Rückübersetzung an unsere speziellen Domänen anpassen.

Im zweiten Teil untersuchen wir monolinguale Szenarien mit (a) wenigen annotierten Daten, (b) gänzlich ohne Annotationen, (c) keiner Zieldatensatzinformation. Dies sind wichtige Herausforderungen, da eine Vielzahl an Webforen nur wenige annotierte Frage-Antwort-Paare und keine annotierten ähnlichen Fragen enthalten.

Eine Möglichkeit um bereits mit wenigen Daten ein effektives Modell zu erlernen ist die Nutzung einfacher Architekturen mit wenigen trainierbaren Netzwerkschichten. Unser Ansatz COALA ist eine flache, aufgabenspezifische neuronale Architektur, welche auf die Antwortselektion spezialisiert ist und nur eine trainierbare Netzwerkschicht enthält. Diese lernt Repräsentationen von Wort-N-Grammen in Fragen und Antworten, die wir vergleichen und anschließend aggregieren. Unser Modell erzielt gegenüber eines komplexeren Compare-Aggregate Modells Verbesserungen von durchschnittlich 4,5 Prozentpunkten, über sechs Datensätze hinweg. Darüber hinaus übertrifft es die IR-Baselines bereits mit 25 annotierten Beispielen.

Der Standardansatz für das Training von Modellen zur Bestimmung der Fragenähnlichkeit erfordert annotierte Fragenpaare, die in vielen Foren nicht existieren. Daher beschäftigen wir uns mit Alternativen, wie dem selbstüberwachten Training mit Informationen aus dem Fragentitel und -body und schlagen die Generierung von Fragenduplikaten vor. Wir zeigen, dass mittels Nutzung größerer Datenmengen erhebliche Verbesserungen gegenüber Adversarial-Domain-Transfer erzielt werden können und wir übertreffen damit das überwachte In-Domain-Training auf zwei Datensätzen. Weiterhin zeigen wir, dass sich Modelle zur Generierung von Fragenduplikaten gut auf andere Domänen übertragen lassen, und dass wir selbstüberwachtes Training nutzen können, um effektive Modelle zur Antwortselektion zu erhalten.

Schließlich argumentieren wir, dass es unerschwinglich sein kann, separate spezialisierte Modelle für jedes einzelne Forum zu trainieren. Es ist vorteilhaft, ein einziges Modell zu erhalten, das breit wiederverwendbar ist. Um dieses Ziel zu erreichen, untersuchen wir zunächst den Zero-Shot-Transfer von Text-Matching-Modellen im Kontext des Community Question Answering. Wir trainieren 140 Modelle mit selbstüberwachtem Training unter der Nutzung von Daten aus verschiedenen Foren. Wir analysieren daraufhin die Effektivität dieser Modelle auf neun Evaluationsdatensätzen für Frageähnlichkeits- und Antwortselektionsaufgaben. Wir stellen fest, dass die große Mehrheit der Modelle überraschend gute Ergebnisse erzielt. In sechs Fällen übertreffen alle Modelle die IR-Baselines. Unsere Analysen ergeben, dass es wichtig ist eine breite Auswahl an Foren für das Training von Modellen zu berücksichtigen, da wir die besten Modelle weder mittels Domänenähnlichkeit noch mittels der Größe der Trainingsdaten zuverlässig vorhersagen können. Abschließend untersuchen wir verschiedene Techniken um Daten aus mehreren Foren zu kombinieren und schlagen vor, selbstüberwachtes und überwachtes Multi-Task-Learning mit Daten aus allen Foren zu kombinieren. Unser bestes Modell für Zero-Shot-Transfer, MultiCQA, erreicht bessere Ergebnisse als bisherige Modelle auf sechs Datensätzen, obwohl es nicht explizit für diese trainiert wurde.