Methoden der natürlichen Sprachverarbeitung (NLP) benötigen elaborierte Strategien der Korpuserstellung – sie sind fundamental für gut funktionierende NLP-Systeme. In dieser Dissertation stellen wir verschiedene Strategien und Anwendungsszenarien für verschiedene NLP-Aufgaben, im weiteren „tasks’’ genannt, vor und zeigen, wie diese Strategien einem task zuträglich sein können. Der Fokus liegt hierbei auf automatischen Zusammenfassungen und der Korpuserstellung für Textklassifizierung basierend auf maschinellem Lernen (ML).

Im ersten Teil der Arbeit geben wir einen theoretischen Überblick und das benötigte Hintergrundwissen. Kapitel 2 stellt eine Übersicht der bisherigen For-schung zu Korpusannotationen und Annotationspraktiken, besonders im Bereich der Korpuslinguistik und der Computerlinguistik/natürlichen Sprachverarbeitung, vor. Es geht auch auf den Prozess des Crowdsourcing zur Erstellung von Sprachannotationen ein. Kapitel 3 befasst sich mit der Frage, wie verschiedene Annotatoren verschiedene Datensätze mit unterschiedlichen Strategien annotieren. Hier geht es, u.a. um das spezifische Zusammenspiel von Mensch und Maschine. Kapitel 4 beschäftigt sich mit der Herausbildung der Forschung zur Erstellung von automatischen Zusammenfassungen und deren Evaluation. Wir zeigen, dass die Erstellung automatischer Zusammenfassungen keine leichte Aufgabe für NLP ist, insbesondere, da der langjährige Fokus der Forschung limitierend wirkt: die Forschung nutzt meist sehr kurze, englischsprachige Nachrichtentexte, was zu verzerrten Ergebnissen führen kann.

Der zweite Teil befasst sich mit einem ersten Anwendungsszenario: mit automatischen Zusammenfassungen und der Evaluation der Zusammenfassungen. Kapitel 5 beschreibt die Methodik zur Erstellung eines Datensatzes mit hierarchischen Zusammenfassungen. Dieser Datensatz richtet sich an die zwei zuvor genannten Begrenzungen in der Forschung: der Korpus besteht aus heterogeneren Texte und die Quelldokumente sind insgesamt länger. Wir haben diesen Datensatz durch Crowdworker und Experten annotieren lassen und konnten zeigen, wie die jeweiligen Populationen beide sinnvoll an einem größeren Korpus zusammenarbeiten können. Kapitel 6 führt die Arbeit zur Heterogenität fort, indem ein bereits bestehender Korpus um Quelltexte aus der Textdomäne „Bildung“ sinnvoll erweitert werden konnte. Hier nutzen wir weiterhin Maße der Informationstheorie und Kosinusähnlichkeit, um die Heterogenität der Texte zu bestimmen und so auch den Schwierigkeitsgrad der jeweiligen Zusammenfassungen zu berechnen. Kapitel 7 behandelt die korpusbasierte Auswertung von Zusammenfassungen. Hier erstellen wir einen Korpus, den wir mit inhaltsbasierten manuellen Annotationen versehen – der Pyramid-Methode. Wir wenden weiterhin eine automatisierte Methode an, um Pyramiden zu erstellen – mit dem Ergebnis, dass sie erstaunlich gut mit den Pyramiden, die manuell von Experten erstellt wurden korrespondieren.

Im dritten Teil liegt der Fokus auf der Korpuserstellung für an maschinellem Lernen (ML) orientierten tasks. Kapitel 8 nutzt Methoden des Crowdsourcing zur Annotation eines Datensatztes. Zunächst sortieren wir hier die zu annotierenden Segmente nach Komplexität, wofür wir Maße aus den Bereichen Spracherwerb, NLP und Informationstheorie nutzen. Auf Basis dieser Komplexitätsmaße erstellen wir Teil-Datensätze, die wir zusätzlich nutzen, um die Crowdworker zu trainieren und diejenigen herauszufiltern, deren Annotationen in einem Teildatensatz niedrige Qualität zeigen. Wir testen diese Methode an einem Datensatz zur Klassifizierung von Sätzen in Argumenten (argument mining). Wir zeigen, dass unsere Methode insgesamt weniger Annotatoren benötigt, um zum gleichen Inter-annotator-agreement zu gelangen. In Kapitel 9 erstellen wir einen Korpus der Diskurskonventionen annotiert. Diese Konventionen stammen aus den Sozialwissenschaften und wir erstellen zur Textklassifikation einen Datensatz, der Texte enthält, die das Thema „Künstliche Intelligenz’’ (KI) thematisieren. Der Datensatz besteht aus Teil-Datensätzen aus verschiedenen Textdomänen: Softwareentwicklung, Abstracts von Forschungsarbeiten und Online-Foren Experten annotieren den Datensatz mithilfe des aktiven Lernens, indem Annotationen für spezielle Datenpunkte vom ML-Modell „erfragt’’ werden. Wir evaluieren die Konventionen, die das ML-Modell vorausgesagt sowohl quantitativ als auch qualitativ hat und erklären, warum diese vom Modell vorausgesagten sinnvoll sind.