Ohne Evidenzen ist Wissenschaft nahezu unmöglich. Während eine Vermutung in der Mathematik logisch bewiesen werden muss, ehe sie als Theorem akzeptiert wird, werden in den meisten Wissenschaften empirische Evidenzen benötigt. In den Naturwissenschaften werden Experimente durchgeführt, die dazu dienen, die möglichst objektivsten Evidenzen zu finden, um damit Hypothesen zu überprüfen. In den Geistes- und Sozialwissenschaften hingegen werden die Evidenzen häufig aus Textquellen erhoben. Dies können Zeitungsartikel aus mehreren Jahrzehnten oder Jahrhunderten sein, oder aber auch transkribierte Interviews. Jedoch enthält nicht jedes Dokument oder jedes Interview auch Aussagen, die eine Hypothese be- oder widerlegen, wodurch die Suche danach sehr zeitaufwändig ist und sich womöglich mit Techniken des modernen Natural Language Processing beschleunigen lässt.

Das Finden von Evidenzen ---oder Evidence Detection--- ist ein schnell wachsendes Feld, das derzeit stark an Bedeutung gewinnt, da Zeitungsenten oder Fake News stärker in den Fokus gelangen. Oftmals wird neben Evidence Detection auch das Verknüpfen der Evidenzen mit Hypothesen, oder Evidence Linking betrachtet. Es finden sich Arbeiten, die darauf abzielen, Entscheidungen schneller treffen zu können. Ein weiteres Anwendungsgebiet von Evidence Detection ist das Finden von Evidenzen in medizinischen Abstracts. Auch wenn diese Ansätze bereits vielversprechend sind, wurde ihre Anwendbarkeit im Kontext der Geistes- und Sozialwissenschaften bisher nicht evaluiert. Zudem sind die Evidence Detection und Evidence Linking Modelle statisch. Für gewöhnlich wird zunächst ein großer Datensatz erstellt, in dem Textstellen als Evidenz oder nicht Evidenz markiert sind. Dieser Datensatz wird dann genutzt, um unterschiedliche Modelle zu trainieren und zu evaluieren, wobei die Modelle jeweils nur einmal trainiert werden und sich danach nicht mehr ändern. Ebenso gehen die Arbeiten davon aus, dass alle User Evidenzen gleich interpretieren und somit ein einziges Evidence Detection oder Evidence Linking Modell von allen Usern genutzt werden kann.

Ziel dieses Promotionsprojekts ist, zu evaluieren, ob moderne NLP-Techniken genutzt werden können, um Wissenschaftlerinnen und Wissenschaftler in den Geistes- und Sozialwissenschaften dabei zu helfen, Evidenzen zu finden und damit ihre Hypothesen zu evaluieren. Wir erforschten zunächst, wie echte User Evidenzen finden und mit selbst definierten Hypothesen verknüpften. Hierbei stellten wir fest, dass es keinen kanonischen User gibt. Manche Personen definieren zunächst Hypothesen und suchen dann nach Evidenzen. Andere hingegen sammeln zunächst Evidenzen und definieren die Hypothesen später. Wir konnten ebenfalls feststellen, dass die Interpretation von Evidenzen variiert. Ähnliche Hypothesen werden mit unterschiedlichen Evidenzen unterstützt und dieselben Evidenzen werden genutzt, um unterschiedliche Hypothesen zu unterstützen. Daraus folgt, dass ein Evidence Detection Modell nutzerspezifisch sein muss.

Nutzerspezifische Evidence Detection Modelle benötigen eine große Menge an Daten, welche aufwändig zu erstellen sind. Daher stellt sich die Frage, ob man nicht ein auf anderen Daten vortrainiertes Evidence Detection Modell nutzen kann, welches bereits einen kleinen Nutzen bietet und damit das Cold-Start Problem adressiert. Zudem ist offen, wie viele Trainingsdaten notwendig sind, bis ein interaktiv trainiertes Evidence Detection Modell besser ist als ein gut generalisierendes State-of-the-Art Evidence Detection Modell. In unserer Evaluation stellten wir fest, dass ein Evidence Detection Modell, welches zunächst auf externen Daten vortrainiert und dann interaktiv verfeinert wurde, bereits nach sehr wenigen Datenpunkten bessere Ergebnisse lieferte als ein State-of-the-Art Evidence Detection Modell, welches nur auf den externen Daten trainiert wurde.

Bezüglich des praktischen Nutzens, haben wir ein Annotations- oder Codingwerkzeug entwickelt, das von einzelnen Usern lernt, welche Sätze Evidenzen sind und welche Hypothesen diese unterstützen. Der Nutzen dieses Werkzeugs, genannt EDoHa (Evidence Detection fOr Hypothesis vAlidation), wurde bereits in einer Studie mit Studierenden der Geistes- und Sozialwissenschaften validiert und wurde in Zusammenarbeit mit Kolleginnen und Kollegen tiefer gehend evaluiert. EDoHa, ebenso wie Daten um Evidence Detection und Evidence Linking Modelle vortrainieren zu können, ist inzwischen unter einer Open Source Lizenz veröffentlicht, was es auch Nicht-Mitgliedern des Graduiertenkollegs ermöglicht, von diesem Promotionsprojekt zu profitieren. Dieses Projekt liefert somit nicht nur einen Beitrag zur Evidence Detection und Natural Language Processing, sondern bietet auch einen Beitrag zu der Forschungsmethodik für qualitative Textarbeit.