TU Darmstadt / ULB / TUbiblio

Interactive Evidence Detection

Stahlhut, Chris (2021):
Interactive Evidence Detection. (Publisher's Version)
Darmstadt, Technische Universität,
DOI: 10.26083/tuprints-00019154,
[Ph.D. Thesis]

Abstract

Without evidence, research would be nearly impossible. Whereas a conjecture in mathematics must be proven logically until it is accepted as theorem, most research disciplines depend on empirical evidence. In the natural sciences, researchers conduct experiments to create the most objective evidence to evaluate hypotheses. In the humanities and social sciences, most evidence is extracted from textual sources. These can be news articles spanning several decades or transcribed interviews. However, not every document or interview contains statements that support or contradict a hypothesis, causing a time-intensive search that might be sped up with modern natural language processing techniques.

Finding evidence ---or evidence detection--- is a fast growing field that is currently gaining relevance because of the increased focus on detecting fake news. Some research focusses not only on evidence detection, but also on linking evidence to hypotheses, or evidence linking. Other work aims at speeding up the decision processes regarding whether a hypothesis is valid or not. Yet another focus of research in evidence detection aims at finding evidence in medical abstracts. Although these approaches are promising, their applicability to research in the humanities and social sciences has not yet been evaluated. Most evidence detection and evidence linking models are also static in nature. Usually, we first create a large dataset in which text snippets are labelled as evidence. This dataset is then used to train and evaluate different models that do not change after their initial training. Furthermore, most work assumes that all users interpret evidence in a similar way so that a single evidence detection or evidence linking model can be used by all users.

This PhD project aims at evaluating whether modern natural language processing techniques can be used to support researchers in the humanities and social sciences in finding evidence so that they can evaluate their hypotheses. We first investigated how real users search for evidence and link this to self-defined hypotheses. We found that there is no canonical user; some users define hypotheses first and then search for evidence. Others search for evidence first and then define hypotheses. We also found that the interpretation of evidence varies between different users. Similar hypotheses are supported by different pieces of evidence, and the same evidence can be used to support different hypotheses. This means that any evidence detection model must be specific to a single user.

User-specific evidence detection models require a large amount of data, which is labour-intensive to create. Therefore, we investigate how much data is necessary until an interactively trained evidence detection model outperforms a well generalising, state-of-the-art model. In our evaluation, we found that an evidence detection model, which had first been trained on external data and then been fine-tuned interactively, requires only a few training documents to yield better results than a state-of-the-art model trained only on the external data.

Regarding the practical benefit of this research, we built an annotation or coding tool allowing users to label sentences as evidence and link these pieces of evidence to self-defined hypotheses. We evaluated this tool, named EDoHa (Evidence Detection fOr Hypothesis vAlidation), in a user study with a group of students and one with colleagues from the research training group KRITIS. EDoHa and the data to pre-train evidence detection and evidence linking models are published under an open source licence so that researchers outside the research training group can also benefit from it. This project contributes not only to evidence detection and natural language processing, but also to research methodologies in qualitative text-based research.

Item Type: Ph.D. Thesis
Erschienen: 2021
Creators: Stahlhut, Chris
Status: Publisher's Version
Title: Interactive Evidence Detection
Language: English
Abstract:

Without evidence, research would be nearly impossible. Whereas a conjecture in mathematics must be proven logically until it is accepted as theorem, most research disciplines depend on empirical evidence. In the natural sciences, researchers conduct experiments to create the most objective evidence to evaluate hypotheses. In the humanities and social sciences, most evidence is extracted from textual sources. These can be news articles spanning several decades or transcribed interviews. However, not every document or interview contains statements that support or contradict a hypothesis, causing a time-intensive search that might be sped up with modern natural language processing techniques.

Finding evidence ---or evidence detection--- is a fast growing field that is currently gaining relevance because of the increased focus on detecting fake news. Some research focusses not only on evidence detection, but also on linking evidence to hypotheses, or evidence linking. Other work aims at speeding up the decision processes regarding whether a hypothesis is valid or not. Yet another focus of research in evidence detection aims at finding evidence in medical abstracts. Although these approaches are promising, their applicability to research in the humanities and social sciences has not yet been evaluated. Most evidence detection and evidence linking models are also static in nature. Usually, we first create a large dataset in which text snippets are labelled as evidence. This dataset is then used to train and evaluate different models that do not change after their initial training. Furthermore, most work assumes that all users interpret evidence in a similar way so that a single evidence detection or evidence linking model can be used by all users.

This PhD project aims at evaluating whether modern natural language processing techniques can be used to support researchers in the humanities and social sciences in finding evidence so that they can evaluate their hypotheses. We first investigated how real users search for evidence and link this to self-defined hypotheses. We found that there is no canonical user; some users define hypotheses first and then search for evidence. Others search for evidence first and then define hypotheses. We also found that the interpretation of evidence varies between different users. Similar hypotheses are supported by different pieces of evidence, and the same evidence can be used to support different hypotheses. This means that any evidence detection model must be specific to a single user.

User-specific evidence detection models require a large amount of data, which is labour-intensive to create. Therefore, we investigate how much data is necessary until an interactively trained evidence detection model outperforms a well generalising, state-of-the-art model. In our evaluation, we found that an evidence detection model, which had first been trained on external data and then been fine-tuned interactively, requires only a few training documents to yield better results than a state-of-the-art model trained only on the external data.

Regarding the practical benefit of this research, we built an annotation or coding tool allowing users to label sentences as evidence and link these pieces of evidence to self-defined hypotheses. We evaluated this tool, named EDoHa (Evidence Detection fOr Hypothesis vAlidation), in a user study with a group of students and one with colleagues from the research training group KRITIS. EDoHa and the data to pre-train evidence detection and evidence linking models are published under an open source licence so that researchers outside the research training group can also benefit from it. This project contributes not only to evidence detection and natural language processing, but also to research methodologies in qualitative text-based research.

Place of Publication: Darmstadt
Collation: x, 157 Seiten
Divisions: 20 Department of Computer Science
20 Department of Computer Science > Ubiquitous Knowledge Processing
DFG-Graduiertenkollegs
DFG-Graduiertenkollegs > Research Training Group 2222 CRITIS – Critical Infrastructures: Construction, Functional Failures, and Protection in Cities
Date Deposited: 16 Jul 2021 12:06
DOI: 10.26083/tuprints-00019154
Official URL: https://tuprints.ulb.tu-darmstadt.de/19154
URN: urn:nbn:de:tuda-tuprints-191546
Referees: Gurevych, Prof. Dr. Iryna ; Fürnkranz, Prof. Dr. Johannes ; Engels, Prof. Dr. Jens Ivo
Refereed / Verteidigung / mdl. Prüfung: 15 July 2020
Alternative Abstract:
Alternative abstract Language

Ohne Evidenzen ist Wissenschaft nahezu unmöglich. Während eine Vermutung in der Mathematik logisch bewiesen werden muss, ehe sie als Theorem akzeptiert wird, werden in den meisten Wissenschaften empirische Evidenzen benötigt. In den Naturwissenschaften werden Experimente durchgeführt, die dazu dienen, die möglichst objektivsten Evidenzen zu finden, um damit Hypothesen zu überprüfen. In den Geistes- und Sozialwissenschaften hingegen werden die Evidenzen häufig aus Textquellen erhoben. Dies können Zeitungsartikel aus mehreren Jahrzehnten oder Jahrhunderten sein, oder aber auch transkribierte Interviews. Jedoch enthält nicht jedes Dokument oder jedes Interview auch Aussagen, die eine Hypothese be- oder widerlegen, wodurch die Suche danach sehr zeitaufwändig ist und sich womöglich mit Techniken des modernen Natural Language Processing beschleunigen lässt.

Das Finden von Evidenzen ---oder Evidence Detection--- ist ein schnell wachsendes Feld, das derzeit stark an Bedeutung gewinnt, da Zeitungsenten oder Fake News stärker in den Fokus gelangen. Oftmals wird neben Evidence Detection auch das Verknüpfen der Evidenzen mit Hypothesen, oder Evidence Linking betrachtet. Es finden sich Arbeiten, die darauf abzielen, Entscheidungen schneller treffen zu können. Ein weiteres Anwendungsgebiet von Evidence Detection ist das Finden von Evidenzen in medizinischen Abstracts. Auch wenn diese Ansätze bereits vielversprechend sind, wurde ihre Anwendbarkeit im Kontext der Geistes- und Sozialwissenschaften bisher nicht evaluiert. Zudem sind die Evidence Detection und Evidence Linking Modelle statisch. Für gewöhnlich wird zunächst ein großer Datensatz erstellt, in dem Textstellen als Evidenz oder nicht Evidenz markiert sind. Dieser Datensatz wird dann genutzt, um unterschiedliche Modelle zu trainieren und zu evaluieren, wobei die Modelle jeweils nur einmal trainiert werden und sich danach nicht mehr ändern. Ebenso gehen die Arbeiten davon aus, dass alle User Evidenzen gleich interpretieren und somit ein einziges Evidence Detection oder Evidence Linking Modell von allen Usern genutzt werden kann.

Ziel dieses Promotionsprojekts ist, zu evaluieren, ob moderne NLP-Techniken genutzt werden können, um Wissenschaftlerinnen und Wissenschaftler in den Geistes- und Sozialwissenschaften dabei zu helfen, Evidenzen zu finden und damit ihre Hypothesen zu evaluieren. Wir erforschten zunächst, wie echte User Evidenzen finden und mit selbst definierten Hypothesen verknüpften. Hierbei stellten wir fest, dass es keinen kanonischen User gibt. Manche Personen definieren zunächst Hypothesen und suchen dann nach Evidenzen. Andere hingegen sammeln zunächst Evidenzen und definieren die Hypothesen später. Wir konnten ebenfalls feststellen, dass die Interpretation von Evidenzen variiert. Ähnliche Hypothesen werden mit unterschiedlichen Evidenzen unterstützt und dieselben Evidenzen werden genutzt, um unterschiedliche Hypothesen zu unterstützen. Daraus folgt, dass ein Evidence Detection Modell nutzerspezifisch sein muss.

Nutzerspezifische Evidence Detection Modelle benötigen eine große Menge an Daten, welche aufwändig zu erstellen sind. Daher stellt sich die Frage, ob man nicht ein auf anderen Daten vortrainiertes Evidence Detection Modell nutzen kann, welches bereits einen kleinen Nutzen bietet und damit das Cold-Start Problem adressiert. Zudem ist offen, wie viele Trainingsdaten notwendig sind, bis ein interaktiv trainiertes Evidence Detection Modell besser ist als ein gut generalisierendes State-of-the-Art Evidence Detection Modell. In unserer Evaluation stellten wir fest, dass ein Evidence Detection Modell, welches zunächst auf externen Daten vortrainiert und dann interaktiv verfeinert wurde, bereits nach sehr wenigen Datenpunkten bessere Ergebnisse lieferte als ein State-of-the-Art Evidence Detection Modell, welches nur auf den externen Daten trainiert wurde.

Bezüglich des praktischen Nutzens, haben wir ein Annotations- oder Codingwerkzeug entwickelt, das von einzelnen Usern lernt, welche Sätze Evidenzen sind und welche Hypothesen diese unterstützen. Der Nutzen dieses Werkzeugs, genannt EDoHa (Evidence Detection fOr Hypothesis vAlidation), wurde bereits in einer Studie mit Studierenden der Geistes- und Sozialwissenschaften validiert und wurde in Zusammenarbeit mit Kolleginnen und Kollegen tiefer gehend evaluiert. EDoHa, ebenso wie Daten um Evidence Detection und Evidence Linking Modelle vortrainieren zu können, ist inzwischen unter einer Open Source Lizenz veröffentlicht, was es auch Nicht-Mitgliedern des Graduiertenkollegs ermöglicht, von diesem Promotionsprojekt zu profitieren. Dieses Projekt liefert somit nicht nur einen Beitrag zur Evidence Detection und Natural Language Processing, sondern bietet auch einen Beitrag zu der Forschungsmethodik für qualitative Textarbeit.

German
Export:
Suche nach Titel in: TUfind oder in Google
Send an inquiry Send an inquiry

Options (only for editors)
Show editorial Details Show editorial Details