TU Darmstadt / ULB / TUbiblio

Argumentative Writing Support by means of Natural Language Processing

Stab, Christian Matthias Edwin (2017)
Argumentative Writing Support by means of Natural Language Processing.
Technische Universität Darmstadt
Dissertation, Erstveröffentlichung

Kurzbeschreibung (Abstract)

Persuasive essay writing is a powerful pedagogical tool for teaching argumentation skills. So far, the provision of feedback about argumentation has been considered a manual task since automated writing evaluation systems are not yet capable of analyzing written arguments. Computational argumentation, a recent research field in natural language processing, has the potential to bridge this gap and to enable novel argumentative writing support systems that automatically provide feedback about the merits and defects of written arguments. The automatic analysis of natural language arguments is, however, subject to several challenges. First of all, creating annotated corpora is a major impediment for novel tasks in natural language processing. At the beginning of this research, it has been mostly unknown whether humans agree on the identification of argumentation structures and the assessment of arguments in persuasive essays. Second, the automatic identification of argumentation structures involves several interdependent and challenging subtasks. Therefore, considering each task independently is not sufficient for identifying consistent argumentation structures. Third, ordinary arguments are rarely based on logical inference rules and are hardly ever in a standardized form which poses additional challenges to human annotators and computational methods. To approach these challenges, we start by investigating existing argumentation theories and compare their suitability for argumentative writing support. We derive an annotation scheme that models arguments as tree structures. For the first time, we investigate whether human annotators agree on the identification of argumentation structures in persuasive essays. We show that human annotators can reliably apply our annotation scheme to persuasive essays with substantial agreement. As a result of this annotation study, we introduce a unique corpus annotated with fine-grained argumentation structures at the discourse-level. Moreover, we pre- sent a novel end-to-end approach for parsing argumentation structures. We identify the boundaries of argument components using sequence labeling at the token level and propose a novel joint model that globally optimizes argument component types and argumentative relations for identifying consistent argumentation structures. We show that our model considerably improves the performance of local base classifiers and significantly outperforms challenging heuristic baselines. In addition, we introduce two approaches for assessing the quality of natural language arguments. First, we introduce an approach for identifying myside biases which is a well-known tendency to ignore opposing arguments when formulating arguments. Our experimental results show that myside biases can be recognized with promising accuracy using a combination of lexical features, syntactic features and features based on adversative transitional phrases. Second, we investigate for the first time the characteristics of insufficiently supported arguments. We show that insufficiently supported arguments frequently exhibit specific lexical indicators. Moreover, our experimental results indicate that convolutional neural networks significantly outperform several challenging baselines.

Typ des Eintrags: Dissertation
Erschienen: 2017
Autor(en): Stab, Christian Matthias Edwin
Art des Eintrags: Erstveröffentlichung
Titel: Argumentative Writing Support by means of Natural Language Processing
Sprache: Englisch
Referenten: Gurevych, Prof. Dr. Iryna ; Moens, Prof. Dr. Marie-Francine ; Stede, Prof. Dr. Manfred
Publikationsjahr: 2017
Ort: Darmstadt
Datum der mündlichen Prüfung: 10 Februar 2017
URL / URN: http://tuprints.ulb.tu-darmstadt.de/6006
Kurzbeschreibung (Abstract):

Persuasive essay writing is a powerful pedagogical tool for teaching argumentation skills. So far, the provision of feedback about argumentation has been considered a manual task since automated writing evaluation systems are not yet capable of analyzing written arguments. Computational argumentation, a recent research field in natural language processing, has the potential to bridge this gap and to enable novel argumentative writing support systems that automatically provide feedback about the merits and defects of written arguments. The automatic analysis of natural language arguments is, however, subject to several challenges. First of all, creating annotated corpora is a major impediment for novel tasks in natural language processing. At the beginning of this research, it has been mostly unknown whether humans agree on the identification of argumentation structures and the assessment of arguments in persuasive essays. Second, the automatic identification of argumentation structures involves several interdependent and challenging subtasks. Therefore, considering each task independently is not sufficient for identifying consistent argumentation structures. Third, ordinary arguments are rarely based on logical inference rules and are hardly ever in a standardized form which poses additional challenges to human annotators and computational methods. To approach these challenges, we start by investigating existing argumentation theories and compare their suitability for argumentative writing support. We derive an annotation scheme that models arguments as tree structures. For the first time, we investigate whether human annotators agree on the identification of argumentation structures in persuasive essays. We show that human annotators can reliably apply our annotation scheme to persuasive essays with substantial agreement. As a result of this annotation study, we introduce a unique corpus annotated with fine-grained argumentation structures at the discourse-level. Moreover, we pre- sent a novel end-to-end approach for parsing argumentation structures. We identify the boundaries of argument components using sequence labeling at the token level and propose a novel joint model that globally optimizes argument component types and argumentative relations for identifying consistent argumentation structures. We show that our model considerably improves the performance of local base classifiers and significantly outperforms challenging heuristic baselines. In addition, we introduce two approaches for assessing the quality of natural language arguments. First, we introduce an approach for identifying myside biases which is a well-known tendency to ignore opposing arguments when formulating arguments. Our experimental results show that myside biases can be recognized with promising accuracy using a combination of lexical features, syntactic features and features based on adversative transitional phrases. Second, we investigate for the first time the characteristics of insufficiently supported arguments. We show that insufficiently supported arguments frequently exhibit specific lexical indicators. Moreover, our experimental results indicate that convolutional neural networks significantly outperform several challenging baselines.

Alternatives oder übersetztes Abstract:
Alternatives AbstractSprache

Das Schreiben von argumentativen Aufsätzen ist eine effektive Methode, Argumentationsfähigkeiten zu lehren. Bisher ist die Bewertung von argumentativen Aufsätzen eine rein manuelle Aufgabe, da automatisierte Schreibhilfen nicht in der Lage sind, Argumente automatisch zu analysieren. Computational argumentation, ein junges Forschungsfeld der natürlichen Sprachverarbeitung, hat das Potential diese Lücke zu schließen und neue intelligente Schreibhilfen zu ermöglichen, die automatisch konstruktive Rückmeldungen zu natürlichsprachlichen Argumenten generieren. Die automatische Analyse von natürlichsprachlichen Argumenten unterliegt den folgenden Herausforderungen. Zum einen ist die Erstellung von annotierten Korpora ein große Hürde für neue Bereiche der natürlichen Sprachverarbeitung. Zu Beginn dieser Arbeit war es weitestgehend unbekannt, ob Argumente in argumentativen Aufsätzen mit ausreichender Übereinstimmung von menschlichen Annotatoren erkannt und bewertet werden können. Zum anderen besteht die automatische Erkennung von Argumentationsstrukturen aus mehreren komplexen und voneinander abhängigen Analyseschritten, die nicht unabhängig voneinander gelöst werden können. Zudem basieren die meisten Argumente nicht auf logischen Regeln und sind selten in einer standardisierten Form, was eine weitere Herausforderung für mensch- liche Annotatoren und computerbasierte Methoden darstellt. In dieser Dissertation vergleichen wir zuerst existierende Argumentationstheorien und prüfen deren Eignung für intelligente Schreibhilfen. Wir stellen ein Argumentationsmodell vor, welches die Argumentationsstruktur eines gesamten Dokumentes als Baum modelliert. Wir zeigen erstmalig, dass menschliche Annotatoren Argumentationsstrukturen mit hoher Übereinstimmung identifizieren. Das Ergebnis dieser Annotationsstudie ist ein mit Argumentationsstrukturen annotiertes Korpus, welches der Forschungsgemeinschaft zur freien Verfügung steht. Darüber hinaus stellen wir einen neuen automatischen Ansatz zur Erkennung von Argumentationsstrukturen vor. Dieser Ansatz erkennt die Grenzen von Argumentkomponenten auf Wortebene. Zusätzlich stellen wir ein neues Modell zur Erkennung von Argumentationsstrukturen vor, welches die Funktion von Argumentkomponenten und argumentative Relationen gemeinsam modelliert. Die Evaluationergebnisse zeigen, dass dieser Ansatz nicht nur konsistente Argumentationsstrukturen erkennt, sondern auch im Vergleich zu mehreren heuristischen Ansätzen signifikant bessere Erkennungsraten erzielt. Zusätzlich stellen wir zwei weitere Ansätze zur Bewertung der Argumentqualität vor. Der erste Ansatz erkennt Bestätigungsfehler, welche in der Kognitionspsychologie als eine Tendenz zur Vernachlässigung von Gegenargumenten bekannt sind. Die Evaluationsergebnisse zeigen, dass die Erkennung von Bestätigungsfehlern mit einer Kombination aus lexikalischen Merkmalen, syntaktischen Eigenschaften und adversativen Phrasen die besten Ergebnisse erzielt. Für den zweiten Ansatz untersuchen wir erstmals die Eigenschaften von unzureichend begründeten Argumenten. Wir zeigen, dass unzureichend begründete Argumente oft spezifische lexikalische Eigenschaften aufweisen. Zudem stellen wir einen Ansatz basierend auf neuronalen Netzen vor, welcher unzureichend begründete Argumente automatisch erkennt und im Vergleich mit mehreren Baselinesystemen signifikant bessere Erkennungsraten erzielt.

Deutsch
URN: urn:nbn:de:tuda-tuprints-60062
Sachgruppe der Dewey Dezimalklassifikatin (DDC): 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
400 Sprache > 400 Sprache, Linguistik
Fachbereich(e)/-gebiet(e): 20 Fachbereich Informatik
20 Fachbereich Informatik > Ubiquitäre Wissensverarbeitung
DFG-Graduiertenkollegs
DFG-Graduiertenkollegs > Graduiertenkolleg 1994 Adaptive Informationsaufbereitung aus heterogenen Quellen
Hinterlegungsdatum: 05 Mär 2017 20:55
Letzte Änderung: 05 Okt 2018 09:11
PPN:
Referenten: Gurevych, Prof. Dr. Iryna ; Moens, Prof. Dr. Marie-Francine ; Stede, Prof. Dr. Manfred
Datum der mündlichen Prüfung / Verteidigung / mdl. Prüfung: 10 Februar 2017
Export:
Suche nach Titel in: TUfind oder in Google
Frage zum Eintrag Frage zum Eintrag

Optionen (nur für Redakteure)
Redaktionelle Details anzeigen Redaktionelle Details anzeigen