Analyse der Generalisierbarkeit von maschinell gelernten Algorithmen in Fahrerassistenzsystemen

Henzel, Maren (2019)
Analyse der Generalisierbarkeit von maschinell gelernten Algorithmen in Fahrerassistenzsystemen.
Technische Universität Darmstadt
doi: 10.25534/tuprints-00009246
Dissertation, Erstveröffentlichung

URL / URN: https://tuprints.ulb.tu-darmstadt.de/9246

Kurzbeschreibung (Abstract)

Maschinell gelernte Systeme finden immer häufiger Einsatz in Fahrerassistenzsystemen. Dabei zeichnen sich die eingesetzten Lernalgorithmen je nach Aufgabenkomplexität durch eine geringe Nachvollziehbarkeit der Vorhersagekriterien gewünschter Ausgangsgrößen aus. Darüber hinaus basiert Maschinelles Lernen auf einem induktiven Erkenntnisprozess in welchem nicht sichergestellt ist, dass die zur Vorhersage der Ausgangsgrößen erlernten Zusammenhänge allgemeingültig sind bzw. auf Kausalität anstelle von Korrelation basieren. Unter anderem hierdurch bedingt sind bestehende Möglichkeiten zur Erbringung eines Sicherheitsnachweises nicht anwendbar. Die bestehenden alternativen Ansätze zum Nachweis der Sicherheit schränken entweder die Leistungsfähigkeit der genutzten Modelle stark ein oder unterliegen der Annahme, dass alle inhärenten Fehler gelernter Modelle zuverlässig identifiziert werden. Ein Fehler liegt dabei in bereits beschriebenen fehlenden Generalisierbarkeit. Um die Sicherheitsnachweise, die die Leistungsfähigkeit nicht einschränken, anzuwenden, ist daher zuvor u.a. die Analyse der Generalisierbarkeit des gelernten Modells durchzuführen. Da hierzu keine systematische Methode identifiziert wurde, bildet deren Entwicklung den weiteren Fokus der vorliegenden Arbeit. Als Grundlage zur Entwicklung des Ansatzes werden die Ursachen der fehlenden Generalisierbarkeit mittels einer Fehlerbaumanalyse untersucht. Diese Ursachen gliedern sich in drei Kategorien hinsichtlich potentieller Vermeidungs- und Identifikationsmöglichkeiten. Aufbauend auf dieser Gliederung wird ein systematischer vierstufiger Ansatz zur Vermeidung bzw. Identifikation fehlender Generalisierbarkeit abgeleitet. Die ersten beiden Schritte des Ansatzes bestehen in der Vermeidung und der direkten Identifikation von Ursachen fehlender Generalisierbarkeit. Dadurch, dass jedoch nicht alle Ursachen vermeidbar oder deren Auftreten nicht direkt identifizierbar sind, werden im dritten und vierten Schritt das Vorliegen der Auswirkungen fehlender Generalisierbarkeit untersucht. Hierzu wird im dritten Schritt die Einhaltung funktionaler Anforderungen durch das gelernte Modell überprüft. Durch die nicht auszuschließende Unvollständigkeit dieser funktionalen Anforderungen besteht der vierte Schritt des Ansatzes aus der Überprüfung der Robustheit bzw. Sensitivität des Modells auf Veränderungen, die bei ausreichender Generalisierbarkeit des Modells zu keiner Änderung des funktionalen Verhaltens führen. Der Ansatz wird prototypisch auf ein gelerntes Modell eines Fahrerassistenzsystems angewendet, um die praktische Anwendbarkeit des Ansatzes sowie den resultierenden Erkenntnisgewinn über die Generalisierbarkeit des Modells zu untersuchen. Die praktische Anwendbarkeit wird unter der Voraussetzung gezeigt, dass der Aufwand zum Training neuer Modelle und ggf. der Erhebung neuer Testdaten getragen wird. Darüber hinaus wird belegt, dass mit diesem Ansatz mögliche fehlende Generalisierbarkeit identifiziert werden kann. Aus den Grenzen des Ansatzes ergeben sich die weiteren vorgestellten Forschungsfragen. Der hier vorgestellte Ansatz ergänzt die bestehenden Sicherheitsnachweise nun um einen für das Maschinelle Lernen spezifischen Baustein.

Typ des Eintrags:

Dissertation

Erschienen:

2019

Autor(en):

Henzel, Maren

Art des Eintrags:

Erstveröffentlichung

Titel:

Analyse der Generalisierbarkeit von maschinell gelernten Algorithmen in Fahrerassistenzsystemen

Sprache:

Deutsch

Referenten:

Winner, Prof. Dr. Hermann ; Fürnkranz, Prof. Dr. Johannes

Publikationsjahr:

2019

Ort:

Darmstadt

Datum der mündlichen Prüfung:

17 September 2019

DOI:

10.25534/tuprints-00009246

URL / URN:

https://tuprints.ulb.tu-darmstadt.de/9246

Kurzbeschreibung (Abstract):

Alternatives oder übersetztes Abstract:

Alternatives Abstract

Sprache

The use of systems with machine learning algorithms has increased in the field of advanced driver assistance systems over the past years. Depending on the complexity of the task, the learning algorithms are characterized by a poor traceability of the prediction criteria for the desired output variables. In addition, machine learning is based on an inductive knowledge building process in which it is not ensured that the relationships which are extracted to predict the output variables are general or based on causality instead of correlation. Among others, this leads to the fact that current methods for providing a safety validation cannot be used for systems with machine learning algorithms. The existing alternative approaches to proof safety either limit the performance of the models or are based on the assumption that all inherent errors of learned models are reliably identified. One of those inherent errors is the lack of generalizability, which was described previously. In order to apply safety validation methods, which don't limit the performance of the models, the analysis of the generalizability of the learned model is mandatory. Since no systematic method has been identified for this purpose, the further focus of this work is its development. As a basis for developing the approach, the causes of the lack of generalizability are examined by using a fault tree analysis. The identified causes are divided into three categories based on their potential avoidance and identification possibilities. Building up on this structure, a systematic four-step approach to avoid or identify a lack of generalizability is derived. The first two steps of the approach consist in avoiding and directly identifying causes of a lack of generalizability. Because, however, not all causes can be avoided or their occurrence cannot be directly identified, the effects of the lack of generalizability are examined in the third and fourth step. In the third step, the fulfillment of functional requirements by the learned model is checked. Due to the possible incompleteness of these functional requirements, the fourth step of the approach consists of checking the robustness or sensitivity of the model for changes which, with sufficient generalizability of the model, do not lead to any change in the functional behavior. The approach is prototypically applied to a learned model of an advanced driver assistance system in order to examine the practical applicability of the approach and to investigate the resulting knowledge about the generalizability of the model. The practical applicability is shown assuming that the effort to train new models and, if necessary, to collect new test data is borne. In addition, it is proven that possible lack of generalizability can be identified with this approach. The further identified research questions arise from the limits of the approach. The derived approach expands the current safety validation methods with a component that is specific for machine learning.

Englisch

URN:

urn:nbn:de:tuda-tuprints-92465

Sachgruppe der Dewey Dezimalklassifikatin (DDC):

600 Technik, Medizin, angewandte Wissenschaften > 620 Ingenieurwissenschaften und Maschinenbau

Fachbereich(e)/-gebiet(e):

16 Fachbereich Maschinenbau
16 Fachbereich Maschinenbau > Fachgebiet Fahrzeugtechnik (FZD)
16 Fachbereich Maschinenbau > Fachgebiet Fahrzeugtechnik (FZD) > Fahrerassistenzssysteme
16 Fachbereich Maschinenbau > Fachgebiet Fahrzeugtechnik (FZD) > Sicherheit
16 Fachbereich Maschinenbau > Fachgebiet Fahrzeugtechnik (FZD) > Testverfahren

Hinterlegungsdatum:

22 Dez 2019 20:55

Letzte Änderung:

22 Dez 2019 20:55

PPN: