In Wissenschaft und Praxis herrscht mit Sprachassistenten und automatischen Übersetzern die Stimmung einer Zeitenwende - alles ist möglich, oder? Wir setzen Natural Language Processing (NLP) Techniken seit vielen Jahren bei mittlerweile über 60 Projekten in Automotive und Versicherungsbereich täglich zur Qualitätssicherung ein. Beispiele sind die automatische Prüfung von Anforderungen und Tests, Testgenerierung aus User Stories oder Traceability Analysen. Dabei ergibt sich ein etwas differenzierteres Bild.

In diesem Vortrag zeigen wir auf, was der Stand der Technik ist, was praktisch noch nicht geht und was niemals gehen wird.

Zielpublikum: Tester, Entwickler, Testmanager
Vorraussetzungen: Grundkenntnisse Test Management sind von Vorteil
Schwierigkeitsgrad: Basic

Extended Abstract:
In Wissenschaft und Praxis herrscht Revolutionsstimmung. Sprachassistenten simulieren natürliche Gespräche, automatische Übersetzer gibt es mittlerweile in Googles Excel oder man schiebt gleich das ganze Word-Dokument in einen automatischen Übersetzer und bekommt den Text zurück als ob ein Dolmetscher involviert wäre. Dieser Eindruck drängt sich auf, aber vielleicht ist die Revolutionsstimmung auch nur eine Goldgräberstimmung.

In unserer täglichen Arbeit versuchen wir u.a. automatisch potentielle Sprachprobleme in Test aufzudecken - wie eine schlauere Rechtschreibprüfung. Wir arbeiten dabei bereits seit sechs Jahren mit Natural Language Processing (NLP) Techniken, insb. Lemmatization, Part-of-Speech Tagging, Syntax Parsing und Co-Reference-Resolution, und zuletzt stärker Topic Modelling. Weiterhin führen wir immer wieder Studien mit unterschiedlichen Machine-Learning-Ansätzen durch. Das Herausfordernde in unserem Kontext: Mit den Ergebnissen unserer Analysen werden Menschen zum Teil auch kritisiert und gemessen und Sprache wird allgemein als etwas sehr persönliches wahrgenommen. Dadurch kommen zwei Faktoren ins Zentrum der Bewertung: Hohe Präzision und Erklärbarkeit.

In diesem Vortrag möchte ich diese modernen Ansätze in der konkreten Anwendung aufzeigen und sowohl Chancen als auch die Probleme aus der Anwendung heraus diskutieren und reflektieren. Dabei wird auf Buzzwords garantiert verzichtet, stattdessen wollen wir uns anschauen, was die End-Nutzer dazu sagen. Wir schließen mit einer versöhnlichen Analyse wo und unter welchen Umstände aus unserer Erfahrung heraus, NLP und Machine Learning für Systemtests sinnvoll anwendbar ist und wo nicht.