Es stellen sich grundlegende Fragen zum Testvorgehen von neuronalen Netzen. Gängige Testmethoden mit Ausrichtung auf Blackbox oder Whitebox stoßen bei komplexen neuronalen Netzen auf Komplikationen, da sie ein festes quantifizierbares Ergebnis voraussetzen.

Whitebox-Tests gestalten sich herausfordernd, da die Komplexität der Vorgänge innerhalb der Netze in einer Vielzahl von komplexen Anwendungsfällen  schwer nachvollzogen werden kann. Die Kategorie der Blackbox-Tests scheitert bei bestimmten Ausprägungen von komplexen neuronalen Netzen, da das zu erwartende Ergebnis im Vorfeld nicht in jedem Fall eindeutig quantifiziert werden kann.

Zielpublikum: Tester, Entwickler, Testmanager
Vorraussetzungen: Grundlegende Testerfahrungen, Whitebox-Test, Blackbox-Test, Neuronale Netze,
Schwierigkeitsgrad: Advanced

Extended Abstract:
Im Zuge der voranschreitenden Digitalisierung der Unternehmen werden verstärkt  neuronale Netze als künstliche Intelligenz (KI) für unterschiedlichste Problemstellungen eingesetzt. Diese Netze ermöglichen es, durch ihre Vorgehensweise bei komplexen Problemen und großen Datenmengen, neue Blickwinkel zu ergründen und schneller auf Veränderungen zu reagieren . Zeitgleich stehen Unternehmen und Mitarbeiter vor neuen Herausforderungen.

Den Anforderungen an die Qualität und der Dokumentation für neuronale Netze ist teilweise nur bedingt nachzukommen. In den neuronalen Netzen lässt sich schwer nachvollziehen, warum eine Entscheidung getroffen wurde, um zum erreichten Ergebnis zu kommen. Durch diese Hürden fehlt es an Transparenz für eine angemessene Qualitätssicherung.  Bestimmte Implementierungsarten von neuronalen Netzen sind nicht-deterministisch, was den Sachverhalt der Nachvollziehbarkeit zusätzlich verschärft.   In der Entwicklung wird die Fehlersuche erschwert, da die Wiederholung eines Vorgangs mit gleichen Eingabebedingungen zu unterschiedlichen Ergebnissen führen kann. Die Fehlererkennung und Behebung stellen daher eine Herausforderung dar.

Neuronale Netze gibt es in verschiedensten Ausprägungen. Die Struktur/Topologien unterscheiden sich grob in sequenziell und rekurrente Netze mit unterschiedlicher Tiefe. Die Art des Lernens ist untergliedert in überwachtes, unüberwachtes und bestärktes Lernen. Jede Kombination von Struktur und Lernart bringt eigene technische und organisatorische Herausforderungen mit sich.

Es stellen sich grundlegende Fragen zum Testvorgehen von neuronalen Netzen. Gängige Testmethoden mit Ausrichtung auf Blackbox oder Whitebox stoßen bei komplexen neuronalen Netzen auf Komplikationen, da sie ein festes quantifizierbares Ergebnis voraussetzen.  Whitebox-Tests gestalten sich herausfordernd, da die Komplexität der Vorgänge innerhalb der Netze in einer Vielzahl von komplexen Anwendungsfällen  schwer nachvollzogen werden kann. Die Kategorie der Blackbox-Tests scheitert bei bestimmten Ausprägungen von komplexen neuronalen Netzen, da das zu erwartende Ergebnis im Vorfeld nicht in jedem Fall eindeutig quantifiziert werden kann. In klassischen Anwendungen von neuronalen Netzen lassen sich die Ergebnisse quantifizieren. Es entstehen zunehmend Anwendungen, bei denen dies nicht mehr der Fall ist, wie der 'Neural Style Transfer'.

In dem Vortrag 'Qualitätssicherung von Künstlicher Intelligenz - Testen in neuronalen Netzen' werden die Handlungsfelder und Herausforderungen benannt sowie analysiert. Nach einer Einführung in die Thematik der neuronalen Netze und des Anwendungsfalls 'Neural Style Transfer', werden die verschiedenen technischen Rahmenbedingungen an die Qualitätssicherung vorgestellt. Bestehende Lösungsansätze werden skizziert und erläutert. Der Vortag endet mit einem Fazit der bisher verfolgten Lösungsmethoden und gibt einen Ausblick auf mögliche zukünftige Entwicklungen.

Steigende Komplexität von Systemen bedingt, dass immer mehr Tests notwendig sind. Entwickler erstellen meist zu wenige Tests. In guten Fällen werden ca. 30% der Entwicklerzeit für die Unittesterstellung verwendet.

Wir entwickeln im Rahmen eines Forschungsprojekts eine KI-gestützte Lösung zur Testautomatisierung unter dem Motto 'Wir automatisieren die Testautomatisierer!'

Durch diesen Testcode Generator werden ca. 75% der in der Softwareentwicklung notwendigen Testprogrammierarbeiten automatisch mit Hilfe von Artificial Intelligence durchgeführt.

Zielpublikum: Entwickler, Architekten, Testautomatisierer, Entwicklungsleiter, Testverantwortliche
Vorraussetzungen: Gute Kenntnisse in Testen und Unit-Tests
Schwierigkeitsgrad: Expert

Extended Abstract:
Die Verantwortung für Unternehmen, höhere Qualitätsstandards in Softwareentwicklungen zu bringen, wächst ständig und die zunehmende Komplexität von Systemen führt dazu, dass immer mehr Tests notwendig sind. Systeme nach dem Stand der Technik abzusichern und Haftung gegenüber Auftraggebern im Falle von Fehlern zu reduzieren, erweitert die Problemstellung.

Deswegen wächst weltweit die Nachfrage nach der Entwicklung von Technologien und Lösungen zur Verbesserung von Software-Tests.

Entwickler sind 'Mangelware' und werden von Unternehmen händeringend gesucht. Naturgemäß sinkt die Produktivität - und die Motivation- dieser teuren Ressourcen durch zeitraubende Testaufgaben. Entwickler erstellen jedoch fast immer zu wenige Tests. In guten Fällen werden ca. 30% der Entwicklerzeit für die Testerstellung aufgewendet.

Es gibt viele Test-Tools am Markt aber praktisch keine Lösungen, welche basierend auf künstlicher Intelligenz die Entwickler dabei unterstützen, schnell und sinnvoll Software zu testen.

Auf Basis eines Vorprojekts wurde gemeinsam mit der technischen Universität Wien ein Konzept erstellt und prototypisch umgesetzt. Zur weiteren Umsetzung und Fokussierung auf dieses Thema wurde 2019 eine eigene Firma Automated Software Testing GmbH als Startup gegründet. Nun fokussiert sich die Firma in einem Forschungsprojekt ganz auf das Thema Artificial Intelligence in der Testautomatisierung.

Im Vortrag werden die Ideen und Konzepte zur Entwicklung einer KI-gestützten Lösung zur Testautomatisierung dargestellt. Durch diesen Testcode Generator sollen ca. 75% der bei der Unittest Erstellung für den Entwickler notwendigen Testerstellungs- und Programmierarbeiten automatisch mit Unterstützung von Artificial Intelligence bzw. Machine Learning durchgeführt werden.

Zentrale Entwicklungsinhalte sind:
- Automatisiert Testmodelle aus Software-Code generieren
- Testbarkeit feststellen und optimieren
- Automatische Absicherung des Codes
- Wartbarkeit des Codes optimieren
- Lesbarkeit des Codes optimieren
- Automatische Testdatenermittlung
- Effizientes Testdatenset automatisch finden
- Automatisiertes Kapseln von Codeteilen