Die Testdurchführung kann mit gängigen Tools automatisiert werden, der Testentwurf mit modellbasiertem Testen (MBT) ebenfalls. Für die Testanalyse bietet sich heute die künstliche Intelligenz (KI) an. Die Frage stellt sich, wie man mit einer passenden Kombination dieser drei Technologien das dynamische Testen vom Anfang zum Ende automatisieren kann.

Der Autor berichtet über seine Erfahrungen in einem Fallbeispiel. Er erläutert wie er seine Testziele mit diesem Ansatz und einem Satz an konkreten Werkzeugen in seinem Testprojekt angewendet hat. Dabei stehen die Effizienz der Arbeit und die Effektivität der Fehlerfindung im Vordergrund.

Zielgruppe: Tester*innen, Entwickler*innen, Testmanager*innen, Projektleiter*innen, Entscheider
Voraussetzung: Basiswissen in Softwaretest und Testautomatisierung
Level: Advanced

Extended Abstract:

Klassische Werkzeuge zur Testautomatisierung automatisieren nur die Testdurchführung. Zur Automatisierung des vorangehenden Testentwurfs bietet sich das modellbasierte Testen (MBT) an, bei dem der Testanalyst Testmodelle entwickelt, und ein MBT-Werkzeug aus dem Modell die Testfälle generiert. Obwohl inzwischen eine reife Technologie, hat sich MBT in der IT-Industrie sehr wenig durchgesetzt, und wird nur in einzelnen Nischen regelmäßig praktiziert. Ein Hauptgrund ist der hohe Aufwand für die manuelle Erstellung und Wartung der Testmodelle. Dazu müssen Testanalysten nicht nur die Testverfahren sehr gut beherrschen, sondern auch die Grafikeditoren der Modellierung.

Der Bedarf an hochgradiger Automatisierung des Testens steigt jedoch weiter an, durch immer komplexere Softwaresysteme, immer häufigere Integration und Einsätze (continuous integration and deployment, CI/CD) und die Verbreitung von DevOps. 

Dadurch motiviert wird heute oft die Frage gestellt, ob generative künstliche Intelligenz (KI) in der Lage ist, die Erstellung eines Testmodells dem Tester abzunehmen und vielleicht auch die Testanalyse - die kreativste Tätigkeit beim dynamischen Testen - mit dazu. Das Ziel ist, den Prozess des dynamischen Testens mithilfe von KI und den vorhandenen Werkzeugen möglichst vollständig, von der Testbasis bis hin zum Testergebnis automatisiert durchzuführen, und zwar so, dass die gesetzten Testziele erreicht werden. Setzt man aber heute gängige generative KI-Systeme ohne besonderes Training vor diese Aufgabe, dann werden sie bestenfalls anforderungsbasiert testen, was für die meisten Testziele nicht ausreicht. Anforderungsbasierte Tests können nur einfache Fehler erkennen und das Vertrauen in die Qualität des Testobjekts meist nur ungenügend begründen.

Der Autor berichtet über eine Methode, in der ein generatives KI-System trainiert wird, anspruchsvolle und effektive Testverfahren auf natürlichsprachliche Anforderungsspezifikationen anzuwenden und daraus leicht verständliche Testmodelle zu entwerfen. Die gewählten Testverfahren sind ein datenbasiertes Verfahren, der Wertebereichstest, und ein verhaltensbasiertes Verfahren, der Aktions-Zustandstest. Fallstudien haben die Effektivität der Fehlerfindung dieser Verfahren in der Fachliteratur belegt.

Der Autor berichtet über die konkrete Anwendung dieser Methode in seinem Projekt. Testobjekt ist die ISTQB Glossary App, eine webbasierte Dialoganwendung. Das grundlegende Testziel ist, das Image des ISTQB durch die Qualität seiner Glossary App zu wahren. Daraus folgt ein hoher Bedarf an Vertrauen in die funktionale Eignung und der Wunsch, alle schweren funktionalen Fehler vor dem Produktiveinsatz zu finden. Die einzelnen Funktionalitäten und Features sind in natürlichsprachlichem Text erfasst und werden der KI bereitgestellt.

Die in den gewählten Testverfahren entsprechend trainierte KI (Claude Sonnet 4.5) generiert daraus ein Modell abstrakter Testfälle. Das generierte Modell nutzt Schlüsselworte auf domänenebene und für Tester leicht verständliche Modellelemente. Aus dem Modell generiert das genutzte MBT-Werkzeug (Harmony) im Flug abstrakte Testfälle, die manuell ausführbar sind.

In einer zweiten Phase, wenn das Testobjekt in der Testumgebung bereitgestellt ist, werden die abstrakten und schlüsselwortbasierten Testfälle vom MBT-Werkzeug Schritt für Schritt implementiert. Bei jedem neuen Schritt werden die Benutzeraktionen und Ergebnisprüfungen vom Tester am Testobjekt ausgeführt. Das MBT-Werkzeug registriert dabei die Testdaten, generiert für das Testautomatisierungswerkzeug (Playwright) Schlüsselworte auf GUI-Ebene, und lässt die konkreten Testfälle von diesem automatisch ausführen. Bereits automatisierte Schritte werden vom Testautomatisierungswerkzeug sofort ausgeführt. 

Der Autor führt diese Aktivitäten am konkreten Beispiel vor und zeigt, wie er mithilfe der generativen KI von A wie Anforderung bis Z wie Testergebnis vorgeht. Er bewertet die Erreichung der Testziele mithilfe der KI im Fallbeispiel und gibt seine Einschätzung der Erfolgsfaktoren.