Flaky Tests sind ein weit verbreitetes Problem in modernen Softwaresystemen. Tests schlagen scheinbar zufällig fehl, Pipelines werden instabil, und Teams versuchen, das Problem mit Retries, zusätzlichen Waits oder besseren Selektoren zu beheben — oft mit begrenztem Erfolg.

Dieser Vortrag verfolgt einen anderen Ansatz: Flaky Tests sind nicht zufällig - sie sind ein Symptom fehlender Struktur.
In vielen Fällen konzentriert sich Testautomatisierung auf die Ausführung von Interaktionen (Klicks, Eingaben), nicht jedoch auf das Modellieren des tatsächlichen Systemverhaltens. Dadurch wird die Validierung fragil, insbesondere in asynchronen und verteilten Systemen.

Um diesem Problem zu begegnen, betrachten wir Prinzipien aus dem ISTQB Test Automation Engineer (gTAA), wie z. B. Schichtenarchitektur, klare Schnittstellen, Trennung von Verantwortlichkeiten und kontrollierte Ausführung. Diese Prinzipien lassen sich nicht nur auf Testframeworks anwenden, sondern als allgemeine Architektur für Validierung verstehen.

Durch den Wechsel von skriptbasierter Automatisierung hin zu verhaltensorientiertem Modellieren mit Zuständen und Übergängen, sowie durch die Integration von Observability mittels Logging und Monitoring, kann sich Testautomatisierung zu einem stabileren und strukturierteren Validierungsansatz entwickeln.

Besonders relevant wird dies im Kontext von Software Defined Automation (SDA), in dem industrielle Systeme deterministische Steuerungen (z. B. PLCs) mit adaptiven, softwarebasierten Komponenten kombinieren. In solchen hybriden und verteilten Systemen muss Validierung bewusst gestaltet werden — nicht nur ausgeführt.