Die Auswahl von Testfällen aus einer Menge vorhandener Tests erfolgt in aller Regel anhand der Erfahrungen der Test-Manager oder Tester. Wir haben untersucht, inwiefern dabei Methoden der Künstlichen Intelligenz Unterstützung bringen. Welche Metriken können hier zum Einsatz kommen? Ist ein Neuronales Netz oder doch ein Entscheidungsbaum der effektivere Algorithmus? Und lässt es sich mit wenigen Zeilen Code in eine bestehende Testautomatisierung einbauen?

Zielpublikum: Tester, Testautomatisierer, Testmanager, Projektleiter
Voraussetzungen: Grundlagen SW-Test und Testautomatisierung, Grundlegende Java-Kenntnisse von Vorteil, aber nicht zwingend
Schwierigkeitsgrad: Advanced

Extended Abstract:
Eine Glaskugel, ob ein Test bei der Ausführung in Zukunft PASSED oder FAILED liefern wird, können wir leider nicht anbieten. Einen Algorithmus, der anhand von Daten früherer Testausführungen eine Wahrscheinlichkeit berechnet, ob ein Tests FAILED sein wird, hingegen schon. Im Rahmen des Vortrags werden wir diesen Ansatz vorstellen, verschiedene Metriken diskutieren (Letzte Ergebnisse, Ähnlichkeit von Testnamen, ...) und einen Vergleich verschiedener Machine-Learning-Methoden durchführen (kNN, DNN, SVM, Hoeffting-Tree). Die dabei entstandene Bibliothek 'CurrantRunner' ist auf GitHub als OpenSource verfügbar , demonstriert das Vorgehen am Beispiel von TestNG + JaCoCo + Maven und ist im entsprechenden Kontext sofort einsetzbar.

Je älter und größer Softwaresysteme sind, desto wichtiger ist eine verlässliche, automatisierte Testsuite. Da die Suite (und deren Ausführungsdauer) jedoch mit wächst, kommt ihr Feedback immer später, was das Lokalisieren von Fehlern erschwert. Eine wirksame Lösung ist, eine Teilmenge der Tests häufiger auszuführen. Zur Auswahl einer solchen Teilmenge haben wir Pareto-Testing und die Test-Impact-Analyse entwickelt. Im Vortrag stellen wir beide Ansätze vor und berichten vom Einsatz bei der Bayerischen Versorgungskammer, wo wir sie auf der großen automatisierten Testsuite eines komplexen Softwaresystems angewendet und verglichen haben.

Zielpublikum: Tester, Testmanager, Projektleiter
Voraussetzungen: Basiswissen über automatisiertest Testen.
Schwierigkeitsgrad: Advanced

Extended Abstract:
Je älter und größer ein Softwaresystem ist, desto wichtiger ist eine verlässliche, automatisierte Testsuite. Insbesondere, wenn viele Änderungen umgesetzt und kurze Release-Zyklen angestrebt werden. Mit der Größe des Systems wächst jedoch die Testsuite, und damit steigt auch deren Ausführungsdauer. Wir sehen bei unseren Kunden immer öfter Testsuites, die mehrere Stunden oder sogar Tage laufen. Langlaufende Testsuites werden aber meist seltener ausgeführt als schnelle, z.B. wöchentlich statt täglich. Dadurch müssen Entwickler länger auf Feedback warten, was es ihnen erschwert, die Ursache für fehlschlagende Tests zu lokalisieren. Ironischerweise mindert das den Wert der Testsuites gerade für die Systeme, für die sie besonders wichtig sind.

Ein wirksamer Lösungsansatz ist, eine Teilmenge mit viel kürzerer Laufzeit häufiger auszuführen, z.B. stündlich. Wenn diese Teilmenge gut gewählt ist, findet sie einen Großteil der Fehler in sehr kurzer Zeit, und die gesamte Testsuite kann weiterhin wöchentlich ausgeführt werden, um den Rest der Fehler zu finden. Damit erreichen wir, trotz langsamer Testsuite, sehr schnelles Feedback für die meisten Fehler.

Dieser Ansatz steht und fällt natürlich mit der Auswahl der Teilmenge an Tests, die häufig ausgeführt werden. Hierfür haben wir in den letzten Jahren zwei unterschiedliche Ansätze entwickelt: Pareto-Testing und Test-Impact-Analyse. Im Vortrag stellen wir erst die Grundideen und Forschungsergebnisse vor und dann die Erfahrungen, die wir bei der Bayerischen Versorgungskammer damit gesammelt haben, als wir beide Ansätze auf der großen automatisierten Testsuite eines komplexen Softwaresystems angewendet und verglichen haben.

Seit Jahren spricht die Community über Automatisierung. Aber wie bringt man in der Praxis in kurzer Zeit Automatisierung ans Laufen? Wir zeigen Beispiele für erfolgreiche Automatisierung in Projekten der Deutschen Bundesbank. Die Projektteams haben einen modernen Open-Source Stack für Testautomatisierung mit BDD sowie Automatisierung im Bereich Infrastruktur aufgebaut. Stakeholder sind nun in der Lage auf Knopfdruck aus JIRA heraus komplette Testumgebungen zu erstellen, dort ihre Tests automatisiert auszuführen und Analysen der Ergebnisse zu bekommen. Du lernst hier wie ein solches Projekt aufgesetzt und die Lösung skaliert werden kann.

Zielpublikum: alle, die Kontakt zu Test haben
Voraussetzungen: keine
Schwierigkeitsgrad: Basic

Extended Abstract:
Seit Jahren sprechen wir in der Community über Automatisierung jeglicher Art wie bspw. Testautomatisierung oder Infrastruktur. Viele Ansätze aus Agile Testing, DevOps, etc. sind den meisten theoretisch bekannt. Aber wie sieht es in der Praxis aus? Wie schafft man es in kurzer Zeit die Methodik + Tools + Skills wirklich 'ans Laufen' zu bringen?In diesem Vortrag zeigen wir mehrere Beispiele für erfolgreiche Automatisierung in Projekten der Deutschen Bundesbank. Es handelt sich um Projekte von 10 bis >100 Personen. Diese Teams haben es geschafft einen modernen Open-Source Stack für Testautomatisierung mit BDD sowie komplette Automatisierung im Bereich Infrastruktur (Docker, Kubernetes, Rancher, Jenkins, etc.) aufzubauen und miteinander zu verheiraten. Jegliche Stakeholder in Projekten sind jetzt in der Lage 'auf Knopfdruck' innerhalb von wenigen Minuten komplette Umgebungen (komplexe Host-Systeme inkl. sämtlicher Einschränkungen eines Banking-Systems) zu erstellen, dort ihre Tests automatisiert auszuführen und Analysen der Testergebnisse automatisiert zu bekommen. Das ganze zentral aus JIRA heraus und im Umfeld komplexer Tests für den Zahlungsverkehr. So geht Testautomatisierung in der Bankwelt heute! Als Zuhörer:in lernst Du wie ein solches Projekt aufgesetzt werden kann, welche Stolpersteine wir dabei lösen mussten und wie eine solche Lösung skaliert werden kann. Das ganze sehr praxisnah an realen Beispielen aus Großprojekten mit einer guten Dosis Spaß an der Arbeit :)