Ein grüner Test ist noch kein guter Test. Wir erzählen, wie Hermes unsere Plattform prüft, wo er an der Nutzerperspektive vorbeiging und was wir beim Aufbau unseres Testprozesses gelernt haben.
Wenn eine Plattform wächst, wird auch das Testen anspruchsvoller. Eine neue Funktion mag für sich genommen funktionieren. Ob sie an anderer Stelle etwas verändert, zeigt sich oft erst später. Bei vision release wollten wir deshalb nicht nur neue Funktionen einzeln prüfen, sondern regelmäßig auf die gesamte Plattform schauen. Dafür haben wir Hermes als Tester in unseren Entwicklungsprozess eingebunden. Playwright bildet die technische Grundlage, Hermes schreibt und erweitert Tests und führt sie selbstständig aus.
Schnelle Reflexion auf Änderungen an der Plattform
Der erste spürbare Vorteil war die Geschwindigkeit. Wir können einen vollständigen Testlauf anstoßen und bekommen zeitnah Rückmeldung zum aktuellen Stand, sowohl in der Testumgebung als auch nach einem Rollout. Dabei werden auch Bereiche sichtbar, die bei einer konkreten Änderung gar nicht im Fokus standen. Gerade dort können Seiteneffekte auftreten.
Hermes ist für uns eine zusätzliche Absicherung im laufenden Betrieb. Er nimmt uns wiederkehrende Prüfungen ab und macht Auffälligkeiten schneller sichtbar. Die Ergebnisse einzuordnen und über eine Abnahme zu entscheiden, bleibt unsere Aufgabe. Weil sich das Verhalten der Plattform laufend ändert, entwickeln wir auch die Tests Schritt für Schritt weiter.
Grüner Test heißt nicht korrekter Test
Anfangs schrieb Hermes Tests, die für unsere Zwecke kaum relevant waren. Ein erfolgreicher Testlauf konnte gut aussehen und trotzdem die falsche Frage beantworten. Das haben wir an einem konkreten Fall gemerkt: Hermes rief einen Endpunkt direkt auf, statt die Funktion über die Benutzeroberfläche zu bedienen. Technisch ließ sich so eine Reaktion prüfen. Ob ein Nutzer die Funktion auf der Plattform tatsächlich verwenden konnte, sagte uns dieser Test nicht.
Der Unterschied fiel nicht sofort auf. Wir mussten die Abläufe mehrmals durchgehen, Anforderungen genauer beschreiben und Hermes' Tests entsprechend nachschärfen. Mit der Zeit bekam er auch zusätzliche Möglichkeiten, die Testaufgaben besser zu verstehen und auszuführen. Seitdem schauen wir bei einem grünen Ergebnis genauer hin: Welchen Weg hat Hermes genommen und entspricht dieser Weg dem tatsächlichen Nutzerverhalten?
Eigenständigkeit braucht Grenzen
Hermes erkennt inzwischen manche Probleme selbst. Dabei haben wir eine zweite wichtige Erfahrung gemacht: Er versucht oft, eigenständig Lösungen zu finden. Für einen Tester ist das nicht immer hilfreich. Wenn er einen anderen Weg sucht, um eine Aufgabe doch noch erfolgreich abzuschließen, kann genau das den Fehler verdecken, den wir sehen müssten.
Deshalb mussten wir klar beschreiben, welche Aufgaben Hermes selbstständig übernehmen soll und wann er uns ein Problem oder Hindernis zurückmeldet. Diese Grenzen sind Teil der Testqualität. Wir brauchen eine nachvollziehbare Beobachtung des Produktverhaltens, damit wir selbst über die nächsten Schritte entscheiden können.
Dialog durch das Board führt zu direkter Abnahme
Hermes ließ sich bereits über verschiedene Gateways ansprechen. Für unseren Entwicklungsalltag war dieser Weg jedoch zu umständlich. Der entscheidende Schritt war, ihn als Nutzer in ClickUp einzurichten. Dort findet er unsere Themen und Anforderungen im Board. Er kann sie direkt in seinen Testprozess aufnehmen.
Aus einer Aufgabe im Board wird so ein konkreter Prüfauftrag: Hermes schaut sich die Anforderung an, schreibt einen neuen Test oder passt einen bestehenden an, führt ihn aus und gibt uns Rückmeldung. Wenn er an eine Grenze stößt oder etwas unklar ist, kann er nachfragen. Wir reagieren auf seine Beobachtungen, er reagiert auf Änderungen an der Plattform. Dieser Dialog gibt uns schneller eine Grundlage, um einen neuen Stand zu prüfen und abzunehmen.
Hermes soll wie ein Mensch testen, nicht wie eine Automatisierung
Je mehr Testaufgaben wir Hermes übergeben, desto wichtiger wird die Nutzerperspektive. Ein Mensch klickt sich durch die Oberfläche, nutzt Buttons und Eingabefelder und sieht nur das, was die Plattform tatsächlich anzeigt. Ein Test, der versteckte Felder direkt befüllt oder Daten an einen Endpunkt sendet, obwohl die Maske das nicht zulässt, bildet diese Erfahrung nicht ab.
Genau deshalb reicht es uns nicht, Hermes eine technische Funktion zu nennen. Wir beschreiben, wie ein Nutzer sein Ziel auf der Plattform erreicht. Hermes soll diesen Weg gehen und uns sagen, wo er funktioniert und wo er scheitert. Das macht seine automatisierten Tests für unsere Produktentwicklung brauchbar.
Hermes als Tester für euer Produkt
Unsere Erfahrungen mit Hermes sind trotz der nötigen Iterationen positiv. Wir können Nutzertests automatisiert ausführen, die Testabdeckung schrittweise ausbauen und schneller auf Änderungen reagieren. Den größten Nutzen bringt uns dabei das Zusammenspiel aus klaren Anforderungen, einem direkten Dialog und Tests, die sich am wirklichen Nutzerweg orientieren.
