Testautomatisierung in natürlicher Sprache

Testautomatisierung in natürlicher Sprache ist automatisiertes Testen, bei dem der Test ein Satz ist und kein Skript. Sie schreiben, was passieren soll — „als Standardnutzer einloggen, einen Laptop in den Warenkorb legen und prüfen, ob sich die Summe inklusive Mehrwertsteuer aktualisiert“ — und das Werkzeug bestimmt, mit welchen Elementen es interagiert und ob das Ergebnis korrekt war.

Die Bedeutung liegt nicht darin, dass es Tipparbeit spart. Sie liegt darin, dass sich ändert, wer einen Test schreiben darf. Eine Suite aus Skripten können nur Menschen schreiben, die programmieren — in den meisten Organisationen eine kleine und stark ausgelastete Gruppe. Eine beschriebene Suite kann schreiben, wer weiß, was die Software tun soll.

Zwei Generationen, die oft verwechselt werden

Produkte in diesem Feld arbeiten auf eine von zwei ziemlich unterschiedlichen Arten, und dieser Unterschied wiegt schwerer als jeder Funktionsvergleich.

Strukturierte natürliche Sprache. Das Englisch, das Sie schreiben, stammt aus einem definierten Befehlsvokabular. Das Werkzeug zerlegt Ihren Satz in bekannte Aktionen und findet Elemente über Locators. testRigor und Testsigma arbeiten so.

Freie Beschreibung. Sie schreiben den Satz, wie Sie möchten, und ein KI-Agent interpretiert die Absicht zur Laufzeit und entscheidet selbst, wie er sie ausführt. Testmode und Functionize arbeiten so.

	Strukturierte Grammatik	Freie Beschreibung
Was Sie schreiben	Englisch aus einem dokumentierten Befehlssatz	Jeden beliebigen Satz
Lernaufwand	Ein Vokabular zu lernen	Keiner
Einheitlichkeit	Hoch — ein Test liest sich zweimal gleich	Hängt davon ab, wie Sie schreiben
Determinismus	Höher	Etwas geringer
Verhalten nach einem Redesign	Locators müssen ggf. angepasst werden	Die Absicht wird neu interpretiert
Mehrdeutigkeit	Beim Schreiben zurückgewiesen	Zur Laufzeit aufgelöst, manchmal falsch

Keines ist im Abstrakten besser. Strukturierte Grammatiken tauschen Flexibilität gegen Vorhersagbarkeit — der richtige Tausch für eine große, regulierte Suite. Freie Beschreibung tauscht etwas Vorhersagbarkeit gegen den Umstand, dass niemand etwas lernen muss — der richtige Tausch, wenn die Alternative ist, gar keine Tests zu haben.

Wie man eine Beschreibung schreibt, die funktioniert

Das ist der Teil, den Herstellerdokumentation gern überspringt, und hier liegt der Großteil der praktischen Schwierigkeit. Eine Suite in natürlicher Sprache ist nur so gut wie ihre Sätze.

Benennen Sie den Ausgangszustand. „Einen Artikel in den Warenkorb legen“ setzt eine eingeloggte Nutzerin, ein lieferbares Produkt und einen leeren Warenkorb voraus. Schreiben Sie es hin. Die überraschendsten Fehlschläge sind unausgesprochene Vorbedingungen.

Beschreiben Sie das Ergebnis, nicht die Mechanik. Schreiben Sie „die Bestellung erscheint in der Bestellhistorie“ statt „klicke auf die dritte Zeile der Tabelle“. Mechanik ist das, was bei einem Redesign bricht; Ergebnisse sind das, worauf es Ihnen ankommt.

Seien Sie genau, wo Genauigkeit zählt. Wenn die Summe 1.247,50 € betragen muss, schreiben Sie die Zahl hin. Eine Beschreibung lädt zur Annäherung ein, wenn Sie das nicht ausschließen.

Ein Ablauf pro Test. Ein Satz, der sechs Dinge beschreibt, scheitert als Ganzes und sagt Ihnen nichts darüber, welches der sechs kaputt war.

Schreiben Sie so, dass eine neue Kollegin es befolgen könnte. Das ist der verlässliche Test. Wenn ein kompetenter Mensch beim Lesen Ihres Satzes eine Rückfrage stellen müsste, hat die KI dasselbe Problem — sie wird nur nicht fragen.

Wo der Ansatz an Grenzen stößt

• Wirklich mehrdeutige Erwartungen. „Prüfe, ob die Seite richtig aussieht“ ist in keiner Methodik ein Test.
• Interaktion auf Pixelebene. Drag-and-drop, Zeichnen auf einem Canvas, Kartenbedienung und Spiele lassen sich leichter durch eine Aufzeichnung zeigen als beschreiben. Werkzeuge, die um Aufzeichnung herum gebaut sind, etwa Autify, kommen damit besser zurecht.
• Erschöpfende datengetriebene Fälle. Zweihundert Varianten einer Preisregel sind eine Schleife im Code, nicht zweihundert Sätze.
• Harte Prüfanforderungen. Wo Sie exakt nachweisen müssen, was ausgeführt wurde, ist der Determinismus von Code oder einer strukturierten Grammatik mehr wert als die Bequemlichkeit von Prosa. Siehe Testmode gegen Virtuoso QA.

Was es nicht abnimmt

Natürliche Sprache nimmt das Skripten ab. Sie nimmt das Nachdenken nicht ab, und Teams, die das erwarten, werden enttäuscht.

Sie müssen weiterhin entscheiden, welche Abläufe zählen, was korrektes Verhalten eigentlich ist, was bei einem Fehlschlag zu tun ist und wie oft die Suite laufen soll. Das sind Produkt- und Risikoentscheidungen. Geändert hat sich, dass diese Entscheidung zu treffen nicht mehr voraussetzt, sie in TypeScript ausdrücken zu können.

Werkzeuge, die so arbeiten

Strukturiert: testRigor, Testsigma, Virtuoso QA.

Frei: Testmode, Functionize.

Verwandt, aber nicht natürliche Sprache: Autify und Testim beginnen mit einer Aufzeichnung; Rainforest QA entwirft Schritte mit KI und lässt Sie sie visuell bearbeiten.

Das gesamte Feld, sortiert danach, was jedes Werkzeug von Ihnen braucht, bevor es helfen kann, finden Sie in der Übersicht der KI-Testwerkzeuge.