Was ist Testen mit KI?

Testen mit KI ist der Einsatz künstlicher Intelligenz, um Softwaretests zu erstellen, auszuführen und zu pflegen. In der heute häufigsten Form beschreiben Sie in normaler Sprache, was passieren soll — „einloggen, einen Laptop in den Warenkorb legen und prüfen, ob sich die Summe aktualisiert“ — und eine KI führt das in einem echten Browser aus und entscheidet dabei selbst, welche Elemente sie anklickt und wie ein korrektes Ergebnis aussieht.

Das ist die Kurzfassung. Der Begriff wird locker genug verwendet, dass es sich lohnt, genau zu sagen, was darunterfällt.

Zwei verschiedene Dinge heißen „Testen mit KI“

Der Ausdruck bedeutet zwei fast gegensätzliche Dinge, und Suchergebnisse werfen sie ständig durcheinander:

• KI einsetzen, um Software zu testen. Das Thema dieser Seite. KI schreibt, führt aus oder pflegt Tests gegen eine Anwendung.
• Software testen, die KI enthält. Eine andere Disziplin: Modellausgaben bewerten, auf Halluzination prüfen, die Qualität erzeugter Texte messen. Das heißt meist Evaluation oder Evals.

Sie teilen so gut wie kein Werkzeug. Wenn Sie wegen des Zweiten hier gelandet sind, werden die Werkzeuge unten Ihnen nicht helfen.

Was die KI tatsächlich tut

„KI-gestützt“ behauptet inzwischen fast jedes Testprodukt, und es umfasst mindestens fünf verschiedene Aufgaben. Zu wissen, welche ein Werkzeug wirklich erledigt, macht den größten Teil des Werts eines Vergleichs aus.

Verfassen. Eine Absicht in einen Test verwandeln. Das ist die größte Veränderung: Statt dass eine Entwicklerin ein Skript mit expliziten Selektoren schreibt, schreibt jemand einen Satz. Das ist der Grund, warum Menschen ohne Programmierkenntnisse überhaupt Tests erstellen können.

Abdeckung vorschlagen. Manche Werkzeuge sehen sich eine Anwendung an und schlagen vor, was zu testen sich lohnt. Nützlich, wenn Sie bei null anfangen und nicht wissen, wo Sie beginnen sollen.

Elemente finden. Klassische Automatisierung adressiert ein Element über einen Selektor — einen CSS-Pfad oder eine ID —, der bricht, wenn sich das Markup ändert. KI-Ansätze erkennen Elemente daran, was sie sind: die Schaltfläche, die das Formular abschickt, das Feld mit der Beschriftung „E-Mail“.

Pflege und Selbstheilung. Wenn sich die Oberfläche ändert, muss etwas den Test aktualisieren. Selbstheilung repariert einen kaputten Locator automatisch. Werkzeuge, die von einer Beschreibung ausgehen, haben weniger zu reparieren, weil die Beschreibung nie an das Markup gebunden war.

Triage. Einen Fehlschlag lesen und sagen, was ihn vermutlich verursacht hat, statt Ihnen einen Stacktrace und einen Screenshot hinzulegen.

Wie es sich von klassischer Testautomatisierung unterscheidet

Klassische Automatisierung verschwindet nicht, und sie ist nicht unterlegen. Sie ist ein anderer Tausch.

	Codebasierte Automatisierung	Testen mit KI
Ein Test ist	Ein Skript in einer Programmiersprache	Ein beschriebenes Ergebnis
Geschrieben von	Entwicklerinnen und Entwicklern	Allen, die den Ablauf kennen
Gebunden an	Die Struktur der Seite — Selektoren, DOM-Pfade	Die Absicht des Ablaufs
Wenn sich die Oberfläche ändert	Ein Mensch aktualisiert die Selektoren	Die KI interpretiert die Beschreibung neu
Wenn er fehlschlägt	Vollständig einsehbar, vollständig deterministisch	Braucht eine Laufhistorie zum Verstehen
Kontrolle	Vollständig	Abgegeben

Die ehrliche Zusammenfassung dieser Tabelle: Code gibt Ihnen Determinismus und verlangt Entwicklungszeit. KI gibt Ihnen Tempo und Zugang und bittet Sie hinzunehmen, dass etwas anderes entscheidet, wie Ihre Absicht ausgeführt wird.

Eine konkrete Fassung dieses Tauschs finden Sie unter Testmode gegen Playwright — Playwright ist das stärkste Beispiel des codebasierten Ansatzes.

Wo Testen mit KI gut funktioniert

• Regressionstests stabiler Geschäftsabläufe. Kaufabschluss, Registrierung, Suche, Berechtigungen. Hoher Wert, mühsam von Hand zu prüfen, leicht zu beschreiben.
• Anwendungen, die niemand im Team vollständig erklären kann. Software, die von KI-Programmierwerkzeugen erzeugt, auf einer Low-Code-Plattform zusammengesetzt oder von einem externen Lieferanten geliefert wurde. Sie können keine Unit-Tests für eine Codebasis schreiben, die Sie nicht verstehen — aber Sie können weiterhin beschreiben, was sie tun soll.
• Oberflächen, die sich ständig ändern. Eine Beschreibung überlebt ein Redesign, das jeden Selektor in einer geskripteten Suite brechen würde.
• Teams ohne QA-Funktion. Das ist die größte praktische Verschiebung. Wo die Alternative darin besteht, dass eine Person sich vor jedem Release durch die Seite klickt — oder dass niemand etwas prüft —, ist der Vergleich nicht der mit einem besseren Werkzeug.

Wo es weiterhin scheitert

Das gehört klar gesagt, weil Anbieter es selten tun:

• Mehrdeutige Erwartungen. „Prüfe, ob die Seite richtig aussieht“ ist kein Test. Wenn zwei Menschen Ihren Satz unterschiedlich lesen würden, tut die KI es auch.
• Interaktion auf Pixel- und Canvas-Ebene. Drag-and-drop, Zeichenwerkzeuge, Kartenbedienung und Spiele sind meist leichter per Aufzeichnung zu zeigen als zu beschreiben.
• Alles, was eine exakte Zusicherung braucht. Wenn die Anforderung lautet, dass ein Wert genau 1.247,50 beträgt, schreiben Sie es hin. Beschreibungen laden zur Annäherung ein.
• Nichtdeterminismus. Eine KI, die entscheidet, wie sie einen Schritt ausführt, kann sich gelegentlich anders entscheiden. Codebasierte Werkzeuge sind besser wiederholbar, und genau deshalb bevorzugen regulierte Umgebungen sie weiterhin.
• Prüfanforderungen. Wenn Sie exakt nachweisen müssen, was gelaufen ist, bringen Werkzeuge, die dafür gebaut sind — siehe Testmode gegen Virtuoso QA — Maschinerie mit, die Allzweckwerkzeuge nicht haben.

Einen Ansatz wählen

Drei Fragen klären den größten Teil.

Wer wird die Tests schreiben? Lautet die Antwort Entwicklerinnen und Entwickler, sind codebasierte Frameworks kostenlos, ausgezeichnet und vollständig unter Ihrer Kontrolle. Ist es ein Product Owner, eine Betriebsleiterin oder eine Gründerin, dann ist das Verfassen in normaler Sprache keine Bequemlichkeit — es ist der Unterschied zwischen Tests haben und keine haben.

Was braucht das Werkzeug, bevor es Ihnen helfen kann? Manche brauchen eine Codebasis und eine Pipeline. Manche brauchen eine QA-Praxis, die sie betreut. Manche brauchen nur eine laufende Anwendung und eine URL. Diese Beschränkung entscheidet mehr als jede Funktionsliste darüber, was für Ihr Team realistisch ist.

Was passiert in sechs Monaten? Jede Testsuite ist eine Pflegeverpflichtung. Fragen Sie, was bricht, wenn die Oberfläche neu gestaltet wird, und wer es repariert.

Zu den Werkzeugen selbst, sortiert danach, was jedes von Ihnen braucht, siehe die aktuelle Übersicht der KI-Testwerkzeuge.