Wat is testen met AI?

Testen met AI is het gebruik van kunstmatige intelligentie om softwaretests te maken, uit te voeren en te onderhouden. In de meest voorkomende vorm van vandaag beschrijf je in gewone taal wat er zou moeten gebeuren — ‘log in, leg een laptop in het mandje en controleer of het totaal wordt bijgewerkt’ — en voert een AI dat uit in een echte browser, waarbij hij zelf bepaalt op welke elementen hij klikt en hoe een juist resultaat eruitziet.

Dat is de korte versie. De term wordt losjes genoeg gebruikt dat het de moeite waard is precies te zijn over wat eronder valt.

Twee verschillende dingen heten ‘testen met AI’

De uitdrukking betekent twee bijna tegengestelde dingen, en zoekresultaten halen ze voortdurend door elkaar:

• AI gebruiken om software te testen. Het onderwerp van deze pagina. AI schrijft, draait of onderhoudt tests tegen een applicatie.
• Software testen die AI bevat. Een ander vakgebied: modeluitvoer beoordelen, controleren op hallucinatie, de kwaliteit van gegenereerde tekst meten. Dit heet meestal evaluatie of evals.

Ze delen vrijwel geen gereedschap. Als je hier bent beland voor het tweede, gaan de tools hieronder je niet helpen.

Wat de AI werkelijk doet

‘AI-gedreven’ wordt inmiddels door bijna elk testproduct geclaimd, en het dekt minstens vijf afzonderlijke taken. Weten welke een tool werkelijk doet, is het grootste deel van wat een vergelijking waard is.

Schrijven. Een bedoeling omzetten in een test. Dit is de grootste verandering: in plaats van dat een ontwikkelaar een script met expliciete selectors schrijft, schrijft iemand een zin. Het is de reden dat mensen zonder programmeerachtergrond nu überhaupt tests kunnen maken.

Dekking voorstellen. Sommige tools bekijken een applicatie en stellen voor wat het testen waard is. Nuttig wanneer je vanaf nul begint en niet weet waar te starten.

Elementen vinden. Traditionele automatisering richt zich op een element via een selector — een CSS-pad of een ID — die breekt wanneer de markup verandert. AI-benaderingen herkennen elementen aan wat ze zijn: de knop die het formulier verstuurt, het veld met het label ‘e-mail’.

Onderhoud en zelfherstel. Wanneer de interface verandert, moet iets de test bijwerken. Zelfherstel repareert automatisch een kapotte locator. Tools die vanuit een beschrijving werken hebben minder te repareren, omdat de beschrijving nooit aan de markup vastzat.

Triage. Een storing lezen en zeggen wat die waarschijnlijk veroorzaakte, in plaats van je een stacktrace en een schermafbeelding te overhandigen.

Hoe het verschilt van traditionele testautomatisering

Traditionele automatisering verdwijnt niet, en ze is niet minderwaardig. Het is een andere afweging.

	Codegebaseerde automatisering	Testen met AI
Een test is	Een script in een programmeertaal	Een beschreven uitkomst
Geschreven door	Ontwikkelaars	Iedereen die de workflow kent
Gebonden aan	De structuur van de pagina — selectors, DOM-paden	De bedoeling van de flow
Als de UI verandert	Een mens werkt de selectors bij	De AI interpreteert de beschrijving opnieuw
Als het faalt	Volledig inspecteerbaar, volledig deterministisch	Vraagt om een runhistorie om te begrijpen
Controle	Volledig	Gedelegeerd

De eerlijke samenvatting van die tabel: code geeft je determinisme en vraagt ontwikkeltijd. AI geeft je snelheid en toegang, en vraagt je te aanvaarden dat iets anders bepaalt hoe je bedoeling wordt uitgevoerd.

Voor een concrete versie van deze afweging, zie Testmode versus Playwright — Playwright is het sterkste voorbeeld van de codegebaseerde aanpak.

Waar testen met AI goed werkt

• Regressietesten van stabiele bedrijfsflows. Afrekenen, aanmelden, zoeken, rechten. Veel waarde, saai om handmatig te controleren, makkelijk te beschrijven.
• Applicaties die niemand in het team volledig kan uitleggen. Software gegenereerd door AI-programmeertools, in elkaar gezet op een low-code-platform of opgeleverd door een externe leverancier. Je kunt geen unittests schrijven voor een codebase die je niet begrijpt, maar je kunt nog steeds beschrijven wat hij hoort te doen.
• Interfaces die voortdurend veranderen. Een beschrijving overleeft een herontwerp dat elke selector in een gescripte suite zou breken.
• Teams zonder QA-functie. Dit is de grootste praktische verschuiving. Waar het alternatief is dat iemand voor elke release door de site klikt — of dat niemand iets controleert — is de vergelijking niet met een beter gereedschap.

Waar het nog steeds faalt

Het is de moeite waard dit ronduit te zeggen, omdat leveranciers dat zelden doen:

• Dubbelzinnige verwachtingen. ‘Controleer of de pagina er goed uitziet’ is geen test. Als twee mensen jouw zin verschillend zouden lezen, doet de AI dat ook.
• Interactie op pixelniveau en met canvas. Slepen en neerzetten, tekengereedschap, kaartinteractie en games zijn doorgaans makkelijker voor te doen met een opname dan te beschrijven.
• Alles wat een exacte bewering nodig heeft. Als de eis is dat een waarde precies € 1.247,50 is, zeg dat dan. Beschrijvingen nodigen uit tot benaderen.
• Niet-determinisme. Een AI die bepaalt hoe hij een stap uitvoert, kan af en toe anders beslissen. Codegebaseerde tools zijn beter herhaalbaar, en precies daarom geven gereguleerde omgevingen er nog steeds de voorkeur aan.
• Auditeisen. Als je precies moet kunnen aantonen wat er is gedraaid, dragen tools die daarvoor gebouwd zijn — zie Testmode versus Virtuoso QA — machinerie die algemene tools niet hebben.

Een aanpak kiezen

Drie vragen beslechten het grootste deel.

Wie gaat de tests schrijven? Is het antwoord ontwikkelaars, dan zijn codegebaseerde frameworks gratis, uitstekend en volledig onder jouw controle. Is het een product owner, een operationeel manager of een oprichter, dan is schrijven in gewone taal geen gemak — het is het verschil tussen wel of geen tests hebben.

Wat heeft de tool nodig voordat hij je kan helpen? Sommige hebben een codebase en een pijplijn nodig. Sommige hebben een QA-praktijk nodig die ze bewaakt. Sommige hebben alleen een draaiende applicatie en een URL nodig. Die beperking bepaalt, meer dan welke functielijst ook, wat realistisch is voor jouw team.

Wat gebeurt er over een half jaar? Elke testsuite is een onderhoudsverplichting. Vraag wat er breekt wanneer de interface opnieuw wordt ontworpen, en wie het repareert.

Voor de tools zelf, geordend naar wat elk van je nodig heeft, zie het actuele overzicht van AI-testtools.