Automatización de tests en lenguaje natural

La automatización de tests en lenguaje natural es testing automatizado en el que el test es una frase y no un script. Escribes lo que debería ocurrir —« inicia sesión como usuario estándar, añade un portátil a la cesta y comprueba que el total se actualiza incluyendo el IVA»— y la herramienta determina con qué elementos interactuar y si el resultado fue correcto.

Lo importante no es que ahorre teclear. Es que cambia quién puede escribir un test. Una suite con scripts solo pueden escribirla quienes programan, que en la mayoría de las organizaciones son un grupo pequeño y muy ocupado. Una suite descrita puede escribirla cualquiera que sepa qué se supone que hace el software.

Dos generaciones que se confunden a menudo

Los productos de este ámbito funcionan de una de dos maneras bastante distintas, y la diferencia importa más que cualquier comparativa de funcionalidades.

Lenguaje natural estructurado. El inglés que escribes procede de un vocabulario de comandos definido. La herramienta analiza tu frase para convertirla en acciones conocidas y resuelve los elementos mediante localizadores. testRigor y Testsigma funcionan así.

Descripción de forma libre. Escribes la frase como quieras y un agente de IA interpreta la intención en tiempo de ejecución, decidiendo por sí mismo cómo llevarla a cabo. Testmode y Functionize funcionan así.

	Gramática estructurada	Descripción de forma libre
Qué escribes	Inglés de un conjunto de comandos documentado	Cualquier frase
Curva de aprendizaje	Un vocabulario que aprender	Ninguna
Consistencia	Alta: un test se lee igual dos veces	Depende de cómo escribas
Determinismo	Mayor	Ligeramente menor
Comportamiento tras un rediseño	Puede haber que actualizar localizadores	La intención se reinterpreta
Ambigüedad	Rechazada al escribir	Resuelta en ejecución, a veces mal

Ninguna es mejor en abstracto. Las gramáticas estructuradas cambian flexibilidad por previsibilidad, que es el intercambio adecuado para una suite grande y regulada. La descripción de forma libre cambia algo de previsibilidad por el hecho de que nadie tiene que aprender nada, que es el intercambio adecuado cuando la alternativa es no tener tests.

Cómo escribir una descripción que funcione

Esta es la parte que la documentación de los proveedores suele saltarse, y donde está casi toda la dificultad práctica. Una suite en lenguaje natural vale lo que valen sus frases.

Nombra el estado inicial. «Añade un artículo a la cesta» da por supuesto un usuario con sesión iniciada, un producto en stock y una cesta vacía. Dilo. Los fallos más sorprendentes son precondiciones no declaradas.

Describe el resultado, no la mecánica. Escribe «el pedido aparece en el historial de pedidos» en lugar de «haz clic en la tercera fila de la tabla». La mecánica es lo que se rompe en un rediseño; los resultados son lo que de verdad te importa.

Sé exacto donde la exactitud importa. Si el total debe ser 1.247,50 €, escribe la cifra. Una descripción invita a la aproximación salvo que la cierres.

Un flujo por test. Una frase que describe seis cosas falla como una unidad y no te dice cuál de las seis se rompió.

Escríbelo de forma que un compañero nuevo pudiera seguirlo. Esta es la prueba fiable. Si una persona competente que lea tu frase tuviera que hacer una pregunta para aclararla, la IA tiene el mismo problema: solo que no va a preguntar.

Dónde falla el enfoque

• Expectativas genuinamente ambiguas. «Comprueba que la página se ve bien» no es un test en ninguna metodología.
• Interacción a nivel de píxel. Arrastrar y soltar, dibujar en un canvas, manipular mapas y los juegos son más fáciles de demostrar grabando que de describir. Las herramientas construidas alrededor de la grabación, como Autify, los manejan mejor.
• Casos exhaustivos dirigidos por datos. Doscientas permutaciones de una regla de precios son un bucle en código, no doscientas frases.
• Requisitos de auditoría estrictos. Cuando debes evidenciar con precisión qué se ejecutó, el determinismo del código o de una gramática estructurada vale más que la comodidad de la prosa. Consulta Testmode frente a Virtuoso QA.

Lo que no elimina

El lenguaje natural elimina la programación. No elimina el pensamiento, y los equipos que esperan que lo haga se llevan una decepción.

Sigues teniendo que decidir qué flujos importan, qué es realmente el comportamiento correcto, qué hacer cuando algo falla y con qué frecuencia ejecutar la suite. Esos son juicios de producto y de riesgo. Lo que ha cambiado es que emitir ese juicio ya no exige saber expresarlo en TypeScript.

Herramientas que funcionan así

Estructuradas: testRigor, Testsigma, Virtuoso QA.

De forma libre: Testmode, Functionize.

Cercanas, pero no de lenguaje natural: Autify y Testim parten de una grabación; Rainforest QA redacta los pasos con IA y te los deja editar visualmente.

El panorama completo, ordenado por lo que cada herramienta necesita de ti antes de poder ayudarte, está en el resumen de herramientas de testing con IA.