Cómo sabes que un sistema funciona (evals, sin humo)

Montar una automatización con IA es fácil. Lo difícil es responder con datos a una pregunta incómoda: ¿funciona de verdad? La respuesta no es «me parece que sí»; es un eval.

Un eval es una lista corta de casos con un criterio claro y un número. El mando que se te escapa siempre es el umbral: cuánta puntuación exiges para decir «aprobado».

El umbral del banco de pruebas

reset

Umbral de aprobado60%%

Devolveré tu pedido. ¿Me confirmas el número para tramitarlo?88/100aprueba

Tu pedido llegará en unos días.52/100descarta

No se puede devolver.24/100descarta

Lo que enseña este mando

• Un umbral bajo aprueba todo — y entonces el sistema no te está ahorrando trabajo, te está regalando errores.
• Un umbral alto descarta de más — y el sistema se vuelve tan fino que no sirve para nada.
• El número que elijas depende de lo que cueste fallar. Para responder a un cliente, puedes permitirte un 80%; para firmar un documento, quizá 95.

Compruébalo

Quiz

¿Qué te dice el umbral de un eval?

• El mínimo que exiges para considerar que una respuesta es aceptable en tu tarea
• Cuánta inteligencia tiene el modelo
• La velocidad a la que responde el sistema

Cuando alguien te diga «la IA ya me lo hace bien», pregunta la única pregunta que importa: ¿con qué umbral? Si no hay número detrás, no hay sistema — hay una corazonada.

Y cuando montes el tuyo, haz lo que hago aquí: los números van en la biblioteca, con el banco de pruebas al lado.