Kata IvanovychPor qué la IA da respuestas distintas (y cómo controlarlo)
La respuesta corta
Porque en cada paso el modelo tira un dado sobre los posibles siguientes tokens, y la temperatura decide cómo de cargado está. A 0 elige siempre el más probable; al subirla gana variedad y también riesgo de disparates, así que se ajusta según quieras precisión o variedad.
Lo que te llevas
- Temperatura baja, de 0 a 0,3, para código, extracción de datos o clasificación; de 0,7 a 1,0 para escribir o una lluvia de ideas.
- Si necesitas el mismo dato cada vez, como el total de una factura, ponla cerca de 0: con una alta, el número puede variar entre ejecuciones.
- El top-p es la otra poda: deja solo los tokens más probables hasta sumar esa probabilidad y descarta el resto.
Si le haces la misma pregunta dos veces a una IA y te da respuestas distintas, no está «pensando» diferente: está tirando un dado sobre una lista de posibles siguientes tokens. La controla cómo de cargado está ese dado.
Gíralo tú mismo. La distribución de abajo es real (pre-calculada); cambia la temperatura y mira cómo se reparten las probabilidades:
El cielo de un día despejado es de color…
- azul83%
- celeste9%
- gris5%
- blanco2%
- negro1%
- rojo0%
- verde0%
- rosa0%
- naranja0%
- morado0%
¿Lo ves? Con temperatura 0 el modelo siempre elige la opción más probable (determinista, pero repetitivo). Subiéndola, las opciones poco probables empiezan a tener oportunidad: más variedad, pero también más riesgo de disparates. El top-p es otra forma de podar: se queda solo con los tokens más probables que sumen esa probabilidad.
Quieres que un modelo extraiga el importe total de una factura, siempre igual. ¿Qué temperatura usas?
Para seguir con esto, una guía de NBI: Automatización, RPA o agente de IA: cuál te hace falta
Por dónde seguir
Aprender
Entiende la IA tocándola
Un itinerario en orden, de los tokens a medir un sistema. Gratis, sin cuenta, y el progreso se guarda en tu navegador.
Ver el itinerarioSeguir leyendo
Más lecturas
Guías, reflexiones y casos, con sus números y con lo que falló.
Ver todas las lecturasEscribirme
O simplemente responde
Si algo de aquí te ha servido, o te ha parecido mal, quiero saberlo. Lo leo yo y cambia lo que publico.
info@ianexora.com
La newsletter
Lo importante de la semana, en tu correo
Te escribo con lo importante de la semana: un sistema que he puesto en marcha, con sus números y lo que se rompió, o algo que ha pasado en la IA y qué te cambia.