Kata IvanovychLa vida de un prompt, paso a paso
La respuesta corta
No hay magia: tu frase se parte en tokens, cada token se vuelve una lista de números, los tokens se miran entre sí para entender el contexto, el modelo puntúa cada posible palabra siguiente y elige una con algo de azar. Esa palabra se añade al final y todo se repite hasta completar la respuesta.
Lo que te llevas
- Los nombres de las cinco etapas, en orden: tokens, embeddings, atención, logits y sampling. Cada artículo del blog desmonta una.
- El azar entra al elegir: las puntuaciones se convierten en probabilidades y la temperatura decide si el modelo va a lo seguro o se arriesga.
«¿Cómo sabe la IA qué decir?» La respuesta no es magia: es una cadena de pasos muy concretos que convierten tu texto en números, los mezclan, y los vuelven a convertir en texto.
En vez de explicártelo, te lo enseño. Haz scroll y sigue la frase «El cielo es de color» mientras atraviesa el modelo. El panel se queda fijo y se actualiza en cada paso:
- Tu prompt
- Tokenizar
- Embeddings
- Atención
- Logits
- Sampling
- Texto
1Tu prompt
El cielo es de color
Paso 1 · Tu prompt
Empiezas con texto
Le escribes una frase: «El cielo es de color». Para ti es lenguaje; para el modelo, todavía no significa nada. Hay que convertirlo en números.
Paso 2 · Tokenizar
Se parte en tokens
El texto se trocea en tokens (palabras o fragmentos) y cada uno se sustituye por un número de un vocabulario fijo. Es el alfabeto real del modelo.
Paso 3 · Embeddings
Cada token se vuelve un vector
Cada token se convierte en un embedding: una lista de números que sitúa su significado en el espacio. Palabras parecidas caen cerca.
Paso 4 · Atención
Los tokens se miran entre sí
El mecanismo de atención deja que cada token pondere a los demás para entender el contexto: «color» mira a «cielo» para resolver de qué hablamos.
Paso 5 · Logits
Sale una puntuación por token posible
Tras pasar por las capas, el modelo produce un logit para cada token del vocabulario: cómo de buena candidata es cada palabra para venir ahora.
Paso 6 · Sampling
Se elige uno (con algo de azar)
Los logits se convierten en probabilidades y se muestrea uno. La temperatura decide si va a lo seguro o se arriesga. Aquí sale «azul».
Paso 7 · Texto
Y vuelta a empezar
El token elegido se añade al final y todo el proceso se repite para el siguiente. Palabra a palabra, así se escribe la respuesta entera.
Y ya está. No hay más misterio: tokenizar, convertir a vectores, dejar que los tokens se miren entre sí, puntuar candidatos y elegir uno. Repetir. Cada artículo de este blog desmonta una de estas piezas para que la toques por dentro.
Para seguir con esto, una guía de NBI: Qué es un agente de IA, y qué no es
Por dónde seguir
Aprender
Entiende la IA tocándola
Un itinerario en orden, de los tokens a medir un sistema. Gratis, sin cuenta, y el progreso se guarda en tu navegador.
Ver el itinerarioSeguir leyendo
Más lecturas
Guías, reflexiones y casos, con sus números y con lo que falló.
Ver todas las lecturasEscribirme
O simplemente responde
Si algo de aquí te ha servido, o te ha parecido mal, quiero saberlo. Lo leo yo y cambia lo que publico.
info@ianexora.com
La newsletter
Lo importante de la semana, en tu correo
Te escribo con lo importante de la semana: un sistema que he puesto en marcha, con sus números y lo que se rompió, o algo que ha pasado en la IA y qué te cambia.