Kata IvanovychQué es un token (y por qué la IA no sabe contar letras)
La respuesta corta
Un modelo no lee letras ni palabras, lee tokens: trozos de texto que pueden ser una palabra entera, un fragmento o un signo. De ahí salen lo que pagas, cuánto texto le cabe y que falle al contar letras, porque nunca las ve.
Lo que te llevas
- Pagas por token, no por palabra: en inglés, 1 token son unos 4 caracteres; en español, la misma frase suele costar bastantes más.
- La ventana de contexto se mide en tokens: si te pasas, el modelo trunca lo que no cabe.
- Ante un fallo «tonto» con letras, rimas o longitudes, no busques falta de inteligencia: el modelo nunca trabaja a nivel de letra.
Cuando le pides a una IA que cuente las erres de «strawberry» y falla, no es que sea tonta: es que no ve letras. Ve : trozos de texto que pueden ser una palabra entera, un fragmento de palabra o un signo.
La mejor forma de entenderlo es verlo. Escribe cualquier cosa y mira cómo se parte:
¿Has probado con tu nombre? ¿Con un emoji? ¿Con una frase en otro idioma? Verás que el número de tokens no coincide con el de palabras, y que lo que para ti es «una cosa» para el modelo pueden ser varias piezas.
Por qué esto te importa
- Coste. Pagas por token, no por palabra. Un texto en español suele costar más tokens que el mismo texto en inglés.
- Límite. La se mide en tokens: si te pasas, el modelo trunca lo que no cabe.
- Rarezas. Por eso falla al contar letras, al hacer rimas o al manipular texto carácter a carácter: nunca trabaja a nivel de letra.
Compruébalo
¿Por qué a un modelo le cuesta contar cuántas erres tiene «strawberry»?
La próxima vez que una IA te sorprenda con un fallo «tonto» de letras o de longitud, recuerda: está pensando en tokens, no en caracteres.
Para seguir con esto, una guía de NBI: Automatización, RPA o agente de IA: cuál te hace falta
Por dónde seguir
Aprender
Entiende la IA tocándola
Un itinerario en orden, de los tokens a medir un sistema. Gratis, sin cuenta, y el progreso se guarda en tu navegador.
Ver el itinerarioSeguir leyendo
Más lecturas
Guías, reflexiones y casos, con sus números y con lo que falló.
Ver todas las lecturasEscribirme
O simplemente responde
Si algo de aquí te ha servido, o te ha parecido mal, quiero saberlo. Lo leo yo y cambia lo que publico.
info@ianexora.com
La newsletter
Lo importante de la semana, en tu correo
Te escribo con lo importante de la semana: un sistema que he puesto en marcha, con sus números y lo que se rompió, o algo que ha pasado en la IA y qué te cambia.