Cómo funciona
Antes de procesar un mensaje, un modelo de lenguaje transforma el texto en una secuencia de tokens. Esa etapa se llama tokenización y usa un vocabulario y reglas propias del modelo. Por eso, un token no equivale necesariamente a una palabra: “computador” puede ser un token en una situación y dividirse en partes en otra.
El modelo recibe los tokens como identificadores numéricos, calcula relaciones entre ellos y produce una respuesta también en tokens. Un tokenizador es el componente que hace esa división. Modelos diferentes pueden usar tokenizadores diferentes, así que el mismo texto puede generar conteos distintos.
Los espacios, la puntuación, los acentos, el idioma y el formato influyen en la división. El código también puede tokenizarse de forma distinta a una frase común, porque los nombres de variables, símbolos y sangrías forman parte de la entrada. La documentación de cada modelo indica cómo contar tokens con más precisión.
Los tokens también aparecen en límites técnicos. Una ventana de contexto define cuántos tokens de entrada y salida el modelo puede considerar en una llamada. Si una conversación, documento o fragmento de código supera ese límite, puede ser necesario resumir, dividir o seleccionar el contenido relevante.
Ejemplo práctico
Imagina que una persona le pide a un asistente que explique una función de JavaScript. La entrada puede incluir la pregunta, el código e instrucciones adicionales. El sistema transforma todo en tokens antes de enviar el contenido al modelo. El modelo luego genera la explicación token por token, hasta concluir la respuesta o alcanzar el límite configurado.
Esto ayuda a entender por qué contar palabras en el editor no alcanza para estimar el tamaño de la llamada. Una frase corta con nombres técnicos, caracteres especiales o código puede consumir una cantidad de tokens distinta a otra frase con el mismo número de palabras. Para planear una integración, usa el tokenizador indicado por el proveedor del modelo, en lugar de convertir palabras con una regla fija.
En una aplicación, el equipo puede medir el uso de tokens en cada etapa: instrucciones del sistema, historial de la conversación, documentos recuperados y respuesta generada. Esa separación facilita identificar qué parte está ocupando más contexto. Si un historial crece demasiado, la aplicación puede guardar un resumen y enviar solo los mensajes necesarios para la tarea actual.
También es útil comparar el conteo de entrada y salida. La entrada incluye todo lo que el modelo recibe; la salida corresponde a lo que genera. Esa distinción importa para controlar límites de la API, monitorear consumo e investigar respuestas interrumpidas. Los detalles exactos varían por modelo y servicio, por lo que deben consultarse en la documentación usada por el proyecto.
Para qué sirve
Entender los tokens ayuda a estimar el tamaño de los prompts, organizar documentos, evitar superar la ventana de contexto e interpretar métricas de uso de los modelos. Para quien programa, es una unidad operativa: permite medir el contenido que pasa por la API y detectar llamadas excesivamente largas.
Los tokens también ayudan a comparar estrategias de contexto. Un equipo puede probar si un resumen más pequeño mantiene la información importante, o si vale la pena enviar fragmentos seleccionados en vez de un archivo entero. El objetivo no es reducir tokens a cualquier costo, sino proveer al modelo el contexto necesario sin incluir material irrelevante.
Al analizar resultados, recuerda que el conteo de tokens no mide calidad, esfuerzo humano ni número de ideas. Mide unidades de representación usadas por el modelo. Un tokenizador oficial o una herramienta del proveedor es la referencia adecuada para una estimación precisa.