Como funciona
Um tokenizer transforma texto em unidades que um modelo consegue processar. Essas unidades são chamadas tokens e podem corresponder a palavras inteiras, partes de palavras, pontuação ou outros símbolos. A divisão depende do vocabulário e das regras usadas pelo tokenizer associado ao modelo.
Em geral, o processo tem duas etapas. Primeiro, o texto é separado em tokens ou identificadores numéricos. Depois, cada identificador aponta para uma entrada no vocabulário que o modelo aprendeu durante o treinamento. Na geração de texto, o caminho se inverte: o modelo escolhe identificadores de tokens e o tokenizer os converte de volta em texto legível.
Por isso, a contagem de tokens não é igual à contagem de palavras ou caracteres. Uma palavra comum pode virar um token, enquanto uma palavra rara, um nome de variável ou uma sequência com acentos pode ser dividida em várias partes. Espaços e pontuação também podem participar da representação, dependendo do método.
Tokenizers diferentes podem dividir a mesma frase de maneiras diferentes. Assim, o número de tokens, o limite de contexto e o custo de processamento podem variar entre modelos, mesmo quando o texto enviado é idêntico. Para calcular com precisão, use o tokenizer indicado para aquele modelo, não uma estimativa baseada em palavras.
Exemplo prático
Considere a frase “A loja abriu às 9h”. Para uma pessoa, ela tem poucas palavras. Um tokenizer pode representar “abriu” como uma unidade e dividir “9h” ou uma palavra pouco frequente em partes menores. O resultado depende do vocabulário específico do modelo.
Isso importa ao montar uma solicitação para uma API. Se o modelo aceita um contexto limitado, instruções, histórico da conversa, trechos de documentos e resposta gerada disputam espaço nessa janela. Uma aplicação pode contar tokens antes do envio e resumir ou remover conteúdo quando estiver perto do limite.
Em um assistente de programação, o tokenizer também processa código. Nomes longos, indentação, símbolos e identificadores incomuns podem ocupar mais unidades do que o esperado. Por isso, reduzir um arquivo por número de linhas não garante que ele caiba no contexto; a contagem real de tokens é mais adequada.
Para que serve
O tokenizer serve para preparar texto para entrada e saída de modelos de linguagem. Ele aparece em chatbots, geração de código, busca semântica, classificação de texto e sistemas que comparam ou resumem documentos.
Conhecer o tokenizer ajuda a explicar diferenças entre palavras e tokens, estimar o tamanho de uma solicitação e evitar cortes inesperados. Também ajuda a depurar resultados: se o modelo recebeu apenas parte de um documento, pode ter ocorrido limite de contexto ou truncamento na etapa de tokenização.
Ao trocar de modelo, confira se a biblioteca, API ou ferramenta de contagem usa o tokenizer correto. Não reutilize automaticamente a contagem de outro modelo. A documentação da biblioteca Tokenizers da Hugging Face descreve componentes comuns, como normalização, pré-tokenização, modelos de tokenização e decodificação.