Tokens por segundo mede a velocidade de escrita de um modelo de linguagem. Um token é um pedaço de texto, como uma palavra curta ou parte de uma palavra. Se um modelo gera 50 tokens por segundo, ele escreve 50 desses pedaços a cada segundo.
Como funciona
O modelo gera a resposta token a token. Cada novo token depende dos anteriores, então o processo é sequencial. A velocidade depende de vários fatores:
- Tamanho do modelo: modelos maiores costumam ser mais lentos.
- Hardware: o tipo de GPU e a memória disponível mudam muito o resultado.
- Carga do servidor: muitos usuários ao mesmo tempo reduzem a velocidade de cada um.
- Otimizações: quantização e servidores de inferência eficientes aceleram a geração.
Para calcular, divide-se o número de tokens gerados pelo tempo da geração. Se uma resposta de 600 tokens levou 12 segundos, a velocidade foi de 50 tokens por segundo.
É importante separar essa medida do tempo até o primeiro token. Um modelo pode começar a responder rápido e depois escrever devagar, ou o contrário.
Exemplo prático
Você roda um modelo local com uma ferramenta de inferência e quer saber a velocidade. Muitas ferramentas mostram esse número ao final da resposta.
Um teste simples em Python:
import time
inicio = time.time()
# gere a resposta com seu cliente e conte os tokens
tokens_gerados = 600
duracao = time.time() - inicio
print(tokens_gerados / duracao, "tokens por segundo")Agora compare dois cenários: um modelo pequeno no seu notebook e um modelo grande em um servidor com GPU potente. O segundo costuma entregar mais tokens por segundo, apesar de ser maior, porque o hardware é muito superior.
Para que serve
A métrica ajuda a escolher modelos e provedores para cada uso. Um chat precisa de resposta fluida, e acima da velocidade de leitura de uma pessoa o ganho extra quase não é percebido.
Já em agentes de código e tarefas em lote, a velocidade pesa diretamente no tempo total de trabalho. Um agente que escreve centenas de linhas e roda várias etapas termina bem antes com um modelo rápido.
Também entra no cálculo de capacidade: saber quantos tokens por segundo seu servidor entrega ajuda a estimar quantos usuários ele atende.
Cuidados ao comparar
Números de divulgação dependem do teste. Prompt, tamanho da resposta e horário mudam o resultado. Compare sempre nas mesmas condições e com o seu próprio tipo de tarefa.
Velocidade também não substitui qualidade. Um modelo muito rápido que erra mais pode custar mais tempo de revisão no final.