O time to first token, ou TTFT, mede quanto tempo passa entre o envio do seu pedido e o aparecimento do primeiro pedaço da resposta. É o que dá a sensação de que o modelo "começou a responder rápido".

Como funciona

Quando você envia um prompt, várias coisas acontecem antes do primeiro token sair:

  • O pedido viaja pela rede até o servidor.
  • O pedido pode esperar numa fila se o servidor estiver ocupado.
  • O modelo lê e processa todo o prompt, uma fase chamada de preenchimento.
  • Só então o primeiro token é gerado e enviado de volta.

Por isso, prompts muito longos aumentam o TTFT: há mais texto para processar antes de começar. Modelos de raciocínio também podem demorar mais, porque "pensam" antes de mostrar a resposta.

O TTFT só faz sentido bem medido com respostas em streaming. Sem streaming, você só recebe tudo no final e não vê o primeiro token separado.

Exemplo prático

Você monta um chat para clientes. Em um teste, a resposta completa leva 8 segundos, mas o primeiro texto aparece em 0,6 segundo. O cliente sente que o sistema é ágil, pois vê o texto surgindo. Se o primeiro token demorasse 5 segundos, mesmo com a mesma duração total, pareceria travado.

Um jeito simples de medir:

Python · ttft.py
import time
inicio = time.time()
for pedaco in resposta_em_streaming:
    print("TTFT:", time.time() - inicio)
    break

Aqui, resposta_em_streaming representa o fluxo devolvido pelo cliente do seu provedor.

Para que serve

O TTFT é a métrica central para experiência de usuário em chats e assistentes de voz, onde cada décimo de segundo conta. Também serve para comparar provedores e modelos e para diagnosticar gargalos, como fila, rede ou prompts grandes demais.

Para reduzir o TTFT, você pode encurtar o prompt, usar cache de prompt para partes repetidas, escolher um modelo menor ou um servidor mais próximo.

Diferença entre TTFT e tokens por segundo

O TTFT mede a espera inicial. Tokens por segundo mede o ritmo depois que a resposta começa. Um modelo pode ter TTFT baixo e escrever devagar, ou começar lento e depois escrever rápido. Para avaliar bem, olhe as duas medidas e a latência total.

Cuidados

O valor varia com horário, carga e tamanho do prompt. Faça várias medições e use a mediana ou percentis, não um único teste. Compare sempre com o mesmo prompt.