O mecanismo de atenção permite que uma rede neural atribua importância diferente a partes de uma entrada ao processá-la. Em vez de tratar cada palavra ou token isoladamente, o sistema pode relacionar elementos distantes e usar essas relações para construir uma representação contextual.
A atenção é um componente importante da arquitetura Transformer, presente em muitos modelos de linguagem e sistemas multimodais. O termo descreve uma operação matemática, não uma atenção consciente como a humana.
Como funciona
Uma forma comum de atenção transforma os dados em três grupos de vetores: consulta, chave e valor. A consulta representa o que a posição atual procura; as chaves representam os elementos disponíveis para comparação; e os valores carregam a informação que poderá ser combinada. A compatibilidade entre consulta e chaves gera pesos, que determinam quanto cada valor contribui para o resultado.
Em um texto, isso pode ajudar a relacionar um pronome a um nome mencionado antes, ou a conectar uma condição a uma instrução em outra parte do contexto. O cálculo é repetido para diversas posições e, em arquiteturas Transformer, costuma ocorrer em várias cabeças de atenção. Cada cabeça pode aprender padrões de relação diferentes, embora sua interpretação não seja sempre simples.
A atenção não é uma explicação completa do modelo. Os pesos podem revelar aspectos do cálculo, mas não devem ser tratados automaticamente como justificativa fiel de toda decisão. O comportamento final também depende de outras camadas, dos dados e do treinamento.
Exemplo prático
Considere a frase: “A desenvolvedora abriu o projeto depois que ela recebeu a revisão”. Para processar “ela”, o modelo pode atribuir peso a “desenvolvedora”, em vez de a palavras próximas sem relação. Isso ajuda a formar uma representação que considera o contexto da frase.
Em código, o contexto pode incluir uma chamada de função e sua definição em outra região do arquivo. A atenção permite que o modelo combine sinais de diferentes posições, embora isso não garanta que compreenda a intenção do programa nem que gere uma alteração correta.
Para que serve
A atenção é usada para contextualizar sequências, combinar informações de diferentes partes da entrada e construir representações úteis para tarefas de texto, imagem, áudio e outras modalidades. Em modelos de linguagem, ajuda a processar dependências que não aparecem apenas entre tokens vizinhos.
Para quem desenvolve aplicações, conhecer o mecanismo ajuda a entender por que o tamanho e a organização do contexto importam. Também esclarece que atenção é um componente interno, não um recurso que substitui busca, validação ou teste. Uma resposta ainda precisa ser avaliada de acordo com a tarefa.
Em resumo, o mecanismo de atenção calcula relações ponderadas entre elementos da entrada. Ele tornou possível processar contexto de maneira flexível em arquiteturas modernas, mas não equivale a foco humano nem fornece, por si só, uma explicação completa das respostas.