Como funciona
O gradiente descendente é um método de otimização usado para ajustar parâmetros de um modelo. Ele procura reduzir uma função de perda, que representa o quanto as previsões diferem do resultado desejado. Em termos simples, o algoritmo mede em que direção a perda aumenta e atualiza os parâmetros no sentido oposto.
Imagine uma superfície com vales e morros. A posição representa os valores atuais dos parâmetros, e a altura representa o erro. O gradiente indica a inclinação local. O método dá um passo para baixo, recalcula a inclinação e repete o processo até atingir um critério de parada.
O tamanho de cada passo é controlado pela taxa de aprendizado. Se ela for muito alta, as atualizações podem passar do ponto e oscilar. Se for muito baixa, o treinamento pode avançar lentamente. A escolha depende do modelo, dos dados e do procedimento de treinamento.
Em conjuntos grandes, o cálculo pode usar todos os exemplos de uma vez ou pequenos lotes. O gradiente descendente estocástico atualiza os parâmetros usando exemplos individuais ou subconjuntos. Variantes modernas combinam o gradiente com mecanismos que adaptam o tamanho dos passos por parâmetro.
Exemplo prático
Suponha que um programa estime o tempo de entrega de pedidos com base na distância. O modelo começa com um parâmetro que transforma quilômetros em uma estimativa de minutos. Para cada exemplo de treinamento, ele compara a previsão com o tempo observado e calcula uma perda.
Se as previsões forem sistematicamente baixas, o gradiente aponta como ajustar o parâmetro para diminuir esse erro. O algoritmo atualiza o valor, calcula novas previsões e verifica se a perda caiu. Esse ciclo continua até que o critério definido seja alcançado.
O exemplo é simples, mas a ideia também aparece no treinamento de redes neurais, que podem ter muitos parâmetros. O cálculo do gradiente costuma usar retropropagação para descobrir como cada parâmetro contribuiu para a perda.
Para que serve
O método é usado em aprendizado de máquina para treinar modelos de regressão, classificação e redes neurais. Em vez de escolher manualmente cada peso, o treinamento ajusta esses valores com base nos dados e no objetivo especificado.
A função de perda e os dados influenciam o que o modelo aprende. Uma perda mal escolhida pode favorecer o comportamento errado, e dados enviesados ou inadequados continuam sendo um problema mesmo quando a otimização converge.
Convergir também não significa que o modelo seja bom para qualquer situação. É necessário avaliar o desempenho em dados que não foram usados para ajustar os parâmetros, observar erros por grupo e verificar se o resultado atende ao objetivo do produto.
Diferença entre gradiente descendente e gradiente
O gradiente é uma informação matemática sobre a direção de maior aumento local de uma função. Gradiente descendente é o procedimento que usa essa informação, com passos repetidos na direção contrária, para buscar valores menores da função.
Essa distinção ajuda a entender o treinamento: o cálculo do gradiente fornece uma direção, enquanto a taxa de aprendizado e a regra de atualização determinam como os parâmetros se movem.