Cómo funciona
En lugar de ajustar todos los pesos del modelo, el adapter añade pequeños módulos (capas) dentro de la red neuronal y entrena solo esos módulos. El modelo base permanece congelado, lo que ahorra memoria y permite cambiar adaptadores según la tarea. Cada adapter aprende un comportamiento específico sin alterar el conocimiento general del modelo.
Ejemplo práctico
Un modelo de lenguaje base puede recibir un adapter para código y otro para atención al cliente. Cambiar de adapter modifica el comportamiento del modelo sin recargar los miles de millones de pesos del modelo base, lo que ahorra tiempo y memoria.
Para qué sirve
Es una de las técnicas de PEFT y facilita el compartir modelos: distribuyes un modelo base y varios adapters pequeños para tareas diferentes. Esto es común en catálogos de modelos abiertos y permite una personalización económica.
Diferencia entre adapter y LoRA
LoRA es una técnica específica de adapter de bajo rango. Adapter es un concepto más amplio de capa adicional entrenable, que puede tener distintas arquitecturas y tamaños.