Como funciona
Em IA, escalar envolve hardware e software. No hardware: mais GPUs, mais servidores, mais memória. No software: balanceamento de carga, cache, filas de requisição e batching.
Serviços como vLLM e APIs de modelos usam técnicas de batching contínuo para processar múltiplas requisições ao mesmo tempo. Isso aumenta o throughput sem aumentar a latência por requisição.
Há dois tipos de escala. Escala vertical: usar uma GPU ou servidor mais potente. Escala horizontal: adicionar mais instâncias. Escala vertical tem limite físico. Escala horizontal é mais flexível, mas exige orquestração.
Exemplo pratico
Uma startup que lança um chatbot com IA pode começar com uma única GPU rodando um modelo open source. Conforme os usuários crescem, precisa escalar. Primeiro, otimiza o código (batching, cache). Depois, adiciona mais instâncias com load balancer. Se o modelo for muito grande, pode usar tensor parallelism para dividir o modelo entre várias GPUs.
O custo cresce com a escala. Uma GPU H100 pode custar milhares de dólares por mês. Por isso, muitas empresas usam APIs de modelos (OpenAI, Anthropic) em vez de rodar modelos próprios, terceirizando a escala.
Para que serve
Planejar infraestrutura, estimar custos e evitar gargalos quando a aplicação cresce. Entender escalabilidade ajuda a decidir entre rodar modelo próprio ou usar API, e a projetar sistemas que não quebram sob carga.
Diferenca entre escalabilidade e elasticidade
Escalabilidade é a capacidade de crescer. Elasticidade é a capacidade de crescer e encolher automaticamente conforme a demanda. Um sistema elástico escala para cima em picos de uso e para baixo em momentos de baixa demanda, economizando custos.