Cómo funciona
En IA, escalar implica hardware y software. En hardware: más GPUs, más servidores, más memoria. En software: balanceo de carga, caché, colas de petición y batching.
Servicios como vLLM y APIs de modelos usan técnicas de batching continuo para procesar múltiples peticiones al mismo tiempo. Esto aumenta el throughput sin aumentar la latencia por petición.
Hay dos tipos de escala. Escala vertical: usar una GPU o servidor más potente. Escala horizontal: agregar más instancias. La escala vertical tiene límite físico. La escala horizontal es más flexible, pero exige orquestación.
Ejemplo práctico
Una startup que lanza un chatbot con IA puede empezar con una sola GPU ejecutando un modelo open source. A medida que los usuarios crecen, necesita escalar. Primero, optimiza el código (batching, caché). Luego, agrega más instancias con load balancer. Si el modelo es muy grande, puede usar tensor parallelism para dividir el modelo entre varias GPUs.
El costo crece con la escala. Una GPU H100 puede costar miles de dólares al mes. Por eso, muchas empresas usan APIs de modelos (OpenAI, Anthropic) en lugar de ejecutar modelos propios, tercerizando la escala.
Para qué sirve
Planear infraestructura, estimar costos y evitar cuellos de botella cuando la aplicación crece. Entender la escalabilidad ayuda a decidir entre ejecutar un modelo propio o usar API, y a diseñar sistemas que no se rompan bajo carga.
Diferencia entre escalabilidad y elasticidad
La escalabilidad es la capacidad de crecer. La elasticidad es la capacidad de crecer y encogerse automáticamente según la demanda. Un sistema elástico escala hacia arriba en picos de uso y hacia abajo en momentos de baja demanda, ahorrando costos.