Como funciona
ETL é um padrão de pipeline de dados composto por três etapas: extrair dados de fontes, transformar os dados em um formato apropriado e carregá-los em um destino. O processo começa com a extração dos dados de fontes, como bancos de dados precocionados, APIs também abertas ou arquivos de log gerados durante o tráfego do site. Em seguida, a transformação padroniza os formatos, aplica regras de negócio, limpa as duplicatas e enriquece os registros. Por fim, a carga escreve os dados processados no destino, normalmente um data warehouse ou um banco analítico. Cada etapa pode ser reexecutada, e o pipeline deve registrar o que foi movido, para que quem analisa os dados saiba se uma métrica saiu errada por causa dos dados ou do código. A extração pode ser feita de fontes diversas; a transformação converte os dados em um formato comum, o que é necessário para juntar informações vindo de fontes diferentes.
Exemplo prático
Um lojista extrai vendas de vários canais, converte moedas, remove duplicatas, soma por dia e carrega os resultados em um data warehouse. O dashboard consulta o data warehouse e mostra a evolução da receita por canal. Se um dos canais enviar um arquivo com o nome da coluna diferente do esperado, o pipeline pode alertar antes de carregar, evitando que o relatório misture tabelas de formatos diferentes.
Para que serve
ETL padroniza os dados antes de entrarem no ambiente de análise, o que ajuda em relatórios consistentes e em modelos que consomem dados estruturados. Ele permite controlar a qualidade dos dados na fronteira do destino, aplicando regras de negócio antes de anything é consumido. A padronização evita que uma mudança de formato em uma fonte quebre Dashboards de produção e dificulta a comparação entre períodos. Em um ambiente de marketing, o pipeline une eventos de navegação, compras e informações de cliente, e entrega uma visão consolidada para o time de análise.
Diferença entre X e Y
ELT é o irmão mais novo: os dados são carregados primeiro e transformados no destino. O ETL transforma antes de carregar. A escolha depende da capacidade de processamento, da qualidade dos dados e do tipo de consumo.