Acesso completo ao Tenjin por $200/mês - todas as funcionalidades, sem suplementos, cancelar em qualquer altura. Ver preços e caraterísticas

Inscreva-se

Extracção, Transformação e Carregamento (ETL)

< 1 leitura mínima

Definição:

ETL significa Extract, Transform, Load (Extrair, Transformar, Carregar). Trata-se de um processo de integração de dados em que os dados são extraídos de uma ou mais fontes, convertidos num formato consistente e utilizável e, em seguida, carregados num sistema de armazenamento ou numa base de dados para análise. No marketing móvel, o ETL é o processo que permite combinar dados de redes publicitárias, plataformas de atribuição, lojas de aplicações e análises de produtos numa única visão coerente.

O que é o ETL?

ETL, ou Extract, Transform, Load (Extrair, Transformar, Carregar), é o processo que transfere os dados do local onde são criados para o local onde podem ser analisados. A maioria das plataformas de marketing e análise assenta em processos ETL que decorrem em segundo plano. Sempre que vê um painel com dados relativos a despesas, instalações, receitas ou ROAS extraídos de várias fontes, é um processo ETL que torna isso possível.

Os três passos descrevem exatamente o que acontece aos dados:

  • Extrato: Os dados são extraídos de um ou mais sistemas de origem
  • Transformar: Esses dados são limpos, normalizados e reestruturados num formato adequado para análise
  • Carga: Os dados transformados são gravados num sistema de destino, como um armazém de dados, uma base de dados ou uma plataforma de análise

O ETL é fundamental para a integração de dados. Sem ele, os dados provenientes de diferentes plataformas ficam isolados em silos separados, com formatos diferentes, utilizando convenções de nomenclatura distintas e impossíveis de combinar sem um esforço manual significativo.

O que significa a sigla ETL?

ETL significa «Extract, Transform, Load» (Extrair, Transformar, Carregar).

O termo é utilizado de forma abrangente nas áreas da engenharia de dados, análise de dados e inteligência empresarial. No âmbito específico do marketing móvel, ETL refere-se aos fluxos de dados que ligam os dados das redes publicitárias, os dados de atribuição e os dados de receitas, integrando-os num sistema de relatórios unificado.

Como funciona o processo ETL?

Cada fase de um processo ETL tem uma função específica. Aqui fica uma análise mais detalhada do que acontece em cada etapa:

Extrato 

Os dados são recolhidos a partir dos sistemas de origem. No marketing móvel, estas fontes incluem normalmente redes publicitárias, MMPs, lojas de aplicações, plataformas de mediação e ferramentas de análise de produtos. Cada fonte armazena os dados no seu próprio formato, utilizando a sua própria terminologia e estrutura. A etapa de extração recolhe esses dados em bruto e prepara-os para processamento.

Transformar 

É aqui que os dados brutos são limpos e reestruturados. As etapas de transformação podem incluir:

  • Padronização dos formatos de data, valores monetários e convenções de nomenclatura em todas as fontes
  • Desduplicação de registos
  • Aplicar lógica de negócio, como o cálculo de métricas derivadas, tais como o ROAS ou o LTV
  • Juntar dados de várias fontes, como, por exemplo, cruzar dados relativos a gastos com publicidade com dados de instalações provenientes do SDK
  • Filtrar registos irrelevantes ou errados

Esta etapa é, muitas vezes, a parte mais complexa de um pipeline ETL. A qualidade dos dados transformados determina diretamente a fiabilidade de todas as métricas e relatórios a jusante.

Carregar 

Os dados processados são gravados no seu destino. Este pode ser um armazém de dados na nuvem, como o BigQuery ou o Snowflake, uma ferramenta de BI, um painel personalizado ou uma base de dados interna. Depois de carregados, os dados ficam disponíveis para consulta, visualização e análise.

Significado do pipeline ETL

Um pipeline ETL é a sequência automatizada de etapas que conduz os dados através do processo de extração, transformação e carregamento, de forma programada ou contínua. Em vez de executar o ETL manualmente, um pipeline automatiza todo o fluxo de trabalho, de modo a que os dados fluam dos sistemas de origem para os sistemas de destino sem intervenção humana.

No marketing móvel, os pipelines ETL tratam de tarefas como:

  • Recolher dados sobre despesas publicitárias de centenas de redes publicitárias diariamente
  • Correlacionar esses dados de despesas com os dados de instalação e de atribuição provenientes do MMP
  • Transformar o conjunto de dados combinado para calcular métricas como o CPI, o ROAS e o LTV
  • Carregar os resultados num armazém de dados ou num painel de controlo para a elaboração de relatórios

Um pipeline ETL bem concebido funciona de forma fiável, lida com os erros de forma adequada, valida os dados em cada etapa e atualiza-se automaticamente quando os sistemas de origem alteram os seus formatos de dados. Um pipeline mal concebido provoca atrasos, lacunas e inconsistências que afetam todos os relatórios e decisões a jusante.

ETL no marketing móvel

Todos os dados recolhidos de diferentes fontes passam por um processo ETL antes de aparecerem num painel de controlo ou numa ferramenta de relatórios. No marketing móvel, isto torna-se especialmente evidente quando se tem em conta a quantidade de fontes de dados diferentes que contribuem para uma visão única do desempenho da campanha.

Exemplo: Quando uma MMP como a Tenjin recolhe dados de gastos publicitários de mais de 200 redes publicitárias, cada rede fornece esses dados no seu próprio formato, com os seus próprios nomes de campos, moedas e fusos horários. O processo ETL padroniza todos esses dados, mapeia-os para um esquema consistente e associa-os aos dados de instalação e atribuição provenientes do SDK. O resultado é um conjunto de dados unificado que suporta métricas como ROAS, CPI e LTV ao nível da coorte em todas as redes e campanhas, num único local.

Outro exemplo consiste na integração de dados de atribuição e mediação com dados de receitas das lojas de aplicações ou de análise de produtos. Para calcular métricas como o LTV baseado na mediação no X-Day por fonte de aquisição, são necessários dados de várias plataformas reunidos numa única base de dados. Esse processo de integração é o ETL. Sem ele, cada fonte de dados permanece isolada e a métrica combinada não pode ser calculada de todo.

Ferramentas ETL

Uma ferramenta ETL é um software que ajuda as equipas a criar, gerir e executar pipelines ETL sem terem de desenvolver cada componente do zero. As ferramentas ETL tratam dos aspetos técnicos relacionados com a ligação a fontes de dados, a programação de tarefas, a gestão de transformações e o carregamento de dados nos sistemas de destino.

Para as equipas de marketing móvel, as ferramentas ETL tornam-se relevantes quando o volume e a complexidade da integração de dados excedem o que pode ser gerido manualmente ou através dos relatórios integrados numa plataforma. Entre os cenários mais comuns contam-se:

  • Integração de dados provenientes de várias MMPs, plataformas de mediação e ferramentas de análise de produtos num único armazém de dados
  • Criação de modelos de LTV personalizados que requerem dados de fontes que não estão ligadas de forma nativa no seu painel de controlo
  • Criação de fluxos de trabalho automatizados de relatórios que alimentam ferramentas de BI como o Tableau, o Looker ou o Power BI

Criar um sistema ETL a partir do zero exige muito tempo e recursos. Requer esforço de engenharia para criar os pipelines, manutenção contínua para lidar com alterações nos formatos dos dados de origem e monitorização para detetar erros antes que estes afetem a geração de relatórios a jusante. É por isso que muitas equipas recorrem a ferramentas ETL dedicadas ou a parceiros, em vez de desenvolverem tudo internamente.

A Tenjin estabeleceu uma parceria com a Growth Fullstack, uma ferramenta ETL concebida especificamente para programadores de aplicações móveis. A Growth Fullstack padroniza, valida, monitoriza e resolve problemas em tarefas ETL, para que a integração de dados decorra de forma fiável. Também pode ajudar as equipas a criar painéis personalizados com visualizações no armazém de dados da sua escolha. Pode saber mais sobre a integração com a Growth Fullstack na documentação da Tenjin.

ETL vs ELT

O ELT, ou Extract, Load, Transform, é uma abordagem alternativa ao ETL que se tornou mais comum com o surgimento dos armazéns de dados na nuvem.

A diferença reside na ordem das operações:

  • ETL: Os dados são transformados antes de serem carregados no sistema de destino
  • ELT: Os dados são carregados primeiro no sistema de destino e, em seguida, transformados nesse sistema, utilizando a própria capacidade de processamento do armazém de dados
ETL ELT
A transformação acontece Antes de carregar Após o carregamento
Mais adequado para Processos estruturados e bem definidos Análise flexível e em grande escala em armazéns de dados na nuvem
Local de processamento Camada de transformação separada No interior do armazém de destino
Flexibilidade Menos flexível depois de a conduta estar construída Mais flexível para análises pontuais

Para as equipas de marketing móvel que trabalham com grandes volumes de dados brutos de atribuição e de eventos em armazéns de dados na nuvem, o ELT é cada vez mais comum. Para as equipas que utilizam integrações e painéis de controlo pré-configurados, o ETL continua a ser a abordagem padrão.

Otimização do processo ETL e melhores práticas

Um processo ETL bem otimizado fornece dados limpos, atempados e fiáveis. Eis os princípios mais importantes a seguir:

Validar os dados em todas as fases 

Não espere até que os dados sejam carregados para verificar se existem erros. Incorpore etapas de validação nas fases de extração e transformação, para que os problemas sejam detetados atempadamente, antes de se propagarem ao longo do pipeline.

Padronizar as convenções de nomenclatura numa fase inicial

A inconsistência nos nomes e valores dos campos entre as diferentes fontes constitui uma das causas mais comuns de problemas de qualidade dos dados. Defina um esquema consistente numa fase inicial e assegure a sua aplicação durante a fase de transformação.

Monitorizar continuamente o estado do pipeline

Os pipelines ETL podem falhar sem dar sinal. Uma tarefa que deixa de ser executada nem sempre gera um erro imediatamente visível. Configure o monitorização e os alertas para que as falhas sejam detetadas rapidamente.

Plano para alterações na fonte 

As redes de publicidade e outros fornecedores de dados alteram regularmente as suas APIs e formatos de dados. Crie os seus pipelines com flexibilidade suficiente para lidar com estas alterações sem comprometer a geração de relatórios a jusante.

Registe as suas transformações 

A lógica de negócio aplicada durante a transformação, como, por exemplo, a forma como o LTV é calculado ou como as instalações são atribuídas às campanhas, deve ser documentada de forma clara. Isto garante que todos os que trabalham com os dados compreendam o que estes representam.

Teste antes Implementação das alterações 

Qualquer alteração numa transformação ou num pipeline deve ser testada com dados históricos antes de ser implementada em produção. As alterações não testadas são uma das causas mais comuns de discrepâncias nos dados.

Como a Tenjin gere o ETL

A plataforma da Tenjin executa processos ETL em segundo plano para reunir dados de redes publicitárias, do SDK e das lojas de aplicações num ambiente de relatórios unificado. Quando visualiza os valores relativos a gastos, instalações, ROAS e LTV no seu painel da Tenjin, esses valores são o resultado de pipelines ETL que ligam dados provenientes de toda a sua pilha de marketing.

Para as equipas que precisam de ir mais além e construir a sua própria infraestrutura de dados, o DataVault da Tenjin dá-lhe acesso a dados brutos de atribuição e desempenho que pode carregar no seu próprio armazém de dados e transformar de acordo com a sua própria lógica de negócio. Isto proporciona à sua equipa de dados os elementos essenciais para construir pipelines ETL personalizados com base nos dados da Tenjin, sem ficar limitada ao que está disponível no painel de controlo.

Termos relacionados

Perguntas frequentes?

O que é o ETL? 

ETL significa Extract, Transform, Load (Extrair, Transformar, Carregar). Trata-se de um processo de integração de dados em que os dados são extraídos dos sistemas de origem, convertidos para um formato consistente e carregados num sistema de destino para análise. No marketing móvel, o ETL é a forma como os dados provenientes de redes publicitárias, plataformas de atribuição e lojas de aplicações são combinados para a elaboração de relatórios unificados.

O que significa ETL? 

ETL significa Extract, Transform, Load (Extrair, Transformar, Carregar). Cada palavra descreve uma fase do processo: extrair dados das fontes, transformá-los num formato consistente e utilizável e carregá-los num sistema de armazenamento ou de análise.

O que é um pipeline ETL? 

Um pipeline ETL é um fluxo de trabalho automatizado que conduz os dados através do processo de extração, transformação e carregamento, de forma programada ou contínua. Elimina a necessidade de transferências manuais de dados e garante que estes fluam de forma fiável dos sistemas de origem para os sistemas de destino.

Por que razão o ETL é importante no marketing móvel? 

Os dados de marketing móvel provêm de diversas fontes: redes publicitárias, MMPs, lojas de aplicações, plataformas de mediação e ferramentas de análise de produtos. O ETL é o que liga essas fontes num conjunto de dados unificado que permite a elaboração de relatórios precisos sobre métricas como ROAS, CPI e LTV. Sem o ETL, cada fonte de dados permanece isolada e a análise entre fontes requer um esforço manual constante.

O Tenjin utiliza ETL? 

Sim. O Tenjin executa processos ETL para recolher e unificar dados de redes publicitárias, do SDK e das lojas de aplicações, com vista à elaboração de relatórios no painel de controlo. Para as equipas que pretendam criar a sua própria infraestrutura de dados, o DataVault disponibiliza acesso a dados brutos que podem servir de base para pipelines ETL personalizados.