Definição:
O teste A/B é o processo de comparar duas versões de um conteúdo criativo, de uma mensagem ou de uma funcionalidade, para determinar qual delas apresenta melhor desempenho. No marketing de aplicações móveis, é um dos métodos mais fiáveis para melhorar as instalações, a retenção e as conversões na aplicação, permitindo que os dados orientem todas as decisões.
O que é o teste A/B?
Os testes A/B funcionam dividindo o público em dois grupos. Um grupo vê a versão A e o outro vê a versão B. As duas versões são avaliadas em relação a um objetivo definido e a versão com melhor desempenho passa a ser a nova referência.
O objetivo pode ser praticamente qualquer coisa: mais instalações, taxas de cliques mais elevadas, melhores conversões no paywall ou maior retenção. O importante é defini-lo antes do início do teste.
Assim que se tiver uma versão vencedora, não se deve parar. Deve-se pegar nessa versão e testar a variável seguinte. Este processo iterativo é o que torna os testes A/B em dispositivos móveis uma ferramenta tão poderosa para a melhoria do desempenho a longo prazo. Pequenos ganhos consistentes acumulam-se ao longo do tempo.
Como funciona o teste A/B?
Todos os testes A/B seguem uma estrutura simples:
- Grupo de controlo: a versão original, sem alterações
- Grupo de tratamento: a nova versão com uma variável alterada
- Métrica de objetivo: o KPI que está a medir, como a taxa de cliques, a taxa de instalação ou a conversão de compras na aplicação
Os dois grupos devem ter, aproximadamente, o mesmo tamanho e ser expostos às respetivas versões ao mesmo tempo. Isto permite manter o teste controlado e os resultados fiáveis.
Após um período de teste definido, compara-se os resultados. Se o grupo de tratamento apresentar um desempenho superior ao do grupo de controlo na métrica-alvo, tem-se um vencedor. Implementa-se a versão vencedora e passa-se para o próximo teste.
Testes A/B no marketing de aplicações móveis
Os testes A/B de aplicações móveis aplicam-se a todas as fases da jornada do utilizador. Eis as áreas mais comuns em que os profissionais de marketing móvel realizam testes:
Anúncios publicitários
Teste difimagens, textos ou chamadas à ação diferentes nas suas campanhas pagas. Descubra qual a combinação que gera mais instalações ou atrai os utilizadores de maior qualidade.
Páginas da App Store
O ícone da sua aplicação, as capturas de ecrã e a descrição influenciam as taxas de instalação. A realização de testes A/B aos recursos da loja de aplicações pode aumentar significativamente as conversões orgânicas sem aumentar os custos.
Fluxos de integração
Uma experiência de integração mais fluida contribui para uma melhor retenção. Teste diferentes fluxos para reduzir a desistência e levar os utilizadores à sua primeira ação-chave mais rapidamente.
Barreiras de acesso e ofertas
No caso dos jogos para dispositivos móveis e das aplicações por assinatura, testar o design do sistema de acesso pago, os preços e a forma como as ofertas são apresentadas pode ter um impacto direto nas receitas.
Notificações push
O momento certo, o tom e o comprimento da mensagem influenciam as taxas de abertura. Os testes A/B em dispositivos móveis com conteúdo push ajudam-no a encontrar a mensagem certa para o momento certo.
Testes A/B iOS: O que é preciso saber
Os testes A/B do iOS implicam algumas considerações específicas. Desde a versão 14 do iOS, as alterações em matéria de privacidade afetaram a forma como os dados ao nível do utilizador são recolhidos e atribuídos nos dispositivos da Apple. Isto significa que os seus grupos de teste têm de ser maiores para atingirem significância estatística e que a sua abordagem de medição tem de ter em conta as limitações de atribuição.
Recorrer a um parceiro de medição móvel de confiança ajuda-o a realizar testes A/B iOS mais precisos, fornecendo-lhe dados exatos e em conformidade com as normas de privacidade para trabalhar. Sem uma atribuição sólida, é difícil saber se os resultados dos seus testes refletem uma diferença real ou se são apenas ruído nos dados.
Exemplo de teste A/B para aplicações móveis
Imagina que estás a realizar uma campanha de aquisição de utilizadores para um jogo para telemóvel. A tua taxa de instalações está abaixo do esperado e queres melhorá-la.
Identifica duas hipóteses:
- Um vídeo criativo sobre a jogabilidade terá um desempenho superior ao de um banner estático
- Uma chamada à ação que diga "Jogar grátis" terá um desempenho superior a uma que diga "Descarregar agora"
Executa-se ambos como testes A/B separados, cada um com um grupo de controlo e um grupo de tratamento. Após duas semanas, o vídeo de jogabilidade gera 34% mais instalações do que o banner estático. O teste do CTA não revela qualquer diferença significativa.
Divulga o vídeo de jogabilidade ao longo da campanha e passa a testar a próxima variável, talvez os primeiros cinco segundos do próprio vídeo.
É assim que os testes A/B iterativos de aplicações móveis funcionam na prática. Cada teste baseia-se no anterior.
Melhores práticas para testes A/B em dispositivos móveis
- Teste uma variável de cada vez. Alterar vários elementos ao mesmo tempo torna impossível saber o que determinou o resultado.
- Defina o seu objetivo antes de começar. Saiba o que vai medir e porquê antes de o teste entrar em funcionamento.
- Realize os testes durante um período de tempo suficiente. Terminar um teste demasiado cedo pode produzir resultados enganadores. Dê-lhe tempo suficiente para atingir significância estatística.
- Utilize dados fiáveis. Uma atribuição precisa é a base de testes A/B fiáveis. Se os seus dados estiverem errados, as suas conclusões também o estarão.
- Documente tudo. Mantenha um registo do que testou, do que descobriu e do que alterou. Isto contribui para a construção do conhecimento institucional ao longo do tempo.
Termos relacionados
Perguntas frequentes?
O que é o teste A/B em aplicações móveis?
O teste A/B de aplicações móveis consiste em comparar duas versões de uma experiência na aplicação, de um anúncio ou de um fluxo de utilizador, para determinar qual delas apresenta melhor desempenho. Divide-se o público em dois grupos, apresenta-se a cada grupo uma versão diferente e avalia-se qual delas atinge a métrica-alvo de forma mais eficaz.
Em que medida é que os testes A/B da iOS diferem das outras plataformas?
Os testes A/B iOS requerem uma atenção especial devido às alterações em matéria de privacidade introduzidas pela Apple com o iOS 14. Os dados ao nível do utilizador são mais limitados, o que significa que são necessárias amostras de maior dimensão para atingir significância estatística. Trabalhar com uma MMP que suporte a atribuição em conformidade com as normas de privacidade torna os testes A/B iOS mais precisos e úteis.
Durante quanto tempo se deve realizar um teste A/B?
Não existe uma resposta universal, mas a maioria dos testes A/B em dispositivos móveis necessita de, pelo menos, uma a duas semanas para gerar resultados fiáveis. Realizar um teste durante um período demasiado curto implica o risco de se tirarem conclusões a partir de dados que ainda não se estabilizaram. A duração adequada depende do seu volume de tráfego e da rapidez com que se atinge a significância estatística.
O que se pode testar através de testes A/B numa campanha de marketing móvel?
É possível testar praticamente qualquer variável que afete o comportamento do utilizador. Entre os exemplos mais comuns contam-se os criativos publicitários, as imagens de ecrã nas lojas de aplicações, os fluxos de integração, os designs dos paywalls, o texto das notificações push e a formulação dos CTAs. O segredo é testar uma variável de cada vez, para que se possa atribuir claramente qualquer alteração no desempenho ao elemento que foi alterado.