LTV previsto para monetização híbrida: 4 desafios resolvidos

Jas: Quero dizer que a nossa média é, e Roman, enfatiza a palavra média, que é, sabe, a forma correta de falar sobre a precisão do modelo, muito bem. Isso é de facto muito bom. Uma precisão de 90% é fantástica e algo que é realmente raro neste sector. 

Romano: Olá a todos, bem-vindos a mais um vídeo sobre uma atualização da Tenjin. Hoje vamos falar com Jaspret, da nossa equipa de produtos. Olá, Jas. 

Jas: Olá Roman.

Romano: E estamos a falar de previsão de LTV - o que é, porque é importante e como pode aceder a ela na Tenjin. Por isso, sim, vamos começar com algumas palavras sobre ti Jas.

Jas: Obrigado, Roman. Olá a todos, chamo-me Jas ou Jaspreet e sou o gestor de produtos da Tenjin. Normalmente, trabalho na área dos dados e dashboards, e criámos o LTV preditivo (pLTV), especialmente para todos vós. 

Romano: Exatamente. Preparámos alguns diapositivos para este vídeo. Vou partilhar o meu ecrã e vamos analisá-los e ter uma espécie de conversa sobre o produto. 

Portanto, sim, a previsão do LTV foi feita à medida das aplicações com monetização híbrida. Híbrido é um novo hiper agora. Há muito entusiasmo, mas sentimos que não há ferramentas suficientes para esse subconjunto de aplicativos. E a previsão de LTV é uma ferramenta essencial quando se faz aquisição de utilizadores para um jogo híbrido. 

Vamos ver porque é que precisa de o usar. Queres comentar, Jas?

Jas: Sim, sem dúvida, penso que o Roman faz uma excelente observação. Precisamos de mais ferramentas para híbridos, que tendem a faltar. Mas na Tenjiin, estamos muito concentrados nisto. 

Só para fazer uma pequena introdução, centrando-me especificamente nas aplicações híbridas. Assim, para as aplicações que têm anúncios in-app (IAA) puros, a sua receita irá provavelmente amadurecer muito mais rapidamente, certo? Por exemplo, no dia 3 ou no dia 7. Já no caso das aplicações híbridas ou das aplicações que utilizam muitas compras in-app (IAP), a sua receita de IAA pode amadurecer mais rapidamente, mas a sua receita de IAP pode demorar semanas ou meses a amadurecer. 

É por isso que temos o pLTV para aplicações híbridas! Com o pLTV, não precisa de esperar que as coortes amadureçam. Ou, por exemplo, esperar para fazer as optimizações de campanha após o dia 30, dia 60 ou mais. Em vez disso, pode tomar a sua decisão de otimização de campanha muito mais cedo, certo? Assim, em vez de esperar tanto tempo, à espera que as suas coortes amadureçam, pode agir no segundo dia, por exemplo.  

Romano: E aqui tenho este exemplo hipotético da Campanha A e da Campanha B. Como podemos ver aqui no dia 0, é como se a Campanha B fosse uma clara vencedora aqui. No entanto, isto pode não ser verdade para uma aplicação híbrida, porque um utilizador pode entrar, fazer uma compra e isso irá sobrepor-se a todas as receitas que foram obtidas através da exibição dos anúncios. E aqui está como seria se houvesse previsões para o dia 14.  

Já trabalhámos com algumas empresas neste domínio. A Jas trabalhou em estreita colaboração com o James e a sua equipa em todo o projeto de LTV preditivo. E sim, vamos ler a citação: 

"Utilizamos as métricas pLTV da Tenjin para monitorizar o desempenho de novas coortes em tempo real, sem ter de esperar por dados a longo prazo. Isto permite-nos tomar decisões de UA muito mais rapidamente." - James McClelland, Tapped

Isto é exatamente o que a Jas acabou de dizer, certo? 

Jas: Sim. Sim. Sabe, Roman, quando estávamos a desenvolver o produto para o LTV previsto, trabalhámos muito com os clientes, muito de perto, e a Tapped foi um dos clientes, mesmo na fase Alfa. Utilizaram as nossas previsões desde muito antes e agora este produto está disponível para todos e pode ser utilizado por todos.

Recebemos reacções muito semelhantes de quase todos os nossos clientes. Ficamos a saber como é que eles

e são capazes de tomar decisões sobre a aquisição de utilizadores muito mais rapidamente, certo? 

Romano: E aqui está, mais uma vez, a ênfase na rapidez. Portanto, se estou à espera de 14 dias, preciso de ver qual é a campanha com melhor desempenho. Se utilizar a previsão de LTV antes do 14º dia, ou seja qual for o dia, pode reinvestir o dinheiro mais rapidamente, como pode ver aqui... vai receber mais dinheiro no final. 

Roman: Talvez para alguém que não saiba o que é uma aplicação híbrida, vamos falar sobre isso. Jas, o que é uma aplicação híbrida?

Jas: Fixe. Fixe. Quando dizemos aplicações híbridas, referimo-nos a uma aplicação que utiliza os dois modelos de receitas que vos apresentei rapidamente no início deste vídeo, certo? Um deles é a publicidade in-app, o que basicamente significa que a aplicação gera receitas mostrando anúncios aos utilizadores. E o outro modelo de negócio é o IAP, ou compras na aplicação. Assim, as compras na aplicação podem ser produtos vendidos uma única vez, subscrições, ou outras coisas, mas também se ganha dinheiro com a venda de um produto na aplicação. 

Portanto, as aplicações híbridas fazem ambas as coisas, certo? Ganham dinheiro com a apresentação de anúncios e os utilizadores podem comprar os seus produtos dentro da aplicação. Assim, é possível ganhar dinheiro tanto com anúncios como com compras.

E quando uma aplicação utiliza estes dois modelos em conjunto, chamamos-lhes aplicações híbridas. Agora pode ver que esta é uma aplicação como exemplo da distribuição de anúncios na aplicação versus compras na aplicação. Pode variar. Pode ser, por exemplo, 20% IAA e 80% IAP. Mas este é um ótimo exemplo de como é uma aplicação híbrida.

Romano: Exatamente E parece que o futuro são as aplicações híbridas...  

Jas: 100%

Romano: Certo, então uma das coisas, mas é um desafio certo, porque é tão novo. Por isso, é um desafio prever o LTV das aplicações híbridas. No passado, era possível encontrar previsões de LTV para compras de aplicações IAA. Até agora, ninguém fez previsões para aplicativos híbridos. Por isso, destacámos aqui a palavra rede neuronal. Talvez eu peça apenas para comentar

e falar um pouco mais sobre a forma como abordou este desafio.

Jas: Fixe. Pois é. O Roman tem toda a razão quando diz que a Tenjin está a resolver este problema de uma forma única, porque há falta de ferramentas que suportem aplicações híbridas. Neste momento, estamos a concentrar-nos nesse mercado e, Roman, tem toda a razão quando diz que esse é o futuro. É isso que estamos a ver do ponto de vista da indústria. 

E, obviamente, quando se trata de decisões de aquisição de utilizadores ou de otimização de campanhas, como lhe quiser chamar, estamos a utilizar dados de mediação de anúncios. Falaremos mais sobre isso mais tarde. 

Estamos a utilizar muitos dados altamente granulares disponíveis ao nível da impressão do anúncio e do utilizador. E o mesmo se passa com os dados de compras na aplicação. E quando estamos a utilizar muitos destes dados, queremos um algoritmo de aprendizagem automática que consiga lidar muito bem com eles e com este desafio único

de que está a falar - para suportar aplicações híbridas. E as redes neuronais são uma escolha natural para isso. 

Não quero aprofundar muito o aspeto técnico do que são as redes neuronais, mas pode pensar-se nas redes neuronais como um, na verdade chamam-se redes neuronais artificiais. 

São tecnologias de aprendizagem automática, uma das tecnologias de aprendizagem automática em que se pode treinar o modelo e depois treinar o modelo utilizando dados históricos e esse modelo é capaz de aprender com padrões e tendências históricos e depois fazer previsões. 

Não sei, Roman, se tiveres mais perguntas, posso continuar a falar sobre isto. Uma das razões pelas quais utilizámos uma rede neural em vez de outras coisas. No nosso ciclo de desenvolvimento de produtos, procurámos utilizar modelos mais simples. Utilizámos muitos outros parâmetros de referência, muitos parâmetros de referência. 

Fizemos muitos testes de referência e, para nós, as redes neurais foram a escolha absolutamente correta porque: 

A) São capazes de lidar muito bem com grandes volumes de dados, que é exatamente o que este desafio único propõe e

B) São capazes de encontrar padrões, são capazes de aprender muito bem com as tendências, pelo que não é necessário efetuar muito processamento de caraterísticas. 

Porque é que alguém usaria as previsões da Tenjin em vez de fazer as suas próprias previsões? Falaremos mais sobre isso, mas do ponto de vista da rede neural, queremos que este modelo aprenda com os dados de todas as aplicações e de todas as organizações e encontre padrões. Por isso, mesmo que a sua campanha seja nova, digamos, e não tenha quaisquer dados no passado, o nosso modelo vai aprender com aplicações e organizações semelhantes e fazer previsões precisas para a sua campanha.

Romano: Sim, era essa a minha pergunta, de facto. Vamos analisar alguns desafios das aplicações híbridas. Na verdade, já mencionou isso, certo?

Jas: Sim, eu fiz. Sim, eu fiz.

Romano: Uh, muitos sinais e usamos impressões, impressões de anúncios. E entregamos... talvez possamos falar sobre as coortes. As previsões estão disponíveis no dia zero, certo?

Jas: Sim. Então, deixe-me reformular a frase. O nosso modelo aprende utilizando a coorte do dia zero, quaisquer que sejam os dados disponíveis e utilizando a coorte do dia zero, fará previsões para todas as coortes no futuro até ao dia 30. Neste momento, estamos concentrados no dia 30. Vamos adicionar, bem - estamos a meio da adição de suporte para coortes mais longas até ao dia 365.

Mas é isso que estamos a fazer neste momento: pegar nos dados do dia zero, aprender padrões a partir deles e fazer previsões para coortes até ao dia 30. 

Romano: E acho que um dos mais importantes que estamos a mostrar, se estivermos a falar de aplicações que mostram anúncios, é uma impressão de anúncio, certo?

Jas: Sim. Como se trata de uma campanha, o caso de utilização é a aquisição de utilizadores e a otimização da campanha. Estamos a utilizar impressões de anúncios muito granulares como uma das funcionalidades. Temos muitas funcionalidades que estamos a utilizar, cerca de uma centena, e esta é uma delas.

Romano: Sim. Sim. Pois é. Isto é só para responder a uma das perguntas que eu tinha, também internamente. Como é que nos certificamos de que as previsões iniciais (porque, desde os tempos da hiper casualidade, sei que este é um dos factores mais importantes a compreender) são feitas logo no início da campanha. Como se precisássemos de previsões antecipadas e tardias e é por isso e como o fazemos. 

O próximo desafio (foi mencionado no exemplo de um dos primeiros diapositivos). Tínhamos duas campanhas e, a dada altura, a Campanha A ficou melhor do que a Campanha B, presumivelmente graças à compra. Pois bem. E, por isso, actualizamos uma previsão de duas em duas horas. Pode explicar o que isso significa?

Jas: Sim. Portanto, estamos a utilizar muitos dos seus dados, como centenas de funcionalidades: as distribuições das impressões dos seus anúncios, o desempenho da sua campanha com base nas alterações que fez à sua campanha, como lances, etc. E outras coisas reais que estão a acontecer mesmo à margem de toda a sua estratégia de UA. 

Assim, todos esses dados são introduzidos no modelo e, com base neles, o modelo efectua novas previsões. Especialmente quando as coortes não estão maduras, certo? Quando as coortes estão maduras, o modelo já tem muitos desses dados e fez previsões muito boas e precisas. Mas, especialmente quando estamos a fazer alterações, sabemos que estão a ocorrer alterações nas nossas campanhas. É por isso que fazemos previsões rapidamente, para ter em conta todas as alterações do mundo real que estão a acontecer ou as alterações de distribuição que estão a acontecer e, em seguida, damos-lhe novas previsões que reflectem a realidade desse mundo. 

Romano: É o mesmo nas primeiras duas horas, por isso iniciei uma campanha. Estou a começar a ver os dados da campanha. Isso significa que, nas duas horas seguintes, devo obter algumas previsões de LTV ou preciso de esperar mais tempo? 

Jas: Roman, o meu entendimento é que precisamos de dados maduros, como os do dia zero, e depois podemos fazer previsões do dia 1 ao 30. Digamos que regressa no primeiro dia, certo? Portanto, no primeiro dia e até ao 30º dia, é óbvio que as suas coortes ainda não amadureceram. 

Utilizamos as coortes imaturas também como uma das caraterísticas e adicionamos esses dados ao modelo e, em seguida, o modelo fará a previsão com base neles. Certo? Assim, de duas em duas horas, as suas coortes também estão a amadurecer e o modelo tem isso em conta e dá-lhe novas previsões, do dia 1 ao dia 30. É basicamente isso que estamos a fazer.

Romano: Super apanhado. O desafio número três, como referi, já havia produtos que podiam fazer previsões para o IIA ou o IIP.

Jas: Mhm. Decidimos fazer a previsão numa única métrica para ambos e disponibilizámo-la no painel de controlo. 

Romano: Talvez a Jas nos possa explicar um pouco do que se pensou quando isto foi decidido... Porque é que fazemos isto?

Jas: Sim. Assim, para o desenvolvimento da gestão de produtos, a forma como queríamos abordar este problema era construir, sabe, um Alpha muito rapidamente. E vamos fazer com que alguns dos nossos clientes dêem o feedback e depois evoluir o produto organicamente.

Enquanto estávamos a fazer isto, recebemos muito do feedback inicial. Esse feedback inicial é muito importante para criar um bom produto especificamente para a previsão de LTV. Queremos construir algo rápido que resolva o caso de utilização híbrido, por isso optámos por esta métrica. 

Assim, os nossos clientes actuais sabem que temos LTV, uma métrica combinada de LTV que é o LTV real que está disponível depois de as suas coortes terem atingido a maturidade. Também está disponível para dados de coortes imaturas. 

E sabemos que as aplicações híbridas utilizam muito essa métrica. Por isso, quisemos fornecer uma métrica semelhante que combina anúncios in-app e IAP. 

No caso específico da Tenjin, os nossos dados e a nossa infraestrutura de comunicação foram concebidos de forma a que já dispuséssemos do LTV histórico ou real. Acabámos por fazer previsões para essa métrica. Pense nessa métrica como o seu eixo Y na terminologia de aprendizagem automática e, em seguida, utilizará todas as tendências históricas e fará uma previsão para esse direito, e é isso que estamos a fazer. 

Portanto, A) foi uma decisão do ponto de vista do produto, porque sabemos que os nossos clientes utilizam este produto e que este vai ter um grande impacto para eles. E depois, utilizando esta métrica, podemos agora fornecer métricas derivadas previstas, como o pROAS e o pROI. Mas, obviamente, a nossa infraestrutura, a infraestrutura de relatórios e a infraestrutura de dados estão construídas de tal forma que é muito mais fácil fazer previsões para este LTV real.

Romano: Apanhei-te. Passemos agora ao último desafio das aplicações híbridas, que é a precisão. Temos uma precisão impressionante, uma precisão média de 90%.

Jas: Sim.

Romano: Foi sempre assim? Tivemos de trabalhar nisso? Talvez tenha alguma referência sobre o sector.

Jas: Sim. Esta é uma óptima pergunta e quero dizer que a nossa média é, e Roman, enfatiza a palavra média, que é, sabe, a forma correta de falar sobre a precisão do modelo, muito bem. De facto, isso é muito bom. Uma precisão de 90% é fantástica e algo que é realmente raro neste sector. 

Nem sempre foi esse o caso. Como disse, mencionei brevemente no início deste vídeo, a forma como desenvolvemos o produto. Começámos com a produção beta Alfa. Obviamente, para o Alpha, a precisão não era tão boa. 

Antes mesmo de o Alpha ser lançado, fizemos uma avaliação comparativa interna. O nosso GFS tinha previsões e nós avaliámo-las, e depois fizemos a nossa própria avaliação comparativa interna com outros modelos de aprendizagem automática. E, depois, a forma como se desenvolve a aprendizagem automática é analisar diferentes caraterísticas: ver qual delas está a dar uma boa precisão, qual delas arruína a precisão, fazer alguma engenharia de caraterísticas, compreender muito bem os dados, compreender muito bem o negócio. 

Esta é uma forma muito orgânica de fazermos as coisas, certo? Por exemplo, como é que os clientes tomam decisões? Falam com especialistas, por exemplo. Portanto, muito disso foi utilizado na construção do LTV previsto e é por isso que penso que esta precisão de 90% que recebemos foi possível. Isso deve-se ao facto de termos acrescentado muitas dessas informações especializadas e abordado este problema da perspetiva do cliente. 

Como é que eles tomam decisões? Envolvemo-los desde o início, por isso foi um processo longo. Não foi um processo fácil de o conseguir. Trabalhámos arduamente para conseguir a precisão de 90%. Dito isto, gostaria de mencionar que, embora o nosso desempenho médio do modelo seja de 90%, a precisão varia de campanha para campanha, de aplicação para aplicação e de país para país. 

Acho que me esqueci de mencionar isto, mas as nossas previsões estão disponíveis ao nível da aplicação, da campanha e do país. Assim, pode atribuir um orçamento com base em diferentes países para as suas campanhas, diferentes campanhas, diferentes canais, certo? Por exemplo, se o seu canal A não estiver a ter um bom desempenho neste país, pode fazer todo o tipo de coisas para todo o tipo de países, canais e campanhas.

Quando se trata da precisão de um modelo de aprendizagem automática, esta pode variar entre diferentes campanhas e diferentes países, certo? 90% é a média. Até agora, os nossos clientes disseram que viram uma precisão de 90%, o que é ótimo, mas quero acrescentar esta advertência de que a sua precisão pode depender do seu país e da sua campanha e canais, razão pela qual estamos a pensar em adicionar intervalos de confiança no futuro. Assim, isto ajudá-lo-á a tomar as suas decisões com muito mais confiança.

Romano: É verdade. Pois é. Sim, acho que este é um ponto importante a salientar. Mais uma vez, é como se fosse uma média, embora seja um ótimo resultado. Mas depende realmente de muitos factores. Não deixa de ser uma previsão. Fixe. Acho que este foi o último desafio, agora a questão principal é como começar. 

Está disponível em todos os planos pagos. Por isso, começámos com uma funcionalidade de cancelamento a qualquer momento. Por isso, pode começar connosco, pagar 200 dólares e ter acesso ao LTV preditivo. Se já é cliente da Tenjin, então já tem acesso a ele. 

Basta clicar na métrica de edição no painel de controlo e encontrar as métricas LTV previsto (pLTV), ROAS previsto (pROAS) e ROI previsto (pROI). Por isso, não é preciso ter recursos, basta experimentar e ver como funciona. Se já experimentou, deixe-nos um comentário. Se tiveres alguma dúvida, deixa-nos também um comentário. 

Alguma última ideia, Jas?

Jas: Sim, só quero dizer ao Roman que agradeço o facto de ter destacado este aspeto. Utilizar o Tenjin é agora mais fácil do que nunca. Basta aceder ao nosso painel de controlo. Só precisa de subscrever o nosso plano $200 e pode cancelá-lo sempre que quiser. Por isso, se estiveres interessado, experimenta. Hum, sim. E gostaríamos de receber o vosso feedback sobre isto, ou qualquer outra coisa.

Romano: Muito bom. Muito obrigado, Jess. Dá-nos um like se gostaste deste vídeo. Podemos fazer mais vídeos. Esse é apenas um caso de uso para LTV previsto. Há mais. Também podemos mostrar uma demonstração. Há muito conteúdo para explorar aqui. Então...

Jas: Sim, há. Posso falar sem parar sobre isto, acho que durante três ou quatro horas seguidas. Podemos falar de coisas técnicas. Podemos falar sobre o caso de uso de fraude que eu não mencionei. Como configurá-lo. Portanto, sim, fiquem atentos a mais conteúdo. 

Romano: Exatamente. Muito bem, muito obrigado Jas e obrigado por... 

Jas: Muito obrigado Roman, sim! Saúde, adeus.