LTV previsto para la monetización híbrida: 4 retos resueltos

Jas: Quiero decir que nuestro promedio es, y Roman, usted hace hincapié en la palabra promedio, que es, ya sabes, la forma correcta de hablar de la precisión del modelo, muy bien. Um eso es realmente muy bueno. Una precisión de 90% es fantástico y algo que es realmente raro en esta industria. 

Romano: Hola a todos, bienvenidos a otro vídeo sobre una actualización de Tenjin. Hoy hablamos con Jaspret, de nuestro equipo de producto. Hola Jas. 

Jas: Hola Roman.

Romano: Y estamos hablando de la predicción LTV: qué es, por qué es importante y cómo puedes acceder a ella en Tenjin. Así que sí, vamos a empezar con unas palabras sobre ti Jas.

Jas: Gracias, Roman. Hola a todos, soy Jas o Jaspreet, y soy el Gerente de Producto del Personal en Tenjin. Normalmente trabajo en el lado de los datos y el tablero de instrumentos de las cosas, y hemos construido predictivo LTV (pLTV), especialmente para todos ustedes por ahí. 

Romano: Exacto. Uh, hemos preparado para este video un par de diapositivas. Voy a compartir mi pantalla y vamos a ir a través de ellos y vamos a tener una especie de conversación producto. 

Así que sí, predicción LTV a medida para aplicaciones con monetización híbrida. Híbrido es un nuevo hiper ahora. Hay mucho bombo, pero sentimos que no hay suficientes herramientas construidas para ese subconjunto de aplicaciones. La predicción de LTV es una herramienta esencial para la adquisición de usuarios en un juego híbrido. 

Veamos por qué necesitas usarlo. ¿Quieres comentar algo, Jas?

Jas: Sí, por supuesto, creo que Roman, tienes razón. Necesitamos más herramientas para híbridos, tienden a faltar por ahí. Pero en Tenjiin, estamos muy centrados en esto. 

Sólo para hacer una pequeña introducción, centrándome específicamente en los híbridos. Así que para las aplicaciones que tienen puros anuncios in-app (IAA), sus ingresos lo más probable es madurar mucho más rápido, ¿verdad? Por ejemplo, en el tercer o séptimo día. Mientras que para las aplicaciones híbridas o aplicaciones que utilizan una gran cantidad de compras dentro de la aplicación (IAP), sus ingresos IAA pueden madurar más rápido, pero sus ingresos IAP pueden tardar semanas o meses en madurar. 

Por eso tenemos pLTV para aplicaciones híbridas. Con pLTV, no necesita esperar a que las cohortes maduren. O, como esperar a hacer sus optimizaciones de campaña después del día 30, día 60, o más. En lugar de eso, puede tomar su decisión de optimización de campaña mucho antes, ¿verdad? Así que en lugar de esperar tanto tiempo, esperando a que sus cohortes maduren, puede actuar en el segundo día, por ejemplo.  

Romano: Y aquí tengo este ejemplo hipotético de la Campaña A y la Campaña B. Como podemos ver aquí en el día 0, es como si la Campaña B fuera un claro ganador aquí. Sin embargo, podría no ser la verdad para una aplicación híbrida porque un usuario podría entrar, hacer una compra y superaría todos los ingresos que se habían obtenido mostrando los anuncios. Y así es como se vería si hubiera predicciones para el día 14.  

Ya hemos trabajado con un par de empresas en esto. Jas trabajó en estrecha colaboración con James y el equipo para trabajar en todo el proyecto predictivo LTV. Y uh sí, vamos a leer la cita: 

"Utilizamos las métricas pLTV de Tenjin para supervisar el rendimiento de las nuevas cohortes en tiempo real sin tener que esperar a los datos a largo plazo. Esto nos permite tomar decisiones de UA mucho más rápido". - James McClelland, Tapped

Esto es exactamente lo que Jas acaba de decir, ¿verdad? 

Jas: Sí. Sí. Um, ya sabes Roman, cuando estábamos haciendo el desarrollo de productos para la predicción de LTV trabajamos mucho con los clientes, muy de cerca y Tapped fue uno de los clientes, incluso en, como, la etapa Alfa. Utilizaron nuestras predicciones desde mucho antes y ahora este producto está fuera para todo el mundo y está disponible para todo el mundo a utilizar.

Hemos recibido comentarios muy similares de casi todos nuestros clientes. Te enteras de cómo están

usando esto y son capaces de tomar decisiones de adquisición de usuarios mucho mucho más rápido, correcto. 

Roman: Y aquí está de nuevo, como, un énfasis en la velocidad. Así que si estoy esperando durante 14 días, entonces tengo que ver qué campaña realmente se desempeña mejor. Si utilizo la predicción LTV antes del día 14 o el día que sea, puedes reinvertir el dinero más rápido, como puedes ver aquí... simplemente obtendrás más dinero al final. 

Roman: Um, tal vez para alguien que no sabe lo que es una aplicación híbrida, eh vamos a hablar de eso. Jas, ¿qué es una aplicación híbrida?

Jas: Genial. Sí. Cuando decimos aplicaciones híbridas, nos referimos a una aplicación que utiliza los dos modelos de ingresos que te presenté rápidamente al principio de este vídeo, ¿vale? Uno de ellos es la publicidad in-app, que básicamente significa que tu aplicación obtiene ingresos mostrando anuncios a tus usuarios. Y el otro modelo de negocio es IAP, o compras dentro de la aplicación. Las compras dentro de la aplicación pueden ser productos que se venden una sola vez, suscripciones u otras cosas, pero también se gana dinero vendiendo un producto dentro de la aplicación. 

Las aplicaciones híbridas hacen ambas cosas, ¿verdad? Hacen dinero mostrando anuncios y también tus usuarios pueden comprar tus productos dentro de tu aplicación. Así que puedes ganar dinero tanto con anuncios como con compras.

Y cuando una aplicación utiliza estos dos modelos a la vez, las llamamos aplicaciones híbridas. Ahora puedes ver esta aplicación como ejemplo de la distribución de los anuncios en la aplicación frente a las compras en la aplicación. Puede variar. Puede ser como no sé 20% IAA y 80% IAP. Um, pero este es un gran ejemplo aquí de lo que una aplicación híbrida parece.

Romano: Exacto Y parece que el futuro son las aplicaciones híbridas...  

Jas: 100%

Romano: Correcto, así que una de las cosas, pero es un reto derecho, porque es tan nuevo. Así que es un reto predecir LTV aplicaciones híbridas. En el pasado podías encontrar predicciones de LTV para compras de aplicaciones IAA. Hasta ahora nadie ha hecho predicciones para aplicaciones híbridas. Así que aquí hemos resaltado la palabra red neuronal. Tal vez voy a pedir sólo para que usted pueda comentar sobre eso

y háblanos un poco más de cómo te planteaste este reto.

Jas: Genial. Sí. Roman tiene toda la razón en que Tenjin está resolviendo este problema de una manera única, porque hay una falta de herramientas que soporten aplicaciones híbridas. Ahora mismo nos estamos centrando en ese mercado y, Roman, tienes toda la razón en que ese es el futuro. Eso es lo que estamos viendo desde el punto de vista de la industria. 

Y, obviamente, cuando se trata de decisiones de adquisición de usuarios u optimización de campañas, um como quieras llamarlo, estamos utilizando datos de mediación de anuncios. Hablaremos más sobre eso más adelante. 

Utilizamos muchos datos muy granulares disponibles a nivel de impresión publicitaria y de usuario. Y lo mismo ocurre con los datos de compra dentro de la aplicación. Y cuando estás usando muchos de estos datos, quieres un algoritmo de aprendizaje automático que pueda manejarlo realmente bien y que pueda manejar este desafío único...

de la que estás hablando, para soportar aplicaciones híbridas. Y las redes neuronales son una opción natural para ello. 

No quiero profundizar demasiado en el aspecto técnico de lo que son las redes neuronales, pero se puede pensar en las redes neuronales como um, en realidad se llaman redes neuronales artificiales. 

Son de aprendizaje automático, una de las tecnologías de aprendizaje automático en las que puedes entrenar tu modelo y luego entrenar tu modelo utilizando datos históricos y ese modelo es capaz de aprender de patrones y tendencias históricas y luego hacer predicciones. 

Uh no sé Roman si tienes más preguntas puedo seguir hablando de esto. Um una cosa por qué utilizamos una red neuronal frente a otras cosas. Así que en nuestro ciclo de desarrollo de productos, nos fijamos en el uso de modelos más simples. Lo hicimos, ya sabes, utilizar muchos otros puntos de referencia, una gran cantidad de puntos de referencia. 

Hemos hecho muchas pruebas comparativas, y para nosotros las redes neuronales eran la opción absolutamente correcta porque: 

A) Son capaces de manejar grandes volúmenes de datos realmente bien, que es exactamente lo que propone este reto único y

B) Son capaces de encontrar patrones, son capaces de aprender de las tendencias realmente bien, por lo que no tienes que hacer un montón de procesamiento de características. 

¿Por qué alguien utilizaría las predicciones de Tenjin en lugar de hacer sus propias cosas? Ya hablaremos de ello, pero desde el punto de vista de las redes neuronales queremos que este modelo aprenda de los datos de todas las aplicaciones y organizaciones y encuentre patrones. Así que incluso si tu campaña es nueva, digamos, y no tiene ningún dato en el pasado, nuestro modelo aprenderá de aplicaciones similares y organizaciones similares y hará predicciones precisas para tu campaña.

Romano: Sí, esa era mi pregunta en realidad. Vamos a repasar algunos retos para las aplicaciones híbridas. En realidad ya mencionaste esto, ¿verdad?

Jas: Sí, lo hice. Sí.

Romano: Uh muchas señales y usamos impresiones, impresiones de anuncios. Um y entregamos ... tal vez podamos hablar de las cohortes. Las predicciones están disponibles en el día cero, ¿verdad?

Jas: Sí. Así que uh déjame decirlo de otra manera en realidad. Um por lo que nuestro modelo aprende el uso de cohorte de día cero, los datos disponibles y el uso de cohorte de día cero que va a hacer predicciones para todas las cohortes en el futuro hasta el día 30. Nos centramos en el día 30 en este momento. Vamos a añadir, bueno - estamos en el medio de la adición de apoyo a las cohortes más largas hasta el día 365.

Pero eso es lo que estamos haciendo ahora: tomará tus datos del día cero, aprenderá patrones de ellos y hará predicciones para cohortes hasta el día 30. 

Romano: Y supongo que uno de los más importantes que mostramos, si hablamos de las aplicaciones que muestran anuncios, es como una impresión de anuncio, ¿verdad?

Jas: Sí. Como se trata de una campaña, el caso de uso es la adquisición de usuarios y la optimización de la campaña. Estamos utilizando impresiones de anuncios muy granular como una de las características. Usamos muchas funciones, unas cien, y ésta es una de ellas.

Romano: Sí. Sí, sí. Sí. Esto es sólo para responder a una de las preguntas que tenía, también internamente. ¿Cómo nos aseguramos de que las predicciones tempranas, (porque desde los días hiper casual, sé que este es uno de los factores súper importantes para entender) cómo la campaña se realiza desde el principio. Al igual que usted necesita tanto temprano y tarde y esto es por qué y cómo lo hacemos. 

El siguiente reto (se mencionó en el ejemplo de una de las primeras diapositivas). Teníamos dos campañas y, en algún momento, la Campaña A llegó a ser mejor que la Campaña B, presumiblemente gracias a la compra. Correcto. Y, entonces actualizamos una predicción cada dos horas. ¿Puede explicar lo que significa?

Jas: Sí. Así que estamos utilizando una gran cantidad de sus datos, como cientos de características: las distribuciones de sus impresiones de anuncios, cómo su campaña se está realizando sobre la base de los cambios que ha hecho , a su campaña como ofertas, etc. Y otras cosas reales que suceden fuera de toda tu estrategia de UA. 

Así que todos esos datos van al modelo y luego el modelo hará nuevas predicciones basadas en ellos. Especialmente cuando tus cohortes no están maduras, ¿verdad? Una vez que tus cohortes están maduras, el modelo ya tiene muchos de esos datos y ha hecho predicciones muy buenas y precisas. Pero, especialmente cuando usted está haciendo cualquier cambio, ya sabes, cualquier cambio está sucediendo a sus campañas. Esta es la razón por la que hacemos predicciones rápidamente, para factorizar todos los cambios del mundo real que están sucediendo o los cambios de distribución que están sucediendo y luego te damos predicciones frescas que reflejan la realidad de ese mundo. 

Romano: He iniciado una campaña. Empiezo a ver los datos de la campaña. ¿Significa que en las dos horas siguientes a verlos debería obtener predicciones de LTV o tengo que esperar más? 

Jas: Así que Roman, mi entendimiento es que necesitamos un maduro como día cero de datos, y entonces somos capaces de hacer predicciones para 1 a 30. Así que digamos que vuelves en el primer día, ¿verdad? Así que en el primer día y al día 30, obviamente, sus cohortes no han madurado. 

Usamos las cohortes inmaduras también como una de las características y añadimos esos datos al modelo y entonces el modelo predecirá basándose en ellos. ¿Correcto? Así que cada dos horas, sus cohortes también están madurando y el modelo lo tiene en cuenta y le dará nuevas predicciones, ya sabes, para el día uno al día 30. Um, así que eso es lo que estamos haciendo básicamente.

Romano: Super gotcha. Uh desafío número tres como he mencionado, ya había productos que pueden hacer la predicción de IIA o IIP.

Jas: Mhm. Decidimos hacer la predicción en una métrica para ambos y la pusimos a disposición en el tablero. 

Romano: Quizá Jas, puedas explicarnos cómo se pensó cuando se decidió esto... ¿Por qué lo hacemos?

Jas: Sí. Así que para el desarrollo de gestión de productos, la forma en que queríamos abordar este problema era vamos a construir, ya sabes, un Alfa muy rápidamente. Y, vamos a tener algunos de nuestros clientes conducir la retroalimentación y luego evolucionar el producto orgánicamente.

Mientras lo hacíamos, recibimos muchos de los primeros comentarios. Esa retroalimentación temprana es muy crítica para hacer un buen producto para la predicción de LTV específicamente. Queremos construir algo rápido que resuelva el caso de uso para híbridos, así que nos decantamos por esta métrica. 

Así que nuestros clientes actuales saben que tenemos LTV, una métrica combinada de LTV que es el LTV real que está disponible después de que sus cohortes hayan madurado. También está disponible para datos de cohortes inmaduras. 

Y sabemos que las aplicaciones híbridas utilizan mucho esa métrica. Así que hemos querido ofrecer una métrica similar que combine tanto los anuncios en la aplicación como el IAP. 

En el caso concreto de Tenjin, los datos y la infraestructura de nuestros informes están construidos de tal forma que ya disponemos de este LTV histórico o real. Acabamos haciendo predicciones para esa métrica. Piensa en esa métrica como tu eje Y en terminología de aprendizaje automático, y luego utilizarás todas las tendencias históricas, y luego harás una predicción para ese derecho, y eso es lo que estamos haciendo. 

Así que A) fue una decisión desde el punto de vista del producto, porque sabemos que nuestros clientes lo utilizan y va a tener un gran impacto para ellos. Y luego, utilizando esta métrica, ahora podemos proporcionar métricas predictivas derivadas como pROAS y pROI. Pero obviamente nuestra infraestructura, la infraestructura de informes y la infraestructura de datos está construida de tal manera que hacer predicciones para este LTV real es mucho más fácil.

Romano: Entendido. Ahora el último reto para las aplicaciones híbridas, que es la precisión. Tenemos esta impresionante precisión, precisión media de 90%.

Jas: Sí.

Romano: ¿Siempre fue así? ¿Tuvimos que trabajar en ello? Tal vez usted tiene algún punto de referencia en la industria.

Jas: Sí. Um por lo que esta es una gran pregunta y quiero decir que nuestro promedio es, y Roman, usted hace hincapié en la palabra promedio, que es, ya sabes, la forma correcta de hablar de la precisión del modelo, muy bien. Um eso es realmente muy bueno. Una precisión de 90% es fantástico y algo que es realmente raro en esta industria. 

Este no fue siempre el caso. Como he dicho, he mencionado brevemente al principio de este video, como hicimos el desarrollo de productos. Empezamos con la producción de Alfa beta. Obviamente para Alpha la precisión no era tan buena. 

Antes incluso de poner en marcha Alpha, realizamos evaluaciones comparativas internas. Nuestro GFS tenía predicciones y las evaluamos, y luego hicimos nuestra propia evaluación comparativa interna con otros modelos de aprendizaje automático. Y el desarrollo del aprendizaje automático consiste en analizar diferentes características: ver cuál ofrece una buena precisión, cuál arruina la precisión, hacer algo de ingeniería de características, comprender muy bien los datos y el negocio. 

Esta es una forma muy orgánica de cómo hicimos las cosas, ¿verdad? Como de acuerdo, ¿cómo toman decisiones los clientes? Hablar con expertos, por ejemplo. Así que mucho de eso se ha ido en la construcción de predicción LTV y es por eso que creo que esta precisión 90% que hemos recibido fue posible. Es porque hemos añadido un montón de esa visión experta en esto y nos acercamos a este problema desde la perspectiva del cliente. 

¿Cómo toman las decisiones? Les implicamos desde el principio, así que fue un proceso largo. No fue un proceso fácil conseguirlo. Trabajamos muy duro para conseguir esa precisión de 90%. Dicho esto, quiero mencionar que, aunque nuestro rendimiento medio del modelo es de 90%, la precisión varía de una campaña a otra, de una aplicación a otra y de un país a otro. 

Creo que olvidé mencionar esto, pero nuestras predicciones están disponibles a nivel de aplicación, campaña y país. Así que puedes asignar un presupuesto basado en diferentes países para tus campañas, diferentes campañas, diferentes canales, ¿verdad? Por ejemplo, si tu canal A no funciona en este país, puedes hacer todo tipo de cosas para todo tipo de países, canales y campañas.

Um, cuando se trata de la precisión de un modelo de aprendizaje automático, puede variar de diferentes campañas a diferentes países, ¿verdad? 90% es la media. Hasta ahora, nuestros clientes han dicho que han visto una precisión de 90%, lo cual es genial, pero quiero añadir la advertencia de que la precisión puede depender del país, la campaña y los canales, por lo que estamos pensando en añadir intervalos de confianza en el futuro. Esto te ayudará a tomar decisiones con más confianza.

Romano: Correcto. Correcto. Sí, creo que este es un punto importante a destacar. Una vez más como si fuera un promedio a pesar de que es un gran resultado. Uh, pero realmente depende de muchos factores. Sigue siendo una predicción. Genial. Uh creo que ese fue el último reto, ahora la pregunta principal es cómo empezar. 

Está disponible en todos los planes de pago. Así que ahora, en realidad comenzó con una función de cancelar en cualquier momento. Así que usted puede comenzar con nosotros, pagar 200 dólares y obtener acceso a LTV predictivo. Si ya eres cliente de Tenjin, entonces ya tienes acceso a ella. 

Basta con hacer clic en la métrica de edición en el tablero de instrumentos, encontrar métricas LTV predichas (pLTV), ROAS predichos (pROAS), y ROI predicho (pROI). Así que nada de feature gates, simplemente pruébalo y verás cómo funciona. Si ya lo has probado, déjanos un comentario. Si tienes alguna pregunta, también déjanos un comentario. 

¿Alguna última idea, Jas?

Jas: Sí, sólo quiero decir Roman, gracias por destacar eso. Utilizar Tenjin es ahora más fácil que nunca. Sólo tienes que ir a nuestro panel de control. Sólo tienes que suscribirte a nuestro plan $200 y puedes cancelarlo cuando quieras. Um, así que si estás interesado, prueba esto. Um, sí. Nos encantaría recibir sus comentarios sobre esto, o cualquier otra cosa.

Romano: Super. Muchas gracias, Jess. Danos un like si te gusta este vídeo. Podemos hacer más vídeos. Ese es sólo un caso de uso para la predicción de LTV. Hay más. También podemos mostrar una demo. Hay mucho contenido para explorar aquí. Así que...

Jas: Sí, lo hay. Puedo hablar sin parar de esto creo que durante tres, cuatro horas seguidas. Podemos hablar de cosas técnicas. Podemos hablar sobre el caso de uso de fraude que no he mencionado. Cómo configurarlo. Así que sí, estad atentos para más contenido. 

Romano: Exactamente. Muy bien entonces, muchas gracias Jas y gracias por... 

Jas: Muchas gracias Roman, ¡sí! Salud, adiós.