Прогнозируемый LTV для гибридной монетизации: 4 проблемы решены

Джас: Я хочу сказать, что наше среднее значение, и Роман, вы подчеркиваете слово "среднее", которое, знаете ли, является правильным способом говорить о точности модели, действительно хорошо. Это на самом деле очень хорошо. Точность 90% - это фантастика, и это то, что действительно редко встречается в этой индустрии. 

Роман: Привет всем, добро пожаловать на очередное видео об обновлении Tenjin. Сегодня мы беседуем с Джаспретом из нашей команды разработчиков. Привет, Джас. 

Джас: Здравствуйте, Роман.

Роман: И мы поговорим о прогнозировании LTV - что это такое, почему оно важно и как вы можете получить доступ к нему в Tenjin. Итак, давайте начнем с нескольких слов о себе, Джас.

Джас: Спасибо, Роман. Привет всем, меня зовут Джас или Джасприт, я штатный менеджер по продуктам в Tenjin. Обычно я занимаюсь данными и приборными панелями, и специально для всех вас мы создали предиктивный LTV (pLTV). 

Роман: Именно так. Для этого видео мы подготовили несколько слайдов. Я просто поделюсь своим экраном, мы просмотрим их и проведем своего рода беседу о продукте. 

Так что да, предсказание LTV предназначено для приложений с гибридной монетизацией. Гибридная монетизация - это новая гипертехнология. Шумихи много, но нам кажется, что инструментов, созданных для этого подмножества приложений, недостаточно. Прогнозирование LTV - это важный инструмент для привлечения пользователей в гибридные игры. 

Давайте посмотрим, зачем вам это нужно. Хочешь прокомментировать это, Джас?

Джас: Да, конечно, я думаю, что Роман, вы отлично подметили. Нам действительно нужно больше инструментов для гибридов, их, как правило, не хватает. Но в Tenjiin мы уделяем этому огромное внимание. 

Просто небольшое вступление, посвященное гибридным приложениям. Итак, в приложениях с чистой рекламой в приложении (IAA) ваш доход, скорее всего, будет расти гораздо быстрее, верно? Например, на 3-й или 7-й день. В то время как в гибридных приложениях или приложениях, использующих большое количество встроенных покупок (IAP), ваш доход от IAA может созреть быстрее, но ваш доход от IAP может занять недели или месяцы, чтобы созреть. 

Именно поэтому у нас есть pLTV для гибридных приложений! С pLTV вам не нужно ждать, пока созреют когорты. Или, например, ждать оптимизации кампании после 30-го, 60-го или более позднего дня. Вместо этого вы можете принять решение об оптимизации кампании гораздо раньше, верно? Так что вместо того, чтобы ждать так долго, пока ваши когорты созреют, вы можете действовать, например, на второй день.  

Роман: И здесь у меня есть гипотетический пример кампании А и кампании Б. Как мы видим, в день 0 кампания Б - явный победитель. Однако для гибридного приложения это может быть не так, потому что пользователь может зайти, совершить покупку, и это перевесит весь доход, полученный за счет показа рекламы. А вот как бы выглядели прогнозы на 14-й день.  

Мы уже сотрудничали с несколькими компаниями в этой области. Джас тесно сотрудничал с Джеймсом и его командой в работе над всем проектом по прогнозированию LTV. И да, давайте просто прочитаем цитату: 

"Мы используем показатели pLTV компании Tenjin для мониторинга эффективности новых когорт в режиме реального времени, не дожидаясь получения долгосрочных данных. Это позволяет нам гораздо быстрее принимать решения по UA". - Джеймс МакКлелланд, Tapped

Это именно то, что только что сказал Джас, верно? 

Джас: Да. Да. Знаете, Роман, когда мы разрабатывали продукт для прогнозируемого LTV, мы много работали с клиентами, очень тесно, и Tapped была одним из клиентов даже на стадии Alpha. Они использовали наши прогнозы, сделанные гораздо раньше, и теперь этот продукт выпущен для всех и доступен для использования.

Мы получили очень похожие отзывы почти от всех наших клиентов. Вы узнаете, как они

используя это, они могут принимать решения о привлечении пользователей гораздо быстрее, верно. 

Роман: И здесь снова акцент на скорости. Так что если я жду 14 дней, то мне нужно посмотреть, какая кампания действительно работает лучше. Если я использую прогноз LTV до 14-го дня или любого другого дня, вы сможете реинвестировать деньги быстрее, как вы видите здесь... вы просто получите больше денег в конце. 

Роман: Может быть, для тех, кто не знает, что такое гибридное приложение, давайте поговорим об этом. Джас, что такое гибридное приложение?

Джас: Круто. Да. Итак, когда мы говорим о гибридных приложениях, мы имеем в виду приложение, которое использует две модели получения дохода, которые я быстро представил вам в начале этого видео, верно? Одна из них - это реклама в приложении, что означает, что ваше приложение получает доход, показывая рекламу своим пользователям. Другая бизнес-модель - это IAP, или покупки в приложении. Покупки в приложении могут быть либо одноразовой продажей продуктов, либо подпиской, либо чем-то еще, но вы также зарабатываете деньги, продавая продукт в своем приложении. 

Итак, гибридные приложения - они делают обе эти вещи, верно? Они зарабатывают деньги, показывая рекламу, а также ваши пользователи могут покупать ваши продукты внутри приложения. Таким образом, вы можете зарабатывать и на рекламе, и на покупках.

А когда приложение использует обе эти модели в тандеме, мы называем их гибридными приложениями. Теперь вы можете увидеть это приложение в качестве примера распределения рекламы в приложении и покупок в приложении. Оно может быть разным. Это может быть, как я не знаю, 20% IAA и 80% IAP. Но это отличный пример того, как выглядит гибридное приложение.

Роман: Именно так, и кажется, что будущее за гибридными приложениями...  

Джас: 100%

Роман: Верно, но это сложная задача, ведь это так ново. Поэтому предсказать LTV гибридных приложений - сложная задача. В прошлом вы могли найти прогнозы LTV для покупок приложений для IAA. До сих пор никто не делал прогнозов для гибридных приложений. Поэтому здесь мы выделили слово "нейросеть". Возможно, я попрошу вас прокомментировать это.

и расскажите немного подробнее о том, как вы подошли к решению этой задачи.

Джас: Круто. Да. Роман абсолютно прав в том, что Tenjin решает эту проблему очень уникальным способом, потому что в мире не хватает инструментов, поддерживающих гибридные приложения. Сейчас мы сосредоточены на этом рынке, и вы знаете, Роман, вы абсолютно правы, что за этим будущее. Это то, что мы видим с точки зрения индустрии. 

И, очевидно, когда речь идет о решениях по привлечению пользователей или оптимизации кампаний, как бы вы это ни называли, мы используем данные о рекламном посредничестве. Подробнее об этом мы поговорим позже. 

Мы используем множество высокодетальных данных, доступных на уровне рекламного впечатления и пользователя. То же самое касается и данных о покупках в приложении. И когда вы используете большое количество таких данных, вам нужен алгоритм машинного обучения, который может справиться с ними очень хорошо и решить эту уникальную задачу.

о котором вы говорите, - поддержка гибридных приложений. И нейронные сети - естественный выбор для этого. 

Я не хочу слишком углубляться в технические аспекты того, что такое нейронные сети, но вы можете думать о нейронных сетях как об искусственных нейронных сетях. 

Это машинное обучение, одна из технологий машинного обучения, когда вы можете обучить свою модель, а затем обучить ее на исторических данных, и эта модель способна учиться на исторических паттернах и тенденциях, а затем делать прогнозы. 

Я не знаю, Роман, если у вас есть еще вопросы, я могу продолжать говорить об этом. Одна из причин, по которой мы использовали нейронную сеть, а не что-то другое. В процессе разработки продукта мы рассматривали возможность использования более простых моделей. Мы использовали множество других эталонов, множество эталонов. 

Мы провели множество тестов, и для нас нейронные сети оказались абсолютно правильным выбором, потому что: 

A) Они отлично справляются с большими объемами данных, а это именно то, что предлагает данная уникальная задача.

B) Они умеют находить закономерности, хорошо обучаются на основе тенденций, поэтому вам не нужно выполнять много операций по обработке данных. 

Зачем кому-то использовать предсказания Tenjin, а не заниматься своими делами? Мы еще поговорим об этом, но с точки зрения нейронных сетей мы хотим, чтобы эта модель обучалась на основе данных по всем приложениям и организациям и находила закономерности. Так что даже если ваша кампания, скажем, новая, и у нее нет никаких данных в прошлом, наша модель будет учиться на аналогичных приложениях и аналогичных организациях и делать точные прогнозы для вашей кампании.

Роман: Да, собственно, это и был мой вопрос. Давайте рассмотрим некоторые проблемы гибридных приложений. Вы ведь уже упоминали об этом, верно?

Джас: Да, это я. Да.

Роман: Много сигналов, и мы используем впечатления, рекламные впечатления. И мы доставляем... возможно, мы можем поговорить о когортах. Прогнозы доступны в нулевой день, верно?

Джас: Да. Позвольте мне перефразировать. Наша модель обучается, используя когорту нулевого дня, любые доступные данные, и, используя когорту нулевого дня, она делает прогнозы для всех когорт в будущем до 30-го дня. Сейчас мы сосредоточены на 30-м дне. Мы собираемся добавить, ну - мы находимся в процессе добавления поддержки более длинных когорт до 365-го дня.

Но именно этим мы сейчас и занимаемся: он берет ваши данные с нулевого дня, изучает на их основе закономерности и делает прогнозы для когорт до 30-го дня. 

Роман: И я полагаю, что одним из самых важных показателей, если мы говорим о приложениях, показывающих рекламу, является рекламное впечатление, верно?

Джас: Да. Поскольку речь идет о кампании, мы используем ее для привлечения пользователей и оптимизации кампании. В качестве одной из функций мы используем очень детальное отображение объявлений. У нас много функций, которые мы используем, около сотни, и это одна из них.

Роман: Да. Да. Да. Это просто ответ на один из вопросов, который у меня возник, в том числе и внутри компании. Как мы можем убедиться в том, что ранние прогнозы (потому что еще с тех времен, когда я работал с гиперказуалами, я знаю, что это один из суперважных факторов для понимания) показывают, как кампания работает на ранних этапах. Как будто вам нужны и ранние, и поздние прогнозы, и вот почему и как мы это делаем. 

Следующая проблема (она была упомянута в примере на одном из первых слайдов). У нас было две кампании, и в какой-то момент кампания А стала лучше, чем кампания Б, предположительно благодаря покупке. Верно. И, таким образом, мы обновляем прогноз каждые два часа. Вы можете объяснить, что это значит?

Джас: Да. Итак, мы используем множество ваших данных, сотни характеристик: распределение показов объявлений, эффективность вашей кампании в зависимости от изменений, которые вы внесли в нее, например, ставки и т. д. И другие реальные вещи, происходящие прямо за пределами всей вашей стратегии UA. 

Все эти данные попадают в модель, а затем модель делает новые прогнозы на их основе. Особенно если ваши когорты еще не созрели, верно? Когда ваши когорты становятся зрелыми, модель уже имеет много таких данных и делает очень хорошие и точные прогнозы. Но, особенно когда вы вносите какие-либо изменения, вы знаете, что любые изменения происходят в ваших кампаниях. Вот почему мы делаем прогнозы быстро, чтобы учесть все происходящие в реальном мире изменения или изменения в распределении, которые происходят, и затем мы даем вам свежие прогнозы, которые отражают реальность этого мира. 

Роман: То же самое происходит в течение первых двух часов, поэтому я начал кампанию. Я начинаю видеть данные по кампании. Значит ли это, что в следующие два часа после того, как я их увижу, я должен получить прогнозы LTV или мне нужно подождать еще? 

Джас: Итак, Роман, как я понимаю, нам нужны зрелые данные, как в первый день, а затем мы можем делать прогнозы от 1 до 30. Допустим, вы вернулись в первый день, верно? Значит, в первый день и до 30-го дня, очевидно, ваши когорты еще не созрели. 

Мы используем незрелые когорты как одну из характеристик, добавляем эти данные в модель, а затем модель предсказывает на их основе. Верно? То есть каждые два часа ваши когорты также созревают, и модель учитывает это и дает вам новые прогнозы, например, на период с первого по тридцатый день. Вот, собственно, и все, что мы делаем.

Роман: Суперзадача. Задача номер три, как я уже говорил, уже есть продукты, которые могут делать предсказания для IIA или IIP.

Джас: Мм. Мы решили сделать предсказание в одной метрике для обоих и сделали ее доступной на панели управления. 

Роман: Может быть, Джас, ты расскажешь нам о том, как мы думали, когда принимали это решение... Почему мы это делаем?

Джас: Да. Итак, для разработки управления продуктом мы хотели подойти к этой проблеме следующим образом: давайте быстро создадим альфу. Пусть некоторые из наших клиентов получат обратную связь, а затем продукт будет развиваться органически.

Пока мы занимались этим, мы получили множество ранних отзывов. Эти ранние отзывы очень важны для создания хорошего продукта именно для прогнозирования LTV. Мы хотим создать что-то быстрое, что решит проблему гибридного использования, поэтому мы остановились на одной метрике. 

Наши клиенты знают, что у нас есть LTV - комбинированная метрика LTV, которая представляет собой фактическую LTV, доступную после созревания когорт. Она также доступна для данных по незрелым когортам. 

И мы знаем, что гибридные приложения часто используют эту метрику. Поэтому мы хотели предоставить похожую метрику, которая объединяет и рекламу в приложении, и IAP. 

В случае с Tenjin наша отчетность и инфраструктура построены таким образом, что у нас уже есть данные об историческом или фактическом LTV. В итоге мы сделали прогнозы для этой метрики. Считайте эту метрику осью Y в терминологии машинного обучения, и тогда вы будете использовать все исторические тенденции, а затем делать прогноз для этого показателя, что мы и делаем. 

Итак, А) это было решение с точки зрения продукта, потому что мы знаем, что наши клиенты используют это, и это будет иметь для них большое значение. А затем, используя эту метрику, мы можем теперь предоставлять производные прогнозируемые показатели, такие как pROAS и pROI. Но, очевидно, наша инфраструктура, инфраструктура отчетности и инфраструктура данных построена таким образом, что делать прогнозы для этого фактического LTV гораздо проще.

Роман: Попались. Переходим к последней задаче для гибридных приложений, которая заключается в точности. У нас потрясающая точность, средняя точность 90%.

Джас: Да.

Роман: Так было всегда? Приходилось ли нам работать над этим? Может быть, у вас есть какие-то ориентиры в этой отрасли?

Джас: Да. Отличный вопрос, и я хочу сказать, что наши средние показатели, и Роман, вы подчеркиваете слово "средние", что, знаете ли, является правильным способом говорить о точности модели, действительно хороши. Это действительно хорошо. Точность 90% - это фантастика, и это то, что действительно редко встречается в этой индустрии. 

Так было не всегда. Как я уже говорил, я кратко упомянул в начале этого видео, как мы разрабатывали продукт. Мы начали с производства бета-версии Alpha. Очевидно, что для Alpha точность была не такой высокой. 

Еще до запуска Alpha мы провели внутренний бенчмаркинг. У нашего GFS были прогнозы, и мы сравнивали их, а затем мы провели собственный внутренний бенчмаркинг с другими моделями машинного обучения. И затем, как происходит разработка машинного обучения, вы хотите посмотреть на различные функции: посмотреть, какая из них дает вам хорошую точность, какая ухудшает вашу точность, сделать некоторую инженерию функций, очень хорошо понять ваши данные, очень хорошо понять ваш бизнес. 

Это очень органичный способ того, как мы все делали, верно? Например, как покупатели принимают решения? Например, обращаются к экспертам. Многое из этого было использовано при построении прогнозируемого LTV, и именно поэтому я считаю, что точность в 90%, которую мы получили, стала возможной. Это произошло потому, что мы добавили много экспертных знаний и подошли к этой проблеме с точки зрения клиента. 

Как они принимают решения? Мы привлекли их к этому процессу на ранней стадии, поэтому он был долгим. Добиться этого было нелегко. Мы очень много работали, чтобы добиться точности 90%. При этом я хочу отметить, что, хотя средняя производительность нашей модели составляет 90%, точность варьируется от кампании к кампании, от приложения к приложению и от страны к стране. 

Кажется, я забыл упомянуть об этом, но наши прогнозы доступны на уровне приложений, кампаний и стран. Таким образом, вы можете выделять бюджет на основе разных стран для своих кампаний, разных кампаний, разных каналов, верно? Например, если ваш канал A не работает в этой стране, вы можете делать всевозможные вещи для разных стран, каналов и кампаний.

Когда речь идет о точности модели машинного обучения, она может варьироваться в разных кампаниях и странах, верно? 90% - это средний показатель. Пока что наши клиенты говорят, что они видели точность 90%, что очень хорошо, но я хочу добавить, что точность может зависеть от страны, кампании и каналов, поэтому мы думаем добавить доверительные интервалы в будущем. Так что это поможет вам принимать решения гораздо увереннее.

Роман: Точно. Верно. Да, я думаю, это важный момент, который нужно подчеркнуть. Опять же, как будто это среднее значение, хотя это отличный результат. Но это действительно зависит от многих факторов. Это все равно прогноз. Круто. Думаю, это была последняя задача, теперь главный вопрос - как начать. 

Она доступна на всех платных тарифных планах. Итак, мы фактически начали с функции отмены в любое время. Так что вы можете начать с нами, заплатить 200 баксов и получить доступ к прогнозируемому LTV. Если вы уже являетесь клиентом Tenjin, то у вас уже есть к нему доступ. 

Просто нажмите на редактирование метрики на приборной панели, найдите прогнозируемые показатели LTV (pLTV), прогнозируемые показатели ROAS (pROAS) и прогнозируемые показатели ROI (pROI). Так что не надо придираться к функциям, просто попробуйте и посмотрите, как это работает. Если вы уже попробовали, оставьте нам комментарий. Если у вас есть вопросы, также оставьте комментарий. 

Последние мысли, Джас?

Джас: Да, я просто хочу сказать Роману спасибо за то, что он обратил на это внимание. Использовать Tenjin теперь проще, чем когда-либо. Вам просто нужно зайти на нашу приборную панель. Вам просто нужно подписаться на наш тарифный план $200, и вы можете отменить его, когда захотите. Так что если вам интересно, попробуйте. Да. И мы будем рады получить ваши отзывы об этом или о чем-либо еще.

Роман: Супер. Спасибо большое, Джесс. Поставьте нам лайк, если вам понравилось это видео. Мы можем сделать больше видео. Это только один вариант использования прогнозируемого LTV. Есть и другие. Мы также можем показать демонстрацию. Здесь очень много контента для изучения. Итак...

Джас: Да, есть. Я могу говорить об этом бесконечно, думаю, три-четыре часа подряд. Мы можем говорить о технических вещах. Мы можем поговорить об использовании мошенничества, о котором я не упомянул. Как его настроить. Так что да, следите за дальнейшим контентом. 

Роман: Точно. Хорошо, тогда спасибо большое Джас и спасибо за... 

Джас: Большое спасибо, Роман, да! Спасибо, до свидания.