Инкрементальность

Что такое инкрементальность в маркетинге?

Инкрементальность в маркетинге — это подход, позволяющий определить, действительно ли маркетинговая кампания стала причиной достигнутого результата, а не просто сопутствующим фактором. Она дает ответ на один из самых важных и сложных вопросов в маркетинге: привели бы эти конверсии произошли бы в любом случае, даже без этой кампании?

Это различие имеет огромное значение. Почему? Потому что стандартный атрибуция модели приписывают заслугу последнее взаимодействие или последней рекламной кампании, с которой пользователь взаимодействовал перед совершением конверсии. Однако атрибуция не то же самое, что причинно-следственная связь.

 Пользователь, у которого и без того была высокая вероятность установить ваше приложение, создайте покупка, или подписавшиеся на рассылку, возможно, сделали бы это независимо от того, видели ли они вашу рекламу. Если ваша кампания приписывает себе конверсии, которые произошли бы и без неё естественным образом, указанные вами ROAS преувеличена, и ваши решения о распределении бюджетных средств принимаются на основе неполной информации.

Подход «инкрементальности» решает эту проблему за счет введения гипотетического сценария. Вместо того чтобы спрашивать, что произошло, когда пользователи увидели рекламную кампанию, он задает вопрос: что бы произошло, если бы они её не увидели? Разница между этими двумя исходами и является постепенное повышение, настоящий показатель того, какой вклад на самом деле внесла ваша кампания.

Для специалистов по мобильному маркетингу, работающих в условиях, когда на атрибуцию влияют нормативные требования в области конфиденциальности, инкрементальность является основополагающим методом оценки эффективности.

Как работает принцип инкрементальности?

Принцип инкрементальности заключается в том, что сравнение поведения двух групп: экспериментальная группа, на которую воздействует рекламная кампания, и контрольная группа, на которую она не воздействует. Разница в результатах между этими двумя группами, измеренная в контролируемых условиях, отражает дополнительный эффект от проведения кампании.

Шаг 1: Сформулируйте вопрос

Перед проведением теста на инкрементальность четко определите, что именно вы хотите измерить. Четко сформулированный вопрос позволит получить результаты, на основе которых можно будет принимать конкретные меры. 

Пример: Вы проверяете, приводит ли конкретная кампания к дополнительным установкам? Приводит ли канал ретаргетинга к дополнительным покупкам? Приводит ли конкретный креатив к дополнительным подпискам? 

Шаг 2: Разделите свою аудиторию

Разделите целевую аудиторию на две группы. Тестовая группа подвергается воздействию рекламной кампании в обычном режиме. Контрольная группа, которую иногда называют «резервной», полностью исключается из кампании. Обе группы должны быть статистически эквивалентными на начальном этапе тестирования, чтобы гарантировать, что любые различия в результатах можно будет отнести на счет рекламной кампании, а не на счет ранее существовавших различий между группами.

Шаг 3: Запуск кампании

Проведите кампанию для экспериментальной группы, не воздействуя при этом на контрольную группу. Продолжительность теста должна быть достаточно длинной, чтобы собрать достаточно данных для обеспечения статистической значимости, но при этом достаточно сфокусированной, чтобы отразить текущую рыночную ситуацию. Как кампании, так и поведение пользователей со временем меняются, поэтому слишком длительный тест инкрементальности может привести к измерению «движущейся цели».

Шаг 4: Измерить разницу

По окончании тестового периода сравните коэффициенты конверсии, выручку или другие показатели между тестовой и контрольной группами. Разница между этими двумя группами отражает дополнительный прирост эффективности кампании.

Шаг 5: Оценка статистической значимости

Именно здесь доверительные интервалы приобретают решающее значение. Прежде чем принимать решения на основе результатов теста на инкрементальность, необходимо отличить статистическую значимость от случайных колебаний. 

Доверительный интервал указывает диапазон, в пределах которого, по всей вероятности, будет находиться истинный инкрементальный эффект. При этом результат считается статистически значимым, если он достигает уровня доверия 95%, то есть вероятность того, что наблюдаемая разница возникла случайно, составляет 5%.

Ориентация на результаты, не достигшие статистической значимости, чревата риском принятия бюджетных решений на основе «шума», а не «сигнала».

Пример: Приложение по подписке проводит тест на инкрементальность рекламной кампании по привлечению потенциальных клиентов в рамках нового рекламная сеть. Тестовая группа из 50 000 пользователей подвергается воздействию рекламной кампании. Аналогичная контрольная группа из 50 000 пользователей остается вне кампании. Через четыре недели в тестовой группе наблюдается рост числа подписок коэффициент конверсии 3,2% по сравнению с 2,1% в контрольной группе. Дополнительный прирост признан статистически значимым при уровне доверия 95%. Доказано, что кампания приводит к реальному увеличению числа подписок сверх базового показателя органического роста, в связи с чем бюджет был соответственно увеличен.

Как рассчитать приращение подъемной силы

Инкрементальный прирост — это основной показатель результатов анализа инкрементальности. Он отражает дополнительный коэффициент конверсии, обеспеченный кампанией, в процентах от базового показателя контрольной группы.

Формула:

Incremental Lift = (Test Conversion Rate - Control Conversion Rate) / Control Conversion Rate

Пример с решением

• Коэффициент конверсии тестовой группы: 4,5%
• Коэффициент конверсии контрольной группы: 3,0%
• Дополнительный подъем = (4,5% – 3,0%) / 3,0%
• Дополнительный подъем = 1,5% / 3,0%
• Приращение подъемной силы = 50%

Этот результат означает, что кампания обеспечила прирост конверсий на 50% по сравнению с тем, что произошло бы в условиях естественного трафика. Половина конверсий в тестовой группе может быть отнесена на счет кампании. Другая половина произошла бы в любом случае.

Что показывает показатель «инкрементального роста»

Положительный инкрементный рост подтверждает, что кампания приносит реальную дополнительную выгоду. Низкий или близкий к нулю инкрементный рост свидетельствует о том, что кампания в основном приписывает себе заслуги за органические конверсии. Отрицательный инкрементный рост, хотя и встречается редко, может указывать на то, что рекламная кампания на самом деле сдерживает конверсии, например, из-за рекламной усталости или плохо таргетированных сообщений.

Понимание прироста эффективности на уровне кампании, канала и рекламного креатива дает маркетологам данные, необходимые для распределения бюджета в пользу тех мероприятий, которые действительно способствуют росту, а не тех, которые лишь создают такое впечатление.

Инкрементальность и атрибуция: в чём разница?

«Инкрементальность» и «атрибуция» — это две концепции измерения, однако они дают ответы на принципиально разные вопросы и должны использоваться совместно, а не рассматриваться как альтернативы друг другу.

Атрибуция позволяет определить, с какими точками взаимодействия пользователь взаимодействовал перед совершением конверсии, и распределяет заслугу между этими точками в соответствии с заданной моделью. Она показывает, где фиксируются конверсии. Однако она не дает ответа на вопрос, стали ли именно эти точки взаимодействия причиной конверсий.

Показатель инкрементальности позволяет напрямую оценить причинно-следственную связь. Он показывает, привела ли кампания к конверсии, которая в противном случае не произошла бы, независимо от используемой модели атрибуции.

В наиболее совершенных системах оценки эффективности мобильного маркетинга используются оба подхода. Атрибуция обеспечивает оперативную отчетность, позволяющую отслеживать, куда направляются расходы и какую отдачу они, по-видимому, приносят. Инкрементальность служит уровнем проверки, подтверждающим, отражают ли эти атрибутированные результаты подлинное причинно-следственное воздействие. В совокупности они дают маркетологам полное и точное представление об эффективности кампании.

Анализ инкрементальности: что измерять и когда

Не каждая рекламная кампания требует проведения теста на инкрементальность, и не каждый такой тест даст результаты, на основе которых можно принимать решения. Знать, что и когда измерять, не менее важно, чем знать, как это делать.

На что следует обратить особое внимание при анализе инкрементальности?

• Каналы с высокими расходами
  Чем выше расходы, тем важнее убедиться, что приписываемые результаты действительно являются дополнительными. К каналу, на который приходится 30% вашего бюджета на привлечение пользователей, следует предъявлять более высокие требования к подтверждению эффективности, чем к небольшой тестовой кампании.

• Кампании ретаргетинга
  Ретаргетинг особенно подвержен завышению показателей атрибуции, поскольку он нацелен на пользователей, которые уже взаимодействуют с вашим приложением, а значит, у них также выше вероятность совершения конверсии. Возможно, тестирование инкрементальности имеет большее значение для ретаргетинга, чем для любого другого типа кампании.

• Рекламные кампании брендов
  Пользователи, которые ищут название вашего бренда и кликают по платной брендовой рекламе, скорее всего, и так бы вас нашли. Тесты на инкрементальность брендовых кампаний часто показывают более низкий прирост конверсий, чем ожидалось, что поднимает важные вопросы о распределении бюджета.

• Новые каналы
  Прежде чем выделить значительные средства на новую рекламную сеть или канал, тест на инкрементальность позволяет получить данные, необходимые для того, чтобы с уверенностью осуществить эту инвестицию.

Когда следует проводить тесты на инкрементальность

Тестирование инкрементальности должно проводиться с соблюдением стандартной периодичности измерений. Рыночные условия меняются, поведение пользователей эволюционирует, и инкрементальная ценность того или иного канала в определенный момент времени может значительно отличаться от показателей шесть месяцев спустя. Внедрение анализа инкрементальности в квартальный цикл измерений гарантирует, что ваши решения о распределении бюджета будут основываться на актуальных данных. 

Распространенные ошибки при инкрементальном подходе

Ниже приведён список некоторых из наиболее распространённых ошибок, которые допускают маркетологи при проведении анализа инкрементальности:

1. Использование слишком малой выборки

Тест на инкрементальность с недостаточным размером аудитории не позволит достичь статистической значимости, в результате чего его результаты окажутся непригодными для принятия решений. Перед запуском теста рассчитайте минимальный размер выборки, необходимый для выявления ожидаемого инкрементального роста при заданном уровне достоверности. Проведение тестов с недостаточной статистической мощностью и принятие решений на основе их результатов — одна из самых распространенных и дорогостоящих ошибок в области аналитики в мобильном маркетинге.

2. Проведение тестов в течение слишком короткого периода времени

Короткие периоды тестирования приводят к неточным результатам. Поведение пользователей меняется изо дня в день, и тест, проводимый всего в течение нескольких дней, может зафиксировать аномальный период, а не репрезентативный. Необходимо выделить достаточно времени для стабилизации данных, при этом сохраняя период тестирования достаточно коротким, чтобы он отражал текущие условия.

3. Влияние на контрольную группу

Если пользователи из контрольной группы столкнутся с рекламной кампанией через другие каналы, результаты теста будут скомпрометированы. Убедитесь, что на протяжении всего теста пользователи из контрольной группы действительно не сталкиваются с кампанией ни через один из соответствующих каналов взаимодействия.

4. Игнорирование доверительных интервалов

Приведение точечной оценки прироста эффективности без оценки доверительного интервала вокруг неё вводит в заблуждение. Прирост эффективности в 15% кажется значимым, но если доверительный интервал 95% колеблется от минус 5% до плюс 35%, этот результат не является статистически значимым и не должен служить основанием для принятия решений о бюджете.

5. Тестирование всего сразу

Одновременное проведение нескольких тестов инкрементальности на пересекающихся аудиториях приводит к взаимному влиянию тестов друг на друга и делает результаты недостоверными. Расставьте приоритеты для ваших тестов, по возможности проводите их последовательно и, если требуется параллельное тестирование, убедитесь, что сегменты аудитории четко разделены.

6. Отсутствие регулярной проверки инкрементальности

Эффективность канала меняется со временем в связи с насыщением аудитории, усталостью от рекламных материалов и динамикой конкурентной среды. Регулярное тестирование позволяет обеспечить точность аналитики и оптимизировать распределение бюджета.

Как измерить инкрементальность с помощью Tenjin

Для проведения тестов инкрементальности необходимы чистые данные, надежная атрибуция, а также возможность точно сегментировать аудиторию и анализировать результаты на уровне когорты. Без надлежащей инфраструктуры измерения надежно провести анализ инкрементальности сложно, а принять на его основе уверенные решения — еще сложнее.

Tenjin — это партнер по мобильной аналитике (MMP), который предоставляет специалистам по мобильному маркетингу базу данных, необходимую для эффективного проведения и интерпретации анализа инкрементальности. Благодаря точной атрибуции, детализированной отчетности по когорте и единому обзору показателей как платных, так и органических кампаний, Tenjin обеспечивает аналитический уровень, который позволяет применять результаты тестирования инкрементальности на практике.

С Tenjin вы можете:

• Чётко разделить когорты органических и платных пользователей, чтобы определить точные базовые показатели конверсии
• Отслеживайте поведение при конверсии в экспериментальной и контрольной группах на уровень когорты
• Сравнивайте эффективность рекламных кампаний с показателями органического трафика в одном окне панели инструментов
• Объедините данные по IAP и доходам от рекламы, чтобы оценить дополнительный вклад в общий доход, а не только количество установок
• Экспорт необработанных данных для индивидуального анализа инкрементальности и статистического моделирования
• Свяжите аналитику инкрементальности с вашими общими данными по атрибуции, чтобы получить полное представление о реальная рентабельность инвестиций в кампанию

Пример: Издатель мобильных приложений хочет оценить дополнительную эффективность одного из основных партнеров по ретаргетингу перед продлением контракта. С помощью Tenjin он определяет чистый базовый показатель органического трафика на основе контрольной когорты и сравнивает его с показателями когорты, подвергшейся ретаргетингу, на уровне кампании, страны и рекламного креатива. Анализ показывает значительный дополнительный рост на двух крупнейших рынках, но практически нулевой рост на трех меньших рынках, где показатели органической конверсии и так уже высоки. На основании этих данных компания концентрирует расходы на ретаргетинге на тех рынках, где он действительно приносит дополнительную выручку, и приостанавливает деятельность там, где это не так.

Основные выводы

Инкрементальный анализ — одна из важнейших и при этом наиболее недооцененных методик измерения эффективности в мобильном маркетинге. Способность доказать наличие подлинной причинно-следственной связи позволяет отличить обоснованные решения по бюджету от дорогостоящих догадок.

• Показатель инкрементальности измеряет, привела ли кампания к дополнительным конверсиям сверх тех, которые произошли бы в результате естественного трафика, а не просто наличие корреляции между ними
• Основной метод заключается в проведении контролируемого эксперимента, в ходе которого сравниваются тестовая группа, подвергшаяся воздействию кампании, и контрольная группа, которая не подвергалась такому воздействию
• Приращение подъема рассчитывается по формуле: 

(Test Conversion Rate - Control Conversion Rate) / Control Conversion Rate

• Доверительные интервалы играют важнейшую роль при интерпретации результатов анализа инкрементальности. Прежде чем принимать решения на основе результатов тестирования, всегда следует убедиться в их статистической значимости
• Показатели атрибуции и инкрементальности отвечают на разные вопросы и дают наилучшие результаты при совместном использовании
• Кампании ретаргетинга особенно подвержены завышению показателей атрибуции и получают наибольшую выгоду от регулярного тестирования инкрементальности
• Анализ инкрементальности должен стать постоянной частью вашего цикла измерений, а не разовой мерой
• Tenjin предоставляет инфраструктуру для сбора данных, необходимую для точного проведения анализа инкрементальности и сопоставления результатов с вашими общими данными о росте

Связанные термины

• Атрибуция
• A/B-тестирование
• Рентабельность рекламных расходов (ROAS)
• Пожизненная ценность (LTV)
• Коэффициент конверсии
• Партнер по мобильным измерениям (MMP)
• Повторное привлечение
• Органическая установка

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ 

Что такое инкрементальность в маркетинге?

Инкрементальность в маркетинге — это система оценки, позволяющая определить, привела ли кампания к дополнительным конверсиям по сравнению с тем, что произошло бы естественным образом без её проведения. Она выделяет истинное причинно-следственное воздействие маркетинговой деятельности, отделяя результаты, действительно обусловленные кампанией, от конверсий, которые произошли бы независимо от того, проводилась ли кампания или нет.

Как работает принцип инкрементальности? 

Метод инкрементальности основан на разделении аудитории на две статистически эквивалентные группы. Тестовая группа подвергается воздействию рекламной кампании в обычном режиме. Контрольная группа полностью исключается из кампании. Разница в коэффициентах конверсии между двумя группами по окончании тестового периода отражает инкрементальный рост эффективности кампании, при условии, что результат является статистически значимым.

Как рассчитать прирост подъемной силы? 

Приращение подъема рассчитывается по формуле: 

Incremental Lift = (Test Conversion Rate - Control Conversion Rate) / Control Conversion Rate

Если конверсия в экспериментальной группе составляет 4,51 TP6T, а в контрольной — 3,01 TP6T, то прирост конверсий равен 501 TP6T, что означает, что кампания обеспечила рост конверсий на 501 TP6T по сравнению с базовым показателем органического трафика.

В чём заключается разница между инкрементальностью и атрибуцией? 

Атрибуция позволяет определить, какие точки взаимодействия вносят вклад в конверсию. Инкрементальность же позволяет оценить, привели ли эти точки взаимодействия к дополнительным конверсиям, которые в противном случае не произошли бы. Эти две модели отвечают на разные вопросы и дают наилучшие результаты при совместном использовании.

Что такое доверительный интервал при тестировании инкрементальности? 

Доверительный интервал показывает диапазон, в пределах которого, вероятно, находится истинный инкрементальный эффект, а также степень достоверности результатов теста. Результаты обычно считаются статистически значимыми при уровне доверия 95%, что означает, что вероятность того, что наблюдаемая разница возникла случайно, составляет всего 5%. Перед тем как принимать решения на основе результатов теста на инкрементальность, всегда следует подтвердить их статистическую значимость.

Почему анализ инкрементальности так важен? 

Анализ инкрементальности важен тем, что стандартные модели атрибуции могут завышать оценку эффективности кампании, приписывая себе конверсии, которые произошли бы и без её участия. Тестирование инкрементальности выявляет истинный причинно-следственный эффект кампании, что позволяет более рационально распределять бюджет в пользу тех мероприятий, которые действительно способствуют росту.

Какие рекламные кампании получают наибольшую выгоду от тестирования инкрементальности? 

Кампании по ретаргетингу приносят наибольшую выгоду, поскольку они нацелены на уже заинтересованных пользователей, которые с большей вероятностью совершат конверсию естественным образом, что делает завышение показателей атрибуции значительным риском. Каналы с высокими расходами, брендовые кампании и новые рекламные сети также являются подходящими объектами для анализа инкрементальности.