Как проводить тестирование рекламных креативов для специалистов по мобильному маркетингу

Если вы в этом году занимаетесь привлечением пользователей (UA) для мобильной игры, Тестирование рекламных креативов никогда еще не было столь сложным и столь важным. «Творческая гонка вооружений» — это реальность. Новый вопрос заключается не в том, удастся ли создать достаточное количество креативных решений, а в том, сможете ли вы действительно должным образом их протестировать и отобрать лучшие из них.

В недавнем выпуске «ROI 101» от Tenjin В этом подкасте директор по маркетингу и ведущий Роман пообщался с Матеем из Два с половиной геймера чтобы разобраться и понять, с какими новыми проблемами сталкиваются специалисты по креативу. Одной из новых и наиболее распространенных проблем при тестировании рекламных креативов является проблема объема: креативов слишком много, а бюджета не хватает, чтобы провести их полноценное тестирование. 

Матей делится своим 12-летним опытом работы в игровой индустрии, знаниями, полученными в ходе работы с командой из 10 специалистов по моушн-дизайну, а также инструментом для создания игр без программирования под названием Playable Maker в разговоре. Вы откроете для себя одну из самых практичных и полезных классификаций фреймворков для тестирования креативных решений, о которой мы слышали за долгое время.  

Проблема масштаба: почему тестирование рекламных креативов стало сложнее, чем когда-либо

Огромный объем и количество создаваемых рекламных материалов уже сами по себе говорят об этом. Крупнейшие студии по разработке мобильных игр больше не выпускают сотни рекламных материалов в месяц, а создают их в десятки тысяч. Роман очень четко сформулировал это в самом начале разговора: 

“Мы всегда обсуждаем этот вопрос с Mayong, Kingshot, Royal Kingdom и всеми крупными компаниями. В некоторых играх ежемесячно появляются десятки тысяч рекламных материалов. По крайней мере, за последние 30 дней мы наблюдаем такие цифры, как 23 000 рекламных материалов. Это очень много”.”

И эта цифра довольно высока. Однако с ростом объёма растёт и уровень шума, особенно если с таким количеством креативных работ ничего не удаётся сделать. Матей смотрит на вещи реалистично:

“Я не думаю, что их можно как следует протестировать все. На это пришлось бы потратить огромные деньги”.”

Эта проблема многообразия и постоянно растущих объемов является одной из наиболее распространенных проблем, с которыми сталкивается вся обучение в сфере креативной индустрии в области искусственного интеллекта и автоматизации Прямо сейчас. Существует огромный разрыв между тем, что студии могут создать с помощью автоматизированных рабочих процессов, и тем, что они реально способны проверить и оценить. Увеличение количества рекламных креативов не всегда приводит к улучшению конверсии, количества кликов или общей эффективности. 

Именно поэтому фреймворки для тестирования рекламных креативов важно. Матей рассказывает нам о своём подходе и делится советами по составлению собственного маршрута. 

«Тест на скуку» как фильтр для отбора творческих идей

Прежде чем какой-либо креативный материал попадает в тестовую кампанию, Матей подвергает его так называемому “тесту на скучность” или тесту “И что с того?”. Это фильтр предварительной оценки, который действует на этапе, предшествующем любой формальной A/B ???????????? рекламных материалов. Это так же просто, как и звучит. 

“Я смотрю на рекламные материалы, которые создает моя команда, и если через пару секунд у меня возникает мысль: ‘Ах, мне скучно’ — это тревожный сигнал. Если материал не вызывает никаких эмоций или не несет чёткого послания, я спрашиваю себя: ‘И что с того? Что мне делать? В чём суть?'

Использование этого фильтра в работе позволяет сэкономить много времени. Для Матея: 

“Уже одна только эта предварительная оценка позволяет отсеять, пожалуй, 50% креативных работ, которые мы затем отправляем обратно на доработку”.”

На данном этапе не стоит стремиться к совершенству. Вместо этого планка установлена относительно низко — достаточно просто «сдать на «удовлетворительно», этого вполне достаточно. Он подробнее объясняет, что имеет в виду: 

“‘Достаточно хорошо’ — это, возможно, что-то вроде 70% в отполированном виде: реализованная концепция, не скучная и четко передающая эмоцию или действие, не заставляющая думать: ‘И что с того?'”

Для студий, выпускающих тысячи рекламных материалов в месяц, искусство предварительного отбора было бы практически невозможно осуществить вручную. Однако для команд, создающих всего несколько материалов в неделю, это — мощная первая линия защиты от напрасных рекламных расходов.

Как создавать креативные тестовые фреймворки, которые действительно работают

Как только серия рекламных материалов проходит “тест на скучность”, на первый план выходят вопросы структуры и стратегии. Как выглядит ваш протокол тестирования? Какова периодичность тестирования, какие критерии вы используете для оценки и измерения успеха? 

Ответы будут сильно различаться в зависимости от вашего канала и категории. Однако в качестве отправной точки вы можете использовать эти четыре различных алгоритма и схемы.

Модель 1: Настройка системы IPM (небольшие и средние объемы)

Настройка IPM — это наиболее доступный способ начать тестирование структурированных рекламных креативов. Запустите специальную кампанию на рынках с более низкой стоимостью рекламы — в Индии, на Филиппинах, в Бразилии — и используйте IPM (количество установок на тысячу показов) в качестве ключевого показателя эффективности, и включайте лучшие работы в вашу регулярную рекламную кампанию. Для команд, создающих около 10 креативных материалов в неделю, это простая и удобная в использовании система:

“Вы проводите тестовую кампанию с различными креативами — скажем, в Индии, на Филиппинах или в Бразилии — и выбираете наиболее эффективные варианты на основе показателя IPM. Затем вы переносите эти варианты в свою обычную рекламную кампанию. Этот подход хорошо работает, если вы создаете, скажем, около 10 креативов в неделю”.”

Но именно здесь многие команды сталкиваются с препятствием. Показатели IPM установить объем продаж, а не намерение совершить покупку — а это совершенно разные вещи. Рекламный материал, который показывает лучшие результаты в тестовой среде уровня 3, не всегда ведет себя так же, когда меняется стратегия оптимизации:

“Проблема заключается в том, что самые эффективные креативы из тестовой кампании не всегда привлекают трафик в обычной кампании, поскольку подход к оптимизации там другой”.”

Именно осознание этого разрыва отличает команды, которые просто тестируют рекламные материалы, от тех, которые действительно извлекают из них полезные выводы.

Модель 2: Многоэтапная модель (средний объем)

Многоэтапная структура предназначена для решения промежуточных задач. Таким образом, вместо того чтобы сразу переносить победителей IPM в стандартную кампанию, вы добавляете промежуточный этап проверки, например, кампанию по оптимизации событий в приложении, которая позволяет гораздо ближе приблизиться к реальным условиям:

“Возьмите тех победителей IPM и протестируйте их в кампании по оптимизации событий в приложении — например, при оптимизации под покупки. Это ближе к вашей обычной бизнес-модели, поскольку вы оптимизируете кампанию под платящих пользователей. Такой подход хорошо работает, если вы создаете более 30 креативов в неделю”.”

Представьте себе это как нокаут в два раунда. Первый раунд — кампания IPM, которая быстро и с минимальными затратами отсеивает явных неудачников. Второй раунд — кампания по оптимизации приложения, в ходе которой оставшиеся рекламные материалы проходят испытание на прочность по действительно важному показателю: поведению покупателей. Только те рекламные материалы, которые показывают хорошие результаты в обоих раундах, получают место в вашей основной кампании.

Этот процесс обходится дороже и занимает больше времени, чем просто настройка IPM, но для команд, создающих 30 и более рекламных материалов в неделю, он того стоит. Дополнительный этап проверки значительно снижает риск продвижения рекламного материала, который выглядит хорошо на бумаге, но не приносит ожидаемых результатов ROAS там, где это важно.

Модель 3: Кампания с оптимизацией по показателю эффективности (крупномасштабная)

Когда вы создаете сотни или тысячи рекламных материалов в месяц, многоэтапная схема начинает давать сбои. При таких объемах пропускать каждый рекламный материал через двухэтапный процесс проверки просто слишком медленно и дорого. Именно в этом случае Матей переходит к структуре кампании, оптимизированной с точки зрения эффективности:

“Я снова вернулся к структуре кампании, оптимизированной с точки зрения эффективности. В Facebook на один набор рекламных объявлений можно разместить до 50 креативов, что обеспечивает широкий выбор различных типов креативов. В качестве тестовой группы можно использовать пользователей со всего мира или из стран 3-го и 4-го уровней”.”

Логика здесь отличается от логики предыдущих фреймворков. Вместо того чтобы продвигать рекламные материалы по последовательным этапам, вы позволяете алгоритму взять на себя основную работу. Оптимизация по ценности в Facebook предназначена для поиска пользователей, которые с наибольшей вероятностью совершат покупки с высокой ценностью, а это означает, что среда тестирования тесно согласована с вашими целями. Вы не тестируете количество установок в надежде, что это принесет результат. Вы с самого начала тестируете ценность.

Глобальный охват также является осознанным выбором. Чем больше рынков, тем больше данных и тем быстрее их сбор — а это именно то, что нужно при оценке рекламных материалов в больших масштабах:

“Эта глобальная и оптимизированная с точки зрения эффективности конфигурация в последнее время приносит отличные результаты. Дальше вы можете либо перенести успешные варианты в свою основную рекламную кампанию, либо напрямую расширить масштаб тестовой кампании, если она уже приносит результаты”.”

Этот последний момент действительно стоит особо подчеркнуть. Если рекламный материал уже демонстрирует хорошие результаты в кампании тестирования с оптимизацией по ценности, есть веские аргументы в пользу его непосредственного масштабирования, а не прохождения через дополнительный этап. Поскольку кампания уже оптимизирована с учетом нужного сигнала, самым разумным шагом будет увеличить инвестиции в нее и дать ей возможность работать дальше. 

Модель 4: Непосредственный переход к обычному режиму работы (очень небольшой масштаб)

С другой стороны, существует сценарий, при котором проведение специальной кампании по тестированию вообще не имеет смысла. Для небольших студий или рекламных агентств, выпускающих всего от одного до трёх рекламных материалов в неделю, затраты на инфраструктуру, необходимую для организации отдельной тестовой среды, просто не оправданы:

“В случае небольших клиентов или небольших аккаунтов, где выпускается от одного до трёх креативов в неделю, я вообще отказываюсь от тестовых кампаний. Каждый новый креатив сразу попадает в основную кампанию, работающую в обычном режиме, поскольку для организации отдельной тестовой кампании не хватает ни объёма, ни бюджета”.”

Это прагматичное решение. Проведение отдельной тестовой кампании требует бюджета, времени и достаточного объема рекламных материалов, чтобы получить статистически значимые результаты. Если вы создаете три рекламных материала в неделю, у вас нет ни того, ни другого, ни третьего в достаточном количестве. Распределение вашего ограниченного бюджета между тестовой кампанией и обычной кампанией, скорее всего, негативно скажется на эффективности обеих.

Кампания, проводимая в обычном режиме и ориентированная, как правило, на регионы первого уровня, такие как США, по умолчанию становится полигоном для тестирования. Появляются новые рекламные материалы, алгоритм оценивает их по сравнению с существующими, и вступает в действие процесс естественного отбора. Это более медленный цикл обратной связи, но для операций такого масштаба он является оптимальным.

Интересно то, что даже в рамках кампании, ориентированной на «обычный ход дел», Матей отходит от стандартных рекомендаций платформы, когда это подтверждается данными:

“Я заметил, что обновление рекламных материалов два-три раза в неделю — даже вопреки рекомендациям Facebook — на самом деле положительно сказывается на эффективности”.”

В официальных рекомендациях Facebook обычно советуется дать кампаниям время на стабилизацию, прежде чем вносить изменения. Однако «креативная усталость» — явление вполне реальное, и в определенный момент продолжение показа устаревшего креатива наносит больше вреда, чем временные сбои, связанные с его обновлением. Опыт Матея показывает, что, в частности, в случае с мобильными играми, опережение «креативной усталости» оправдывает связанные с этим компромиссы. Это напоминает о том, что лучшие практики являются отправной точкой, а не сводом правил.

Тестирование рекламных материалов в Facebook и не только: почему для каждого канала нужна своя стратегия

Одним из самых важных моментов всего разговора стало то, что Матей настаивал на том, что Тестирование рекламных креативов должно осуществляться с использованием собственных средств платформы. Успех в Facebook не гарантирует успеха где-либо еще — и Передовые методы проведения A/B-тестирования рекламных креативов значительно различаются в зависимости от канала.

“Каждый канал действительно требует отдельного тестирования. Если у вас есть действительно удачный креатив, он, скорее всего, будет эффективен на всех каналах — но больше нельзя полагаться на это. Каналы ведут себя совершенно по-разному”.”

Тестирование рекламных материалов в Facebook требует яркого вступления и сильного основного содержания. Завершение имеет меньшее значение, чем вы думаете:

“Не обязательно включать в конце видео сильный призыв к действию, ведь 80% людей не досмотрят даже одноминутное видео до конца — в лучшем случае они посмотрят половину”.”

AppLovin полностью меняет ситуацию:

“Все смотрят видео до конца, а потом переходят к интерактивному контенту. Поэтому в конце нужно разместить очень убедительный призыв к действию. А для самого интерактивного контента тоже существуют рекомендации. Например, на AppLovin игроки должны иметь возможность нажать как минимум 10 раз и провести в интерактивном контенте не менее 60 секунд. Таким образом, у вас будет одна минута видео плюс одна минута интерактивного контента”.”

TikTok — это самый требовательный канал с точки зрения быстрого тестирования рекламных креативов:

“Творческое истощение может наступить буквально за несколько дней, и иногда приходится создавать новые материалы через день. В TikTok даже есть программа, в рамках которой авторы создают контент за вас. Это потенциально 40 новых видео в неделю”.”

“Моя стратегия заключается в том, чтобы для каждой рекламной кампании создавать новую рекламную группу с примерно восемью новыми видеороликами и постоянно менять их в ротации. Здесь ключевую роль играет автоматизация. Если делать это вручную, то весь день уйдет только на загрузку рекламных материалов и создание рекламных групп — и на этом всё”.”

Google не усложняет — никаких отдельных тестовых кампаний, только обычные рекламные группы, сгруппированные по концепциям, с количеством видеороликов до 20 на каждую рекламную группу.

Однако наборы рекламных материалов AppLovin представляют собой заметное событие последнего времени, о котором стоит упомянуть:

“Наборы рекламных материалов в AppLovin были оптимизированы, так что теперь в одном наборе можно разместить видео с несколькими вариантами для воспроизведения, а тестированием займётся алгоритм. Шесть месяцев назад этой функции не было, так что это значительное улучшение”.”

Как тестировать и дорабатывать рекламные креативы для повышения ROAS: «Playable Layer»

Интерактивные рекламные материалы добавляют ещё один уровень сложности к тестированию рекламных креативов. Их сложнее создавать, тестировать и дорабатывать. Однако подход Матея раскрывает суть этого процесса:

“Вы берете видеоролик, показавший лучшие результаты, сочетаете его с различными интерактивными элементами и тестируете их друг против друга — принцип тот же, что и при тестировании только видеороликов, но теперь с интерактивной заключительной карточкой. То, что покажет лучшие результаты, проходит в следующий раунд. Вы всегда оставляете интерактивный элемент, показавший лучшие результаты, в качестве контрольного варианта и тестируете новые комбинации по сравнению с ним”.”

Сочетание видео и интерактивной заключительной карточки неизменно остается самым эффективным форматом. Однако проблемы с производством вполне реальны, и именно поэтому Матей создал Playable Maker:

“Создавать игровые демо-версии сложно, а должным образом их тестировать — ещё сложнее. Но с помощью шаблонов можно быстро добиться результата. Я вместе с Андре обнаружил, что в играх категорий midcore, hardcore и 4X используется шаблон в виде пазла 3×3 — это может показаться случайным выбором, но он работает. Создать такой прототип можно за 20 минут: загрузите статическое изображение, сгенерируйте игровой прототип — и готово”.”

Он также обратил внимание на новую тенденцию, которая ставит под сомнение предположение о том, что игровые элементы должны точно отражать реальный игровой процесс:

“Если есть игра с высоким потенциалом масштабирования — например, пасьянс или игра в жанре ”три в ряд“ — вместо того, чтобы просто копировать её, вы берете эту игровую концепцию и используете её в качестве основы для своей игры. Таким образом, вы применяете проверенную игровую механику в своём проекте, не создавая при этом совершенно новую игру. И это работает».”

Цикл итераций: творческое тестирование никогда не заканчивается

Даже после того как вы определили самые эффективные варианты, работа на этом не заканчивается. Чтобы научиться тестировать и дорабатывать рекламные креативы с целью повышения ROAS, нужно принять тот факт, что этот процесс является непрерывным и никогда по-настоящему не заканчивается:

“После того как вы провели все тестирования и определили самые эффективные варианты, следующим шагом становится итерация, и здесь есть масса возможностей для экспериментов: пользовательский контент, искусственный интеллект, звуковое сопровождение, закадровый голос, ”крючки», триггеры тревоги, создание ощущения срочности. А затем весь цикл начинается сначала. Это бесконечный цикл».”

Чтобы развить интуицию, позволяющую ориентироваться в этом цикле, необходимо постоянно знакомиться с творчеством самых разных авторов. Матей проиллюстрировал эту мысль ярким примером:

“У меня был один случай, когда мы снимали два ролика — один из них назывался ‘Новичок против про’ — и компания хотела, чтобы их логотип и заголовок появились в первые три секунды. Я им сказал: в первые три секунды это никому не интересно. Нужно сразу привлечь внимание. Мы потеряли 70% зрителей именно из-за этого. Поэтому мы провели тестирование, обрезали первые три секунды на Facebook, и версия без логотипа показала значительно лучшие результаты. Если это не логотип Supercell, никому до этого нет дела”.”

Неожиданный победитель: реклама с низким уровнем детализации

Матей завершил свой рассказ тем, что, по его словам, стало для него самым искренним сюрпризом за последнее время в ходе творческих экспериментов — и это полезное напоминание о том, что в этой отрасли предположения быстро теряют актуальность:

“Я всегда говорил, что реклама в стиле ”лоу-фай“ — та, которая выглядит так, будто кто-то снял себя дома, рассказывая об игре, — как правило, показывает удивительно хорошие результаты. Сначала я этого никак не мог понять. Я привык создавать отполированный контент. Но я начал пробовать такой подход — и он работает. Это не похоже на рекламу. Создается впечатление, что это пост инфлюенсера или органический контент. Очень в стиле TikTok, очень естественно. Для меня это было настоящим сюрпризом, и теперь это стало неотъемлемой частью того, что я создаю».”

Это подходящая мысль для завершения. В условиях, когда рекламные агентства выпускают 23 000 рекламных материалов в месяц, а системы тестирования рекламных креативов обновляются каждые шесть месяцев, те креативы, которые действительно привлекают внимание, зачастую выглядят совсем не как креативы.

Вывод

В конечном счете, успех тестирования рекламных креативов заключается не в погоне за объемом ради самого объема. Речь скорее идет о создании системы, которая целенаправленно фильтрует, проверяет и совершенствует креативы. 

Независимо от того, работаете ли вы с несколькими креативщиками или с десятками тысяч, успеха добиваются те команды и креативщики, которые соблюдают дисциплину: отсеивают то, что не находит отклика, проводят тестирование с учетом значимых сигналов и адаптируются к особенностям каждой платформы. 

Несмотря на то, что сфера рекламы продолжает развиваться благодаря автоматизации, искусственному интеллекту и новым форматам, таким как интерактивные рекламные материалы, один принцип остается неизменным: тестирование креативных материалов — это не разовый процесс, а непрерывный цикл изучения, доработки и масштабирования того, что действительно работает.

Эта статья основана на Подкаст «ROI 101» от Tenjin выпуск с участием Матея из «Two and a Half Gamers». Посмотрите полный эпизод а также ознакомьтесь с «Creative Bible» и «Playable Maker» от Матея по ссылкам в описании эпизода.

Менеджер по маркетинговому контенту

Тара Мейер