Извлечение преобразование загрузка (ETL)

Что такое ETL?

ETL (Extract, Transform, Load) — это процесс, в ходе которого данные перемещаются из места их создания в место, где их можно проанализировать. Большинство маркетинговых и аналитических платформ построены на основе процессов ETL, работающих в фоновом режиме. Каждый раз, когда вы видите информационную панель с данными о расходах, установках, выручке или показателе ROAS, полученными из различных источников, это становится возможным благодаря процессу ETL.

Эти три этапа точно описывают, что происходит с данными:

• Выдержка: Данные извлекаются из одной или нескольких исходных систем
• Преобразовать: Эти данные очищаются, стандартизируются и преобразуются в формат, подходящий для анализа
• Загрузить: Преобразованные данные записываются в целевую систему, например в хранилище данных, базу данных или аналитическую платформу

ETL играет ключевую роль в интеграции данных. Без него данные с разных платформ хранятся в отдельных «силосах», имеют разный формат и используют разные конвенции именования, и их невозможно объединить без значительных ручных усилий.

Что означает аббревиатура ETL?

ETL — это аббревиатура от «Extract, Transform, Load» (извлечение, преобразование, загрузка).

Этот термин широко используется в таких областях, как инженерия данных, аналитика и бизнес-аналитика. В частности, в сфере мобильного маркетинга под ETL понимаются конвейеры, которые объединяют данные рекламных сетей, данные об атрибуции и данные о выручке в единую отчетность.

Как работает процесс ETL?

Каждый этап процесса ETL выполняет свою конкретную функцию. Ниже подробнее рассмотрено, что происходит на каждом этапе:

Выдержка 

Данные собираются из исходных систем. В сфере мобильного маркетинга к таким источникам обычно относятся рекламные сети, MMP, магазины приложений, медиационные платформы и инструменты аналитики продуктов. Каждый источник хранит данные в собственном формате, используя собственную терминологию и структуру. На этапе извлечения эти необработанные данные извлекаются и подготавливаются к дальнейшей обработке.

Преобразовать 

На этом этапе исходные данные очищаются и переструктурируются. Этапы преобразования могут включать:

• Унификация форматов дат, значений валют и правил именования во всех источниках
• Удаление дубликатов записей
• Применение бизнес-логики, например, расчет производных показателей, таких как ROAS или LTV
• Объединение данных из нескольких источников, например, сопоставление данных о расходах на рекламу с данными об установках, полученными из SDK
• Отсеивание нерелевантных или ошибочных записей

Этот этап зачастую является самой сложной частью ETL-конвейера. Качество преобразованных данных напрямую определяет достоверность всех последующих показателей и отчетов.

Загрузить 

Обработанные данные записываются в место назначения. Это может быть облачное хранилище данных, такое как BigQuery или Snowflake, инструмент бизнес-аналитики, настраиваемая панель мониторинга или внутренняя база данных. После загрузки данные становятся доступными для запросов, визуализации и анализа.

Значение термина «ETL-конвейер»

ETL-конвейер — это автоматизированная последовательность шагов, которая обеспечивает прохождение данных через процессы извлечения, преобразования и загрузки по расписанию или в непрерывном режиме. В отличие от ручного выполнения ETL, конвейер автоматизирует весь рабочий процесс, благодаря чему данные поступают из исходных систем в целевые без участия человека.

В мобильном маркетинге ETL-конвейеры выполняют такие задачи, как:

• Ежедневный сбор данных о расходах на рекламу из сотен рекламных сетей
• Сопоставление этих данных о расходах с данными об установках и атрибуции из MMP
• Преобразование объединенного набора данных для расчета таких показателей, как CPI, ROAS и LTV
• Загрузка результатов в хранилище данных или на информационную панель для подготовки отчетов

Хорошо спроектированный ETL-конвейер работает надежно, корректно обрабатывает ошибки, проверяет данные на каждом этапе и автоматически обновляется при изменении форматов данных в исходных системах. Плохо спроектированный конвейер приводит к задержкам, пробелам и несоответствиям, которые сказываются на всех последующих отчетах и решениях.

ETL в мобильном маркетинге

Все данные, полученные из различных источников, проходят процесс ETL, прежде чем появляются на информационной панели или в инструменте отчетности. В мобильном маркетинге это особенно заметно, если учесть, сколько различных источников данных формируют единую картину эффективности кампании.

Пример: Когда MMP, такая как Tenjin, собирает данные о рекламных расходах из более чем 200 рекламных сетей, каждая сеть предоставляет эти данные в собственном формате с собственными названиями полей, валютами и часовыми поясами. Процесс ETL стандартизирует все эти данные, сопоставляет их с единой схемой и связывает с данными об установках и атрибуции, полученными из SDK. В результате получается единый набор данных, который позволяет отслеживать такие показатели, как ROAS, CPI и LTV на уровне когорты, для всех сетей и кампаний в одном месте.

Еще один пример заключается в интеграции данных об атрибуции и медиации с данными о выручке из магазинов приложений или аналитикой по продуктам. Для расчёта таких показателей, как LTV через X дней на основе медиации с разбивкой по источникам привлечения, необходимы данные с нескольких платформ, объединенные в единую базу данных. Этот процесс объединения и есть ETL. Без него каждый источник данных остаётся изолированным, и рассчитать совокупный показатель становится вообще невозможно.

Инструменты ETL

ETL-инструмент — это программное обеспечение, которое помогает командам создавать, управлять и запускать ETL-конвейеры, не прибегая к разработке каждого компонента с нуля. ETL-инструменты берут на себя технические аспекты подключения к источникам данных, планирования заданий, управления преобразованиями и загрузки данных в целевые системы.

Для команд, занимающихся мобильным маркетингом, инструменты ETL становятся актуальными, когда объем и сложность интеграции данных превышают возможности ручной обработки или встроенных средств отчетности платформы. К типичным сценариям относятся:

• Интеграция данных из различных MMP, медиационных платформ и инструментов аналитики продуктов в единое хранилище
• Создание пользовательских моделей LTV, для которых требуются данные из источников, не подключенных напрямую к вашей панели инструментов
• Создание автоматизированных конвейеров отчетности, которые обеспечивают данными инструменты бизнес-аналитики, такие как Tableau, Looker или Power BI

Создание системы ETL с нуля требует значительных затрат времени и ресурсов. Это предполагает инженерные усилия по построению конвейеров, постоянное обслуживание для адаптации к изменениям форматов исходных данных, а также мониторинг, позволяющий выявлять ошибки до того, как они повлияют на формирование отчетности на последующих этапах. Именно поэтому многие команды предпочитают работать со специализированными инструментами ETL или привлекать партнеров, а не разрабатывать всё собственными силами.

Tenjin сотрудничает с Growth Fullstack — инструментом ETL, разработанным специально для мобильных разработчиков. Growth Fullstack обеспечивает стандартизацию, проверку, мониторинг и устранение неполадок заданий ETL, что гарантирует надежную работу процессов интеграции данных. Кроме того, он помогает командам создавать настраиваемые информационные панели с визуализацией данных в выбранном ими хранилище данных. Подробнее об интеграции с Growth Fullstack можно узнать в документации Tenjin.

ETL против ELT

ELT (Extract, Load, Transform) — это альтернативный подход к ETL, который стал более распространенным с ростом популярности облачных хранилищ данных.

Разница заключается в порядке выполнения операций:

• ETL: Данные преобразуются перед загрузкой в систему назначения
• ELT: Данные сначала загружаются в систему назначения, а затем преобразуются там с использованием собственных вычислительных ресурсов хранилища

Для команд, занимающихся мобильным маркетингом и работающих с большими объёмами необработанных данных об атрибуции и событиях в облачных хранилищах, подход ELT становится всё более распространённым. Для команд, использующих готовые интеграции и информационные панели, стандартным подходом по-прежнему остаётся ETL.

Оптимизация процессов ETL и передовой опыт

Хорошо оптимизированный процесс ETL обеспечивает получение чистых, своевременных и надежных данных. Ниже приведены наиболее важные принципы, которых следует придерживаться:

Проверка данных на каждом этапе 

Не ждите, пока данные будут загружены, чтобы проверить их на наличие ошибок. Встройте этапы проверки в процессы извлечения и преобразования данных, чтобы выявлять проблемы на ранней стадии, до того как они распространятся по всему конвейеру.

Своевременно стандартизируйте правила именования

Несогласованность имен полей и значений в разных источниках является одной из наиболее распространённых причин проблем с качеством данных. Необходимо на раннем этапе определить единую схему и обеспечить её соблюдение на этапе преобразования.

Постоянный мониторинг работоспособности конвейера

ETL-конвейеры могут выходить из строя без видимых признаков. При остановке выполнения задания не всегда возникает сразу заметная ошибка. Настройте мониторинг и систему оповещений, чтобы своевременно выявлять сбои.

План действий в случае изменений в исходных данных 

Рекламные сети и другие поставщики данных регулярно меняют свои API и форматы данных. Создавайте свои конвейеры данных с достаточной гибкостью, чтобы справляться с этими изменениями, не нарушая работу последующих этапов отчетности.

Зафиксируйте свои преображения 

Бизнес-логика, применяемая в процессе преобразования данных, например, порядок расчета LTV или способ отнесения установок к рекламным кампаниям, должна быть четко задокументирована. Это гарантирует, что все, кто работает с данными, понимают, что они означают.

Проверить перед Развертывание изменений 

Любые изменения в преобразовании или конвейере должны проходить тестирование на исторических данных перед внедрением в производственную среду. Непроверенные изменения являются одной из наиболее распространённых причин несоответствий в данных.

Как Tenjin решает задачи ETL

Платформа Tenjin в фоновом режиме запускает процессы ETL, чтобы объединить данные из рекламных сетей, SDK и магазинов приложений в единую среду отчетности. Когда вы видите на панели инструментов Tenjin показатели расходов, числа установок, ROAS и LTV, эти цифры являются результатом работы ETL-конвейеров, объединяющих данные со всех компонентов вашего маркетингового стека.

Для команд, которым необходимо пойти дальше и создать собственную инфраструктуру данных, решение DataVault от Tenjin предоставляет доступ к необработанным данным об атрибуции и эффективности, которые можно загрузить в собственное хранилище данных и преобразовать в соответствии с вашей бизнес-логикой. Это предоставляет вашей команде по работе с данными необходимые компоненты для создания настраиваемых ETL-конвейеров на основе данных Tenjin, не ограничиваясь тем, что доступно в панели инструментов.

Связанные термины

• DataVault
• API
• Атрибуция
• Партнер по мобильным измерениям (MMP)
• Пожизненная ценность (LTV)
• Рентабельность рекламных затрат (ROAS)

Часто задаваемые вопросы?

Что такое ETL? 

ETL — это аббревиатура от «Extract, Transform, Load» (извлечение, преобразование, загрузка). Это процесс интеграции данных, в ходе которого данные извлекаются из исходных систем, преобразуются в унифицированный формат и загружаются в целевую систему для анализа. В мобильном маркетинге ETL позволяет объединять данные из рекламных сетей, платформ атрибуции и магазинов приложений в единую отчетность.

Что означает аббревиатура ETL? 

Аббревиатура ETL расшифровывается как «Extract, Transform, Load» (извлечение, преобразование, загрузка). Каждое слово обозначает один из этапов процесса: извлечение данных из источников, их преобразование в согласованный и пригодный для использования формат, а также загрузка в систему хранения или аналитики.

Что такое ETL-конвейер? 

ETL-конвейер — это автоматизированный рабочий процесс, который обеспечивает передачу данных через этапы извлечения, преобразования и загрузки в соответствии с расписанием или в непрерывном режиме. Он избавляет от необходимости ручной передачи данных и гарантирует надежный поток данных из исходных систем в системы назначения.

Почему ETL играет важную роль в мобильном маркетинге? 

Данные для мобильного маркетинга поступают из множества различных источников: рекламных сетей, MMP, магазинов приложений, медиационных платформ и инструментов аналитики продуктов. ETL позволяет объединить эти источники в единый набор данных, который обеспечивает точную отчетность по таким показателям, как ROAS, CPI и LTV. Без ETL каждый источник данных остается изолированным, а для межисточникового анализа требуются постоянные ручные усилия.

Использует ли Tenjin ETL? 

Да. Tenjin запускает ETL-процессы для сбора и объединения данных из рекламных сетей, SDK и магазинов приложений с целью формирования отчетов для информационной панели. Для команд, желающих создать собственную инфраструктуру данных, DataVault предоставляет доступ к необработанным данным, которые можно использовать в качестве основы для настраиваемых ETL-конвейеров.