増分性

マーケティングにおける「インクリメンタル性」とは何か？

マーケティングにおける「インクリメンタル性」とは、キャンペーンが単に結果と相関しているだけでなく、実際にその結果をもたらしたかどうかを測定する手法のことです。これは、マーケティングにおいて最も重要かつ最も難しい質問の一つ、「これらの施策は」という問いに対する答えとなります。 コンバージョン このキャンペーンがなくても、いずれは起こっていたのでしょうか？

この区別は極めて重要です。なぜでしょうか？ それは、標準的な アトリビューション モデルは、その功績を 最後の接触点 あるいは、ユーザーがコンバージョンに至る前に最後に接触したキャンペーン。ただし、アトリビューションのクレジットは、因果的な影響とは同一ではありません。.

 もともとその可能性が極めて高かったユーザーが インストール あなたのアプリで、次のように 購入, 、あるいは購読したユーザーは、あなたの広告を見たかどうかに関係なく、そうした可能性もあります。もしあなたのキャンペーンが、本来なら発生していたであろうコンバージョンを成果として計上している場合 自然に, ご報告いただいた ROAS は過大評価されており、予算配分の決定は不完全な情報に基づいています。.

インクリメンタリティは、反事実的な仮定を導入することでこの問題を解決します。ユーザーがキャンペーンを目にしたときに何が起きたかを問うのではなく、もし目にしてなかったら何が起きていたかを問うのです。この2つの結果の差こそが、 増分リフト、, キャンペーンが実際にどのような貢献をしたのか、その真の価値を測るもの。.

プライバシーに関する枠組みによってアトリビューションが左右される環境で活動するモバイルマーケターにとって、インクリメンタリティは測定における基礎的な手法である。.

インクリメンタリティはどのように機能するのでしょうか？

インクリメンタル処理の仕組みは次のとおりです。 2つのグループの挙動を比較する：キャンペーンの対象となる実験群と、対象とならない対照群。管理された条件下で測定された両群の結果の差が、そのキャンペーンによる追加的な効果を表す。.

ステップ1：質問を明確にする

増分テストを行う前に、何を測定したいのかを明確に定義してください。明確に定義された問いかけこそが、実践に活かせる結果へと導いてくれます。. 

例: 特定のキャンペーンがインストール数の増加につながっているかどうかを検証していますか？ リターゲティングチャネルが購入数の増加につながっているかどうかを検証していますか？ 特定のクリエイティブがサブスクリプション数の増加につながっているかどうかを検証していますか？ 

ステップ2：オーディエンスを分類する

ターゲット層を2つのグループに分けます。テストグループには通常通りキャンペーンを提示します。対照グループ（ホールドアウトグループとも呼ばれる）には、キャンペーンを一切提示しません。結果の差異が、グループ間の既存の差異ではなく、キャンペーンによるものであると確実に判断できるよう、テスト開始時点で2つのグループは統計的に同等である必要があります。.

ステップ3：キャンペーンを実行する

対照群には施策を適用せず、実験群に対してキャンペーンを実施します。実験期間は、統計的有意性を得るのに十分なデータを収集できる長さであると同時に、現在の市場状況を反映できる範囲に絞る必要があります。キャンペーンもユーザーの行動も時間の経過とともに変化するため、インクリメンタリティテストの期間が長すぎると、変化し続ける対象を測定することになりかねません。.

ステップ4：差を測定する

テスト期間の終了時に、テスト群と対照群のコンバージョン率、収益、その他の成果を比較します。両群の差が、キャンペーンによる増分効果を表します。.

ステップ5：統計的有意性の評価

ここで、信頼区間が極めて重要になります。増分性の検定結果に基づいて行動を起こす前に、ランダムな変動とは区別して、統計的有意性を確立する必要があります。. 

信頼区間とは、真の増分効果が収まる可能性が高い範囲を示すものです。また、結果が95%の信頼水準、すなわち観察された差が偶然によって生じた確率が5%に達した場合、その結果は統計的に有意であるとみなされます。.

統計的有意性に達していない結果に基づいて行動すると、本質的な情報ではなく、ノイズに基づいて予算の決定を下してしまうリスクがあります。.

例: サブスクリプション型アプリは、新規ユーザー獲得キャンペーンに対して、新しい アドネットワーク. 5万人のユーザーからなる実験群にこのキャンペーンを提示する。これと同規模の5万人のユーザーからなる対照群は、このキャンペーンの対象外とする。4週間後、実験群ではサブスクリプションが コンバージョン率 対照群の2.1%に対し、3.2%という結果となった。この増加分は、95%の信頼水準において統計的に有意であることが確認された。本キャンペーンは、オーガニックのベースラインを上回る実質的な新規契約の増加をもたらしていることが実証され、それに応じて予算が増額された。.

増分リフトの計算方法

インクリメンタルリフトは、インクリメンタリティ分析の主要な出力指標です。これは、キャンペーンによって生み出された追加のコンバージョン率を、対照群のベースラインに対する割合として表したものです。.

数式：

Incremental Lift = (Test Conversion Rate - Control Conversion Rate) / Control Conversion Rate

解き方の例

• テストグループのコンバージョン率：4.5%
• 対照群のコンバージョン率：3.0%
• 増分リフト = (4.5% - 3.0%) / 3.0%
• 増分リフト = 1.5% / 3.0%
• 増分リフト = 50%

この結果は、このキャンペーンによって、自然流入の場合と比較してコンバージョン数が50%増加したことを意味します。テストグループにおけるコンバージョンの半分は、このキャンペーンによるものと見なすことができます。残りの半分は、キャンペーンの有無にかかわらず発生していたでしょう。.

「インクリメンタル・リフト」が示すもの

インクリメンタルリフトがプラスであることは、そのキャンペーンが真に付加価値を生み出していることを裏付けています。インクリメンタルリフトが低い、あるいはゼロに近い場合は、キャンペーンが主にオーガニックコンバージョンの成果を自分の手柄として計上していることを示唆しています。インクリメンタルリフトがマイナスになることは稀ですが、広告疲れやターゲット設定の不適切なメッセージなどにより、キャンペーンの露出が実際にはコンバージョンを抑制している可能性を示している場合があります。.

キャンペーン、チャネル、クリエイティブの各レベルにおけるインクリメンタルリフトを把握することで、マーケターは、単に成長しているように見えるだけの活動ではなく、真に成長を牽引している活動に予算を配分するために必要なデータを得ることができます。.

インクリメンタル効果とアトリビューション：その違いとは？

インクリメンタル性とアトリビューションはどちらも測定の枠組みですが、これらは根本的に異なる問いに答えるものであり、互いに代替関係にあるとみなすのではなく、併用すべきです。.

アトリビューションとは、ユーザーがコンバージョンに至る前にどのタッチポイントとインタラクションしたかを特定し、定義されたモデルに基づいてそれらのタッチポイントに功績を割り当てるものです。これにより、コンバージョンがどこで発生しているかがわかります。ただし、それらのタッチポイントがコンバージョンの原因となったかどうかはわかりません。.

インクリメンタル性は因果関係を直接測定するものです。これは、使用されているアトリビューションモデルとは無関係に、そのキャンペーンが、もしキャンペーンがなかったら発生しなかったであろうコンバージョンを実際に生み出したかどうかを示します。.

最も洗練されたモバイルマーケティングの測定体制では、この2つを併用しています。アトリビューションは、広告費がどこに投じられ、それがどのような成果を生み出しているかを追跡する、運用レポートの層を提供します。インクリメンタリティは、アトリビューションによって算出された結果が、真の因果関係による影響を反映しているかどうかを確認する検証の層を提供します。これらを組み合わせることで、マーケターはキャンペーンのパフォーマンスに関する完全かつ正確な全体像を把握することができます。.

増分分析：何を、いつ測定すべきか

すべてのキャンペーンでインクリメンタリティ・テストを行う必要があるわけではなく、また、すべてのインクリメンタリティ・テストが実用的な結果をもたらすわけでもありません。何を、いつ測定すべきかを把握することは、測定方法を知るのと同じくらい重要です。.

増分分析において何を優先すべきか？

• 支出額の高いチャネル
  広告費が高額であればあるほど、帰属させられている成果が真に増分的なものであることを確認することの重要性は高まります。ユーザー獲得（UA）予算の30%を消費するチャネルについては、小規模なテストキャンペーンよりも高い証明基準を課すべきです。.

• リターゲティングキャンペーン
  リターゲティングは、すでにアプリを利用しているユーザーを対象としているため、コンバージョンに至る可能性も高くなることから、アトリビューションの過大評価が生じやすい傾向にあります。そのため、リターゲティングにおいては、他のどのキャンペーンタイプよりもインクリメンタリティテストが重要となる可能性があります。.

• ブランドキャンペーン
  ブランド名を検索して有料のブランド広告をクリックしたユーザーは、そもそも広告がなくても貴社を見つけようとしていた可能性が高いです。ブランドキャンペーンのインクリメンタル効果を検証すると、予想よりも低い増加効果が示されることが多く、予算配分について重要な疑問が生じます。.

• 新しいチャンネル
  新しい広告ネットワークやチャネルに多額の予算を投じる前に、インクリメンタリティテストを実施することで、その投資を自信を持って行うために必要な根拠を得ることができます。.

増分テストを実行するタイミング

インクリメンタリティ分析には、標準的な測定サイクルを設けるべきです。市場環境は変化し、ユーザーの行動も移り変わるため、ある時点におけるチャネルのインクリメンタリティは、6か月後には大きく異なる可能性があります。インクリメンタリティ分析を四半期ごとの測定サイクルに組み込むことで、予算配分の意思決定を常に最新の状態に保つことができます。. 

増分処理におけるよくある間違い

以下は、マーケターが増分効果分析を行う際に犯しがちな、最も一般的な間違いのいくつかです：

1. サンプルサイズが小さすぎる

対象者数が不十分なインクリメンタルテストでは、統計的有意性に達せず、結果に基づいた行動をとることができなくなります。テストを実施する前に、目標とする信頼水準で期待されるインクリメンタルリフトを検出するために必要な最小サンプルサイズを算出してください。検出力が不十分なテストを実施し、その結果に基づいて行動することは、モバイルマーケティングにおいて最も一般的かつコストのかかる測定上のミスの一つです。.

2. テストの実施期間が短すぎる

テスト期間が短すぎると、結果にノイズが生じやすくなります。ユーザーの行動は日によって変動するため、わずか数日間しか実施しないテストでは、代表的な状況ではなく、異常な時期のデータしか捉えられない可能性があります。現在の状況を反映できるようテスト期間を十分に短く保ちつつ、データが安定するまで十分な時間を確保してください。.

3. 対照群への混入

対照群のユーザーが他のチャネルを通じてキャンペーンに接触してしまうと、テストの信頼性が損なわれます。テスト期間中、対照群が関連するすべてのタッチポイントにおいて、確実にキャンペーンに接触しないようにしてください。.

4. 信頼区間を無視すること

増分リフトの点推定値を、その信頼区間を評価せずに報告することは、誤解を招く恐れがあります。15%というリフト値は意味のある数字のように聞こえますが、95%の信頼区間がマイナス5%からプラス35%の範囲にある場合、その結果は統計的に有意ではなく、予算の決定の根拠とすべきではありません。.

5. すべてを一度にテストする

重複するオーディエンスを対象に複数のインクリメンタルテストを同時に実行すると、テスト間で干渉が生じ、結果の信頼性が低下します。テストの優先順位を付け、可能な限り順次実行し、並行テストが必要な場合は、オーディエンスセグメントが明確に区別されるようにしてください。.

6. 増分性を定期的に検証していない

オーディエンスの飽和、クリエイティブへの飽き、競合状況の変化に伴い、チャネルの付加価値は時間とともに変化します。定期的なテストを行うことで、測定の精度を維持し、予算配分を最適化することができます。.

Tenjin を使ってインクリメンタル効果を測定する方法

インクリメンタリティテストを実施するには、クリーンなデータ、信頼性の高いアトリビューション、そしてオーディエンスを正確にセグメント化し、コホートレベルで結果を分析する能力が必要です。適切な測定インフラが整備されていなければ、インクリメンタリティ分析を確実に実行することは困難であり、その結果に基づいて自信を持って行動を起こすことはさらに難しくなります。.

Tenjinは、モバイルマーケターがインクリメンタリティ分析を効果的に実施・解釈するために必要なデータ基盤を提供するモバイル測定パートナー（MMP）です。正確なアトリビューション、きめ細かなコホートレポート、および有料・オーガニック双方のパフォーマンスを一元的に把握できる機能により、Tenjinはインクリメンタリティテストを実践的なものにする測定レイヤーを提供します。.

Tenjin を使えば、次のようなことができます：

• オーガニックユーザーと有料ユーザーのコホートを明確に区分し、正確なベースラインコンバージョン率を算出する
• テスト群と対照群における変換の挙動を、 コホートレベル
• 1つのダッシュボード上で、キャンペーンのパフォーマンスとオーガニックのベースラインを並べて比較する
• IAPと広告収益のデータを組み合わせ、インストール数だけでなく、総収益に対する増分効果を測定する
• 生データをエクスポートする カスタム増分分析および統計モデリングのために
• インクリメンタリティに関する知見を、より広範なアトリビューションデータと結びつけることで、以下の全体像を把握できます。 真のキャンペーンROI

例: あるモバイルパブリッシャーは、主要なリターゲティングパートナーとの契約を更新する前に、そのパートナーがもたらすインクリメンタル価値を検証したいと考えていました。Tenjinを活用し、ホールドアウトコホートからクリーンなオーガニックベースラインを確立し、キャンペーン、国、クリエイティブの各レベルで、リターゲティングに接触したコホートと比較しました。 分析の結果、上位2つの市場では顕著な増分リフトが確認された一方、オーガニックのコンバージョン率がすでに高い3つの小規模市場では、リフトがほぼゼロであることが判明しました。同社はこの知見を活用し、リターゲティングが真に追加収益をもたらしている市場に予算を集中させ、そうでない市場では活動を一時停止しています。.

主要な結論

インクリメンタル分析は、モバイルマーケティングにおいて最も重要でありながら、最も活用されていない測定手法の一つです。真の因果関係を立証できるかどうかが、確信を持って行える予算決定と、コストのかかる当て推量を分ける鍵となります。.

• インクリメンタル効果は、キャンペーンがコンバージョンと相関しているかどうかだけでなく、自然流入によるコンバージョンを超えて、追加のコンバージョンを生み出したかどうかを測定するものです。
• この手法の中核となるのは、キャンペーンに接触した実験群と、接触していない対照群とを比較する統制実験である。
• 増分リフトは、次のように計算されます： 

(Test Conversion Rate - Control Conversion Rate) / Control Conversion Rate

• 信頼区間は、インクリメンタリティの結果を解釈する上で不可欠です。テスト結果に基づいて行動を起こす前に、必ず統計的有意性を確認してください。
• アトリビューションとインクリメンタリティは、それぞれ異なる問いに対する答えであり、併用することで最大の効果を発揮します
• リターゲティングキャンペーンは、アトリビューションの過大評価の影響を特に受けやすいため、定期的なインクリメンタリティテストを行うことで最大の効果を得ることができます。
• インクリメンタリティ分析は、測定サイクルの中で定期的に実施すべきものであり、単発の取り組みであってはなりません。
• Tenjinは、インクリメンタリティ分析を正確に実行し、その結果を貴社のより広範な成長データと結びつけるために必要な測定インフラを提供します。

関連用語

• 出典
• A/Bテスト
• 広告費用利益率（ROAS）。
• 生涯価値（LTV）
• コンバージョン率
• モバイル計測パートナー（MMP）
• 再関与
• オーガニックインストール

よくある質問 

マーケティングにおける「インクリメンタリティ」とは何ですか？

マーケティングにおける「インクリメンタル効果」とは、キャンペーンが実施されなかった場合に自然発生していたコンバージョン数を超えて、実際に追加のコンバージョンを生み出したかどうかを判断するための測定フレームワークです。これは、マーケティング活動の真の因果的影響を特定し、キャンペーンの実施にかかわらず発生していたであろうコンバージョンと、キャンペーンによってもたらされた真の成果とを区別するものです。.

インクリメンタリティはどのように機能するのでしょうか？ 

インクリメンタル効果は、対象者を統計的に同等の2つのグループに分けることで測定されます。テストグループには通常通りキャンペーンを配信し、対照グループにはキャンペーンを一切配信しません。テスト期間終了時点での両グループのコンバージョン率の差が、結果が統計的に有意である場合に限り、そのキャンペーンによるインクリメンタルリフトを表します。.

増分リフトはどのように計算するのですか？ 

増分リフトは、次の式を用いて計算されます： 

Incremental Lift = (Test Conversion Rate - Control Conversion Rate) / Control Conversion Rate

テストグループのコンバージョン率が4.5%、対照グループが3.0%だった場合、増分リフトは50%となります。これは、このキャンペーンによって、オーガニックのベースラインを上回る50%のコンバージョン増加をもたらしたことを意味します。.

「インクリメンタル効果」と「アトリビューション」の違いは何ですか？ 

アトリビューションは、コンバージョンにつながったタッチポイントを特定するものです。インクリメンタリティは、それらのタッチポイントが、もしそれらがなければ発生しなかったであろう追加のコンバージョンを実際に引き起こしたかどうかを測定するものです。この2つのフレームワークはそれぞれ異なる問いに対する答えを提供するものであり、併用することで最大の効果を発揮します。.

インクリメンタリティ・テストにおける信頼区間とは何ですか？ 

信頼区間からは、真のインクリメンタル効果がどの範囲内に収まる可能性が高いか、またテスト結果の信頼性がどの程度であるかがわかります。通常、結果は95%の信頼水準で統計的に有意であるとみなされます。これは、観察された差が偶然によって生じた確率が5%に過ぎないことを意味します。インクリメンタリティテストの結果に基づいて行動を起こす前に、必ず統計的有意性を確認してください。.

インクリメンタリティ分析はなぜ重要なのでしょうか？ 

インクリメンタリティ分析が重要なのは、標準的なアトリビューションモデルでは、本来オーガニックで発生していたはずのコンバージョンをキャンペーンの成果として計上してしまうため、キャンペーンの影響力が過大評価されかねないからです。インクリメンタリティテストを行うことで、キャンペーンの真の因果関係が明らかになり、真に成長を牽引している活動に対して、より賢明な予算配分が可能になります。.

どのキャンペーンがインクリメンタリティ・テストの恩恵を最も受けやすいでしょうか？ 

リターゲティングキャンペーンは、すでにエンゲージメントの高いユーザーをターゲットとしており、自然流入によるコンバージョンにつながる可能性が高いため、アトリビューションの過大評価というリスクが特に大きくなります。また、広告費の多いチャネル、ブランドキャンペーン、新しい広告ネットワークも、インクリメンタリティ分析の対象として有力です。.