コンパスで自社の変革指標を見つけましょう

コンパスを使用すると、リテンションやコンバージョンを予測する行動を特定できます。コンパスは変革指標を識別します。この指標は、ユーザーがプロダクト内で重要な閾値に達した瞬間を記録します。これらの指標はユーザーのグロースを促進するのに役立ちます。

例えばFacebookは、最初の10日間で7人の友達を追加することが、長期的なリテンションの最も強力な兆候であることを早くから発見しました。最近、Netflixは、視聴者が夢中になるまでに必要なテレビ番組1本あたりのエピソード数に関する分析を発表しました。

Amplitudeは、次に進む前に、まずコンパスに関するヘルプセンターのドキュメントを読むことをお勧めします。この記事の残りの部分では、分析の仕組みについて一般的な理解を前提としています。

読みやすくするため、Amplitudeは新しいユーザー/リテンションユースケースを例として使用しています。新しいユーザーを任意のベースコホートに置き換えることができ、保持中のユーザーを任意のターゲットコホートに置き換えることもできます。

変曲メトリックを見つけるには、まずターゲットコホートを決定する必要があります。インフレクションメトリックは、多くの場合、新規ユーザーがリテンションユーザーになるよう促すことに重点を置いています。 この記事の例では、ベースコホートは新規ユーザーで、ターゲットコホートは継続ユーザーです。

ベースコホートとは、分析対象のユーザーの初期セットです（新規ユーザーやログインユーザーなど）。 ターゲットコホートとは、ターゲット設定されたアクション（リテンションやコンバージョンなど）を完了したユーザーの集合です。

これは一般的なユースケースであり、コンパスチャートのデフォルト設定です。チャートを編集して、特定の分析ニーズを反映させることができます。

インフレクションメトリックを探す際は、それが絶対的なものではないことに注意してください。 これはユーザーがその正確な時点でコンバージョンすることを意味するものではありません。 代わりに、組織（プロダクトやマーケティングチームなど）がユーザーに奨励したい行動の種類を示唆しています。

コンパスを始めよう

コンパスの使用を開始する最善の方法は、どのイベントがリテンションの良い予測因子となるかを自問することです。分析するイベントを選択したら、ユーザーの行動について興味深いことを明らかにする可能性がある相関関係について考え始めましょう。

しきい値を超える割合

しきい値を超える割合は、最初の_N_日間に何人の新規ユーザーがイベントをトリガーしたかを示します。 これは重要なことです。なぜなら、この閾値を満たすユーザーのサンプル数は、コンパスがイベントとリテンションとの関連性をどの程度把握できるかについて、十分に大きくなければならないからです。

この比率を変更する方法の1つは、ウィンドウ内のパフォーマンス日数を増やすことです（Amplitudeでは1～7日間のパフォーマンス日数を許可しています）。パフォーマンス日数が多いほど、ユーザはしきい値に達するまでの時間が長くなり、その割合が高くなります。 イベントのプロパティを調査している場合は、イベント全体を調べることを検討してください。イベント全体の割合がしきい値を上回っている可能性があります。

しきい値を超える完璧な比率はありません。 値が低すぎると、そのイベントを実行する多くの新しいユーザーを獲得できません。値が高すぎると、改善の余地がありません。

極端な場合には、しきい値を超える割合が低い場合でも、高い相関関係が生じることがあります。 たとえば、トラフィックが多いにもかかわらず、すべての新規ユーザーに強制的にログインさせるWebアプリケーションがあるとします。

このメトリックは、インフレクションメトリックを見つけるために必要なバランスを考慮しているため重要です。Facebookの例に戻ると、新規ユーザーに1人の友達を追加してもらうことはインフレクションメトリックとしては適切ではありません。なぜなら、ほとんどのユーザーがすでにそうしているからです。しかし、新規ユーザーに100人の友達を追加してもらうことは、リテンションと高い相関関係がありますが、実際にそのレベルに達しているユーザーはほとんどいないため困難です。

真の陽性率：PPVと感度

しきい値を超える割合が妥当な場合、イベント頻度に達することとリテンションとの相関関係を確認してください。陽性予測値**（PPV）と感度**について調べてください。

PPV は、イベント頻度に達し維持されたユーザー (真陽性) と、イベント頻度に達したユーザー (真陽性 + 偽陽性) との比率を調べます。 感度は、維持されイベント頻度に達したユーザー（真陽性）と保持された全ユーザー（真陽性 + 偽陰性）との比率を基準とします。 両方の値が高いことが望ましいです。

真陽性、偽陽性、および分割表内のその他の値の詳細については、Wikipediaの「混同行列」を参照してください。

例1：高PPV、低感度

PPVは高いが感度は低いと想像してみてください。 このイベントはリテンションを予測しますが、新規ユーザーはほとんどこのしきい値に達しません。このイベントは、より多くのユーザーにこのイベントをトリガーするよう促すことができるかどうかを確認するための実験の有望な候補です。 この結果はまた、この頻度に達していないユーザーはまだ保持されているため、あなたがまだ調べていない別のインフレクションメトリックが存在する可能性があることを意味します。

例2:低PPVで高感度

イベントの頻度は維持されているユーザーの多くを記録しますが、プロダクトの全体的なリテンションは低い可能性があります。これはインフレクションメトリックとしては適切ではありません。なぜなら、プロダクトのリテンションが低いか、イベント頻度を満たすユーザーの大きな割合がリテンションされないためです。

真の負の比率：NPVと特異性

変曲モーメントは正の予測因子であるべきです。 また、ユーザーがしきい値に達しなかった場合、その失敗がリテンションの否定的な予測因子となるようにすることも必要です。つまり、チャーンです。Amplitudeはこれを負の予測値****（NPV）と特異性によって捉えます。

NPV は、イベントの頻度に達せず、かつ継続しなかったユーザー (真の陰性) と、イベントの頻度に達しなかったユーザー (真の陰性 + 偽の陰性) との比率を測定します。

特異性は、イベント発生頻度に達せず、かつ継続しなかったユーザー（真の陰性）と、継続しなかった全ユーザー（真の陰性＋偽の陽性）との比率を評価します。上記の例のように、これらの値の両方を最大化したいと考えています。

例3：高いNPV、低い特異性

この例では、2 つのうちのいずれかが起こっている可能性があります。 PPVも低い(例2のように)か、しきい値を超える割合が非常に高く、このアクションを奨励することによって改善の余地がないかのいずれかです。どちらも優れた変曲メトリックではありません。

例4：低NPV、高い特異性

この場合、感度も低い(例1のように)、またはリテンションが非常に高いため、コンバートするユーザーはほとんど残っていません。これは良い悩みです。

コンパス分析は、分割表の左上(真陽性)と右下(真陰性)の象限を最大化するイベント頻度を明らかにしようとします。統計に精通している場合、これは第I種および第II種の過誤を最小限に抑えます。

これらのインフレクションメトリックは、コンティンジェンシー・マトリックス内の5つの詳細統計情報すべてをバランスよく用います。プロダクトの種類によっては、良好な相関関係はイベントのパフォーマンス日数（1～7日）に応じて0.2～0.4の範囲内になります。

サンプルサイズが結論を導き出すのに十分な大きさであることを確認してください。 これはユーザーの総数に依存するため、魔法の数値はありませんが、相関関係の横にある青色の+-数値（95%信頼区間）をクリックすると、サンプルサイズの影響を確認できます。サンプルサイズを増やすには、日付範囲を変更してください。 最大90日分のデータを使用できます。

コンパスはデータから相関関係を明らかにします。これは、プロダクトやライフサイクルマーケティングを変更することで検証できる仮説です。因果関係を証明する唯一の方法は、A/Bテストまたは分割テストを実行してこれらの変更を分離することです。AmplitudeでA/Bテスト結果を分析する方法の詳細についてはこちらをご覧ください。