実験結果を使用して実験データをより深く掘り下げる

実験結果では、実験で収集されたデータを詳しく調べることができます。実験結果は、Amplitude以外の機能フラグ設定プラットフォームからのデータと情報を組み込むことができ、その外部データはAmplitudeのネイティブプランニング、トラッキング、分析ツール内で使用できます。 AmplitudeはこのデータをExperimentが生成するA/Bトラッキングデータに組み込みます。

始める前に

実験結果を使用する前に、実験に関連するメトリックイベントを計測してください。 メトリックイベントがなければ、実験結果が分析で各バリアントを比較するために必要な成功メトリックと目標を作成することはできません。

また、必要なエクスポージャーイベントもインストルメントします。これは、実験に参加しているユーザーへのバリアントの配信を表しています。

詳細については、「実験結果に関するよくある質問」を参照してください。

実験結果を使用してA/Bテストを分析する

A/Bテストを作成し、結果を表示する

1. _作成 > チャート > 実験結果_に移動します。
2. メトリックモジュールで、メトリックを追加またはシングルユースメトリックを定義をクリックして、プライマリメトリックを定義します。
3. シングルユースメトリックを追加する場合は、ドロップダウンメニューを使用してメトリックのタイプを指定します。次のいずれかを選択してください。
   • ユニークなコンバージョン数
   • イベント合計
   • プロパティ値の合計
   • プロパティ値の平均値
   • ファネルコンバージョン
   • 数式

The first four are available for individual event metric analyses. Funnel conversion lets you define a multi-step journey that users must complete for the conversion to count. The Formula metric lets you define a formula centered around a selected event or events.

4. このメトリックに使用するイベントを指定します。 Where 句を使用してイベントをフィルタリングすることもできます。

5. 完了したら、完了をクリックします。

   オプションで、「セカンダリメトリクス」モジュールで「メトリックを追加」または「シングルユースメトリックを定義」をクリックして、2番目の従属メトリックを分析に追加できます。必要に応じて複数のセカンダリメトリックを追加します。

6. エクスポージャーモジュールでイベントを追加をクリックして、実験のエクスポージャーイベントを定義します。エクスポージャーイベントは、ユーザーが実験に参加するためにトリガーする必要があるイベントです。

7. Variants performed byモジュールで、実験バリアントを追加をクリックして、バリアントを追加します。すべての実験には、コントロールと呼ばれるバリアントが少なくとも1つ必要です。

バリアントを定義するプロパティと値を選択し、［適用］をクリックします。

8. 「実験バリアントを追加」をクリックすると、機能フラグ付けシステム内の実験設定を反映したバリアントがさらに追加されます。

Amplitudeは統計結果が利用可能になるとすぐにそれを計算し、結果領域に表示します。 結果画面では、デフォルトの逐次検定からT検定への切り替えなど、実験の統計設定を変更できます。

結果を解釈する

詳細は、使用するメトリックの種類によって異なります。結果を表す4つのグラフ：

• 経時的な絶対パフォーマンスの信頼区間：このチャートは、逐次検定にのみ適用されます。このチャートは実験が統計的有意性に達したタイミングを特定するのに役立ちます。これは、信頼区間がもはやゼロを含まなくなったときに発生します。
• 累積露出: このチャートは、実験内容を経時的に受け取ったユーザー数を示しています。 X軸はユーザーが最初に露出した日付を示し、Y軸は実験に接触したユーザーの累積合計を示しています。
• 変種別のパフォーマンス: このチャートのタイトルは、あなたが注目しているメトリックです。このチャートは、ファネルの各ステップを完了したユーザー数を示します。また、メトリックがファネルでない場合は、各バリアントの平均を示します。
• 経時平均値（累積または非累積）：x軸はユーザーが最初に実験を行った日付を示しています。y軸は選択したメトリックの平均を示しています。メトリックテーブルの下にあるドロップダウンをクリックして、メトリックを選択します。 Amplitudeは、各バリアントのレコメンデーションメトリックをデフォルトで選択します。このチャートは、コンバージョン以外の指標も処理できる点を除き、経時的なコンバージョンチャートと同様に機能します。このチャートを使用して、季節性、新規性への影響、または経時的な傾向を特定できます。 通常、実験開始近辺の日の平均値は実験終了近辺の日の平均値よりも多くなります。これは、開始時のユーザーがメトリックイベントを実行するための時間をより多く持てたためです。この懸念は、露出アトリビューションウィンドウを使用すると軽減されます。このチャートの累積バージョンまたは非累積バージョンを表示します。 累積ビューでは日次のノイズが平準化されるため、チャートをより簡単に解釈できるようになります。

これらのチャートは、エンドツーエンドの実験から学ぶのにも役立ちます。

グループ化基準

実験におけるグループ化基準に関する詳細なリソースについては、グループ化基準リファレンスと実験学習ガイドを参照してください。