ファネル分析チャートでのA/Bテスト

Amplitudeでは、A/Bテストを使用することで、2つ以上のユーザーセグメントのファネルコンバージョンパフォーマンスを相互比較できます。 結果は、ベースラインと比較したセグメントのパフォーマンスを示す改善、または、コントロールとトリートメントの平均が同じであると仮定した場合に、実際に観察された差と同程度に極端な差が観察される確率を示す統計的有意性として表示されます。

デフォルトでは、Amplitudeはファネル分析に追加された最初のセグメントをベースラインとして使用します。 これを「ベースラインセグメント」ドロップダウンメニューで変更します。

A/Bテスト - 改善

このチャートは、ファネルのすべてのステップにわたって各セグメントのコンバージョン率を示しています。 A/Bテストには複数のバリアントを使用できますが、ベースラインは1つしか設定できません。

A/Bテスト - 有意性

このチャートでは、バリアントの値が高い場合、ベースラインよりもコンバージョン率が高いことを示しています。値が低い場合は、そうではないことを示唆しています。

Amplitudeは、結果が以下の条件を満たしている場合に結果を統計的に有意とみなします。

• 両方のバリアントについてサンプルサイズが30を超える場合。
• 両方のバリアントでサンプルsize * conversion rate >= 5およびsample size * (1-conversion rate) >= 5である場合。
• 有意度が95%以上である場合。

詳細については、Amplitudeが統計的有意性をどのように計算するかを参照してください。

内訳表を理解する

チャートの下のデータテーブルは、データの内訳を示しています。Amplitudeのすべてのデータテーブルと同様に、データをCSVファイルとしてエクスポートできます。 列には以下が含まれます。

• **数：**ファネルに入ったユーザーまたはグループの数。
• 変換済み: すべての条件を満たしながらファネルのすべてのステップを完了したユーザーまたはグループの数。
• **コンバージョン率：**コンバージョンしたユーザーまたはグループの数を、ファネルに入ったユーザーまたはグループの数で割った値。
• **ベースラインに対する改善率（%）：**Amplitudeはこれを(% conversion for that variant - % conversion for the baseline) / (% conversion for the baseline)式を使用して計算します。値が正の数値の場合、データテーブルのパーセンテージは緑色です。
• 有意性：各テストバリアントについて表示されるパフォーマンスが実際にはゼロとは異なり、データのランダムな変動によるものではない可能性。この値が大きいほど、結果に対する確信度が高くなります。より正確には、これは1 - p-valueです。