Amazon S3

ビジネスニーズにより、Amplitudeでキャプチャされていない他の組織データソースとともに行動データを分析することがしばしば必要になります。 AmplitudeをAmazon S3と統合することで、AmplitudeデータをAmazon S3バケットにエクスポートできます。 これにより、Amplitudeデータセットを残りのデータと並べて分析できます。

エクスポートはプロジェクトごとに機能するため、1 つのプロジェクトから複数のバケットにデータを配信するように設定できます。 また、同じ組織内の複数のプロジェクトを使用して、イベントデータを単一の Amazon S3 バケットにエクスポートすることもできます。 Amplitudeはバケットへのアクセスを単一の組織に制限します。

考慮事項

• ポートフォリオプロジェクトをAmazon S3エクスポートのデータソースとして使用することはできません。
• Amplitudeの組織全体でバケット名を再利用することはできませんが、同じ組織内のプロジェクト全体でバケット名を再利用することはできます。 組織を移行する場合、新しい組織にそのAmazon S3の送信先を作成する前に、古い組織でAmazon S3の送信先を無効化または削除してください。
• Amplitudeは1時間あたり500万件のイベントをエクスポートすることを目指していますが、このレートはデータをエクスポートする顧客の総数によって異なります。
• 唯一起こり得るエラーはアクセシビリティエラーです。 これは、受信側で何らかの設定を変更したためにAmplitudeがバケットにアクセスできなくなった場合に発生することがあります。この場合、エクスポートは何度か試行した後に失敗し、Amplitudeはエクスポートを作成した管理者とユーザーにメールで通知します。
• エラーメールには、トラブルシューティングに関する情報が含まれています。この情報はAmplitude UIでは利用できません。 アクセシビリティが唯一考えられるエラーであるため、メールにはどの権限が不足しているかに関する情報が含まれています。
• 手動エクスポートを使用して履歴イベントをバックフィルする場合、サイズや日付範囲に制限はありません。 特定の日付範囲をエクスポートできない場合は、まずその日付範囲のイベントデータがあることを確認してください。 その後、サポートチームにチケットを送信してください。

連携を設定する

Amazon S3との連携を設定するには:

1. Amplitudeデータで、**[カタログ]をクリックし、[宛先]**タブを選択します。
2. [ウェアハウス送信先] セクションで、Amazon S3 をクリックします。
3. このエクスポートに含めるデータを選択します。現在取得したイベントと今後のイベントをエクスポートするか、マージされたすべてのAmplitude IDをエクスポートするか、または両方をエクスポートします。 イベントに対しては、特定の基準を満たすイベントのみをエクスポートするようにフィルタリング条件を指定することもできます。
4. [次へ] をクリックします。
5. **「バケットポリシーの設定」**タブで、「バケットを作成」および「バケットポリシーを追加」セクションに記載されている手順に従います。 次に、「S3 バケット情報」セクションに必要な情報を入力します。
6. [バケットポリシーの生成] をクリックし、[次へ] をクリックします。

Amplitudeはバケットへのアクセスを検証し、ベストエフォートベースで1時間ごとのエクスポートを開始します。 エクスポートは通常、1 時間ごとに実行され、1 時間のデータが含まれますが、実行頻度が低く、複数時間のデータが含まれている場合もあります。

セットアップが完了したら、連携からのエクスポートのステータスを確認してください。

手動エクスポートを実行する

データを手動でエクスポートすることで、履歴データをS3にバックフィルできます。

1. 作成した Amazon S3 エクスポート接続ページに移動します。
2. [バックフィル] タブに移動します。
3. 必要な日付範囲を選択してください。
4. [バックフィルの開始] をクリックします。

バックフィルの範囲がすでにエクスポートされたデータの範囲と重複する場合、Amplitudeは重複データを重複除外します。

自動エクスポートを無効にする

自動エクスポートを無効にするには、連携を開き、**[管理]**をクリックします。[エクスポート設定の管理] モーダルからエクスポートを切り替えることができます。

エクスポートされたデータ形式

イベントテーブルスキーマ

生のイベントファイルとデータ形式

AmplitudeはデータをJSONファイルの圧縮アーカイブとしてエクスポートします。JSONファイルは時間ごとに1つ以上のファイルで分割されています。 各ファイルには、1 行あたり 1 つのイベント JSON オブジェクトが含まれています。

ファイル名の構文は次のとおりです。ここで、時刻はデータがAmplitudeサーバーにアップロードされた時刻をUTCで表します（例：server_upload_time）。

projectID_yyyy-MM-dd_H#partitionInteger.json.gz

たとえば、2020年1月25日の午前5時から午後6時（UTC）の間にこのプロジェクトにアップロードされたデータの最初のパーティションは、次のファイルにあります。

187520_2020-01-25_17#1.json.gz

エクスポートされたデータの JSON オブジェクトスキーマは次のとおりです。

{
  "server_received_time": UTC ISO-8601 timestamp,
  "app": int,
  "device_carrier": string,
  "$schema":int,
  "city": string,
  "user_id": string,
  "uuid": UUID,
  "event_time": UTC ISO-8601 timestamp,
  "platform": string,
  "os_version": string,
  "amplitude_id": long,
  "processed_time": UTC ISO-8601 timestamp,
  "version_name": string,
  "ip_address": string,
  "paying": boolean,
  "dma": string,
  "group_properties": dict,
  "user_properties": dict,
  "client_upload_time": UTC ISO-8601 timestamp,
  "$insert_id": string,
  "event_type": string,
  "library":string,
  "amplitude_attribution_ids": string,
  "device_type": string,
  "device_manufacturer": string,
  "start_version": string,
  "location_lng": float,
  "server_upload_time": UTC ISO-8601 timestamp,
  "event_id": int,
  "location_lat": float,
  "os_name": string,
  "amplitude_event_type": string,
  "device_brand": string,
  "groups": dict,
  "event_properties": dict,
  "data": dict,
  "device_id": string,
  "language": string,
  "device_model": string,
  "country": string,
  "region": string,
  "is_attribution_event": bool,
  "adid": string,
  "session_id": long,
  "device_family": string,
  "sample_rate": null,
  "idfa": string,
  "client_event_time": UTC ISO-8601 timestamp,
 }

エクスポートされたデータサイズ

エクスポートされるデータのサイズと量は、データの計測方法とAmplitudeに送信するイベントの数によって異なります。 Amplitudeは正確な見積もりを提供できませんが、平均イベントサイズを使用して大まかな見積もりを提供できます。

1. エクスポート API を使用して、数時間ごとのファイルをダウンロードしてください。
2. イベント数とzipファイルのサイズを比較して、平均イベントサイズを推定します。
3. イベントセグメンテーションチャートを作成し、平均イベントサイズを掛け合わせて、1か月あたりのイベント総数を推定します。

「完了」ファイル

Amplitudeはエクスポートの一部のファイルに「complete」というラベルを付けることがあります。 これらのラベルは、その期間内にデータが存在しないかどうか、またはその期間内のデータがエクスポートされなかったかどうかを判断するのに役立ちます。

データがない時間枠のcompleteファイルが表示された場合、選択した時間枠でエクスポートするデータはありません。

completeファイルを無効にするには、Amplitude サポートまでお問い合わせください。

マージされたAmplitude IDのファイルとデータ形式

AmplitudeはデータをJSONファイルの圧縮アーカイブとしてエクスポートします。 各ファイルには、1行につき1つのマージされたAmplitude ID JSONオブジェクトが含まれています。

ファイル名の構文は次のとおりです。ここで、時刻はデータがAmplitudeサーバーにアップロードされた時刻をUTCで表します（例： server_upload_time）。

-OrgID_yyyy-MM-dd_H.json.gz

たとえば、このプロジェクトにアップロードされたデータを2020年1月25日の午後5時から6時(UTC)の間に見つけるには、次のファイルを確認してください:

-189524_2020-01-25_17.json.gz

マージされた ID JSON オブジェクトには、次のスキーマがあります。

{
 "scope": int,
 "merge_time": long,
 "merge_server_time": long,
 "amplitude_id": long,
 "merged_amplitude_id": long
}

S3エクスポートのバケットポリシーを更新してKMS暗号化を使用する手順

以下は、既存のエクスポート接続に対してAWSS3バケットでKMS暗号化を有効にする手順の概要です。この暗号化により、セキュリティ体制が向上します。

移行手順

移行を開始する前に、ユーザーは次のものにアクセスできる必要があります。

• 既存のAmplitudeエクスポートにアクセスするための認証情報。
• S3バケット設定を更新したり、KMSキーを作成したりするための適切な権限。

既存のエクスポートをKMS暗号化を使用するように更新する方法：

1. AWS KMS開発者ガイドに従って、AWSアカウントでKMSキーを作成してください。
2. Amplitudeアカウントにログインし、移行したい既存のS3エクスポートに移動します。
3. 設定の管理モーダルでトグルを無効に変更すると、エクスポートをオフにできます。新しい S3 エクスポート接続を作成するときに予期しない結果が発生しないように、進行中のすべてのエクスポートジョブが完了するまで待ちます。
4. Amplitude S3エクスポートセットアップガイドに従って、新しいS3エクスポートを作成してください。
5. エクスポート接続設定フローで、更新されたバケットポリシーとKMSポリシーを生成します。更新されたポリシーには、信頼すべき新しい AWS IAM ロールプリンシパルが含まれています。
6. 必要に応じてロールバック手順のために、AWS の S3 バケット内の現在のバケットポリシーをバックアップしてください。
7. ステップ 5 で生成したS3バケットポリシーとKMSキーポリシーをAWSアカウントで更新します。
8. AWS S3 開発者ガイドに記載されているように、S3バケットをKMS暗号化を使用するように更新してください。
9. Nextをクリックして、バケットへのアクセスを検証し、エクスポート設定フローで新しい接続を作成します。
10. 新しいエクスポートが完了するまで待ちます。 完了後、データが新しいポリシーを使用して指定された S3 バケットにエクスポートされていることを確認できます。
11. データエクスポートが正常に完了したことを確認したら、ステップ 2 で無効にした古いS3エクスポート接続を削除してください。

ロールバック手順

上記の移行手順の途中で問題が発生した場合、次の手順を実行してください。

1. 新しく作成された S3 エクスポート接続が削除されていることを確認します。
2. バケットポリシーを元に戻して、AWS アカウントのルートプリンシパルを信頼します（このポリシーは上記の手順 6 でバックアップされています）。
3. バケット暗号化をステップ 8 で変更した前の設定に戻します。
4. ステップ 3 で無効化していた現在の S3 エクスポート接続を再度有効にします。
5. （オプション）ステップ 1 で作成した KMS キーを削除します。

よくある質問

移行後にエクスポートデータが失われることはありますか?

S3 エクスポート接続を無効にして削除した後も、S3 送信先バケットにすでにエクスポートされているデータは削除されません。

ただし、エクスポートジョブ履歴などのメタデータは失われます。

移行中にデータエクスポートにギャップはありますか?

古いS3エクスポート接続が無効になってから 24 時間以内に新しいS3エクスポート接続が作成される限り、データエクスポートにギャップが発生することはありません。

古い接続が無効になってから 24 時間後に新しいエクスポート接続が作成された場合はどうすればよいですか？

古い接続が無効になってから 24 時間後に新しいエクスポート接続が作成され、データエクスポートにギャップがある場合は、手動でバックフィル機能を使用して、不足している日付範囲のデータを埋めます。 バックフィルエクスポートを使用すると、バックフィルの日付範囲が以前にエクスポートされた日付範囲と重複する場合でも、エクスポートされたデータの重複を防止できます。

移行しなかった場合の影響はどうなりますか？

(将来の状態) AWS IAM ロールプリンシパルではなく (現在の状態) AWS アカウントルートプリンシパルを信頼することによる、送信先 S3 バケットのアクセス範囲の制限の緩さ。この AWS IAM ロールは、Amplitude プロジェクト ID に固有のものであり、このプロジェクト ID で新しい S3 エクスポート接続が作成されます。

以前のバケットポリシーにロールバックすることはできますか？

いいえ。古い S3 エクスポート接続が削除された後は、AWS アカウントのルートプリンシパルをバケットポリシーのトラスティとして使用して S3 エクスポートを設定することはできません。