※ この記事は2021年10月の情報に基づいて記載しています。 ※ 最新情報はGCPのドキュメントを参照ください。 Cloud Storage Transfer Serviceは、GCP内から直接S3等のクラウドストレージ（もしくはオンプレミス）のデータ移行を行うことにより、高速で高並列…

DeequはAWSがリリースしているデータテストを行うためのライブラリです（Deequの説明ではUnit Testと表現されています）。 ここで言うデータテストは、ETL処理やデータマート作成処理などの意図通り動いているどうか、取り込んだデータが昔と変化していない…