アイリッジ開発者ブログ

アイリッジに所属するエンジニアが技術情報を発信していきます。

2021-03-01から1ヶ月間の記事一覧

RDSやS3にある300億のレコードを加工してBigQueryに格納する

こんにちは。プロダクト開発グループの福角です。 大量データを加工してBQに格納する場合の設計方針についてまとめました。 前提 元データの性質や管理方法によって、最適なプログラムの実装方法は違うと思いますので、この記事では、プログラム設計について…