スティーブジョブスに俺はなる!!

毎日全力を出し切り、自分史上最高を出し続けたい!

サービス開発におけるデータベース関連のメモ

大量データの記録について

 

BigQuery

参考になる話

 

まとめると、
・対象期間は短めに期間を刻んでデータを入れると安定する
・TimeOut防止のオプション、Force indexを有効に利用する
事で、順調にデータが移行できました。
また、Embulkを利用する事でBigQueryのコストも低コストに抑える事が出来ました。

数十億レコードであれば、少しのコストでデータを移行する事が出来、
分析や調査にBigQueryの高速な検索を利用できるので是非みなさんも試してみてください。