サービス開発におけるデータベース関連のメモ
大量データの記録について
BigQuery
参考になる話
まとめると、
・対象期間は短めに期間を刻んでデータを入れると安定する
・TimeOut防止のオプション、Force indexを有効に利用する
事で、順調にデータが移行できました。
また、Embulkを利用する事でBigQueryのコストも低コストに抑える事が出来ました。数十億レコードであれば、少しのコストでデータを移行する事が出来、
分析や調査にBigQueryの高速な検索を利用できるので是非みなさんも試してみてください。