bigqueryテーブルに約100万行をロードする必要があります。私のアプローチは、データをクラウドストレージに書き込んでから、複数のファイルを一度にロードするためにload apiを使用することです。 これを行う最も効率的な方法は何ですか?私はgcsの部分に書き込みを並列化することができます。私がload apiを呼び出すと、私はすべてのurisを渡すので、一度だけ呼び出す必要があります。このロードがバックエンドでどのように行われているのかよく分かりません。複数のファイル名を渡すと、このロードは複数のプロセスで実行されますか?最高のパフォーマンスを得るために各ファイルのサイズを決めるにはどうすればよいですか? ありがとうGCSからBigQueryにファイルを読み込む - 最適なアプローチは何ですか?
1
A
答えて
3
すべての行を1つのファイルに保存します。ファイルが圧縮されていない場合、BigQueryは多くのワーカーと並行してファイルを読み取ることができます。
https://cloud.google.com/bigquery/quota-policy
からBigQueryは最大4GBの圧縮ファイル(.gzが)を読むことができます。
BigQueryは、最大5,000GBの非圧縮ファイル(.csv、.json、...)を読み込むことができます。 BigQueryは、それを並行して読む方法を見つけ出します。心配する必要はありません。
関連する問題
- 1. GCSからBigQueryにバックアップデータを読み込むことができません
- 2. ファイルから読み込む
- 3. ファイルから読み込む
- 4. Cでファイルを読み込むための最適なバッファサイズ
- 5. JavaでOutlookの.msgファイルを読み込むのに最適なライブラリは何ですか?
- 6. ファイルからランダムに読み込むのはなぜですか?
- 7. Google Cloud StorageからBigQueryにデータを読み込む
- 8. googleスプレッドシートからbigqueryにデータを読み込むためのスタンドアロンスクリプト
- 9. Google BigQueryからGoogle Cloud Bigtableにデータを読み込む方法
- 10. JDK 1.6で.mp3からデータを読み込むのに最適なアドオン
- 11. ファイルから読み込み、Javaのファイルに書き込む
- 12. PythonからFoxPro DBFファイルを読み込む最も簡単な方法は何ですか?
- 13. Python:ファイルを行単位で読み込む最も最適な方法
- 14. コンマで区切られたファイルからクラスを読み込むのに最適な方法
- 15. BigQueryからSparkに効率的に読み込みますか?
- 16. 大量のテキストをasp.netに読み込むのに最適なコントロールですか?
- 17. JavaScriptからファイルを読み込む
- 18. perlをindex.htmlファイルから読み込む
- 19. ファイルからテキストを読み込む
- 20. Javaのテキストファイルから読み込む最も速い方法は何ですか?
- 21. ソケットからファイルを読み込む正しい方法は何ですか?
- 22. GCSからnuma配列を読み込んで
- 23. 最後にストリームを読み込むObservableを作成する適切な方法は何ですか
- 24. Visual C++/CLIでファイルに書き込み、ファイルから読み込む方法は?
- 25. params.iniファイルから読み込むPHPスクリプト
- 26. ファイルから読み込むC++(シンプル)
- 27. C#ファイルから読み込む
- 28. ファイルから読み込む問題
- 29. ファイルから読み込むJList scollペインプログラム
- 30. PHP:ファイルから読み込むと
お返事ありがとうございます。手動でファイルを複数に分割すると速度が上がらないでしょうか? –