0
Oracleは私のトランザクションDBであり、分析のためにOracleデータをBigQueryにロードしました。今、新しいレコードがOracleテーブルに挿入されるたびに、BigQueryテーブルに追加する必要があります。それを達成する方法? BigQueryへのストリーミングデータは、私が探しているものに関連していますか?もしそうなら、どうですか?BigQueryにストリーミングデータとは何ですか?
Oracleは私のトランザクションDBであり、分析のためにOracleデータをBigQueryにロードしました。今、新しいレコードがOracleテーブルに挿入されるたびに、BigQueryテーブルに追加する必要があります。それを達成する方法? BigQueryへのストリーミングデータは、私が探しているものに関連していますか?もしそうなら、どうですか?BigQueryにストリーミングデータとは何ですか?
これを動作させるには、データをOLTPデータベースに転送し、BigQueryストリーミングに送信する必要があります。 OLTPデータベースからデータを抽出し、通常のロード・ジョブとしてBigQueryにインポートする定期的なプロセスを交互に設定することもできます。それはより安く、より複雑ではないでしょう。バッチインポートを使用した障害回復モードでは、失敗したロードバッチを再試行するのに対し、ストリーミングでは再試行が必要な各レコードを追跡する必要があります。
これらの行は誰がOracleに送信しますか? BigQueryにも同じプロセスを使用して行を送信できますか? –
[BigQueryへのストリーミングデータの操作方法]の複製がありますか?(http://stackoverflow.com/questions/38562690/how-to-work-with-streaming-data-into-bigquery) –
@FelipeHoffa - My webアプリケーションのDBは、トランザクションデータを格納するOracleです。しかし、OLTPではBigQueryを使用できません。この場合、BigQueryへのデータのストリーミングは、リアルタイムの例を選択して探す正しい選択です。 – Vetri