Azure DataFactoryパイプラインタイムアウト

Question

現在、私たちは200kレコード以上のテーブルを持っていますので、ソースAzure SQLデータベースから別のSQLデータベースにデータを移動すると、3時間以上の時間がかかり、タイムアウトエラーが発生します。 timeoutを1時間に設定するとタイムアウトエラーが発生するため、タイムアウト間隔を3時間に増やす必要がありますが、それでも動作しません。

これはプロセスを定義した方法です。

1. 2つのデータセット - >私たちは選択のようなクエリを持つパイプライン内の入力および出力
2. 1つのパイプライン *テーブルから。 と私たちはプロシージャを格納していて、そのスクリプトは次のようなものです
3. テーブルのすべてのレコードから削除します。
4. すべてのレコードを挿入するステートメントを挿入します。

これは時間がかかります。私たちは更新を行い、過去24時間の日付列に基づいて変更または挿入されたデータを挿入することに決めました。

azureパイプラインには、過去24時間以内にsource azure dbに挿入または更新されたレコードをチェックする機能があります。または、宛先SQLストアドプロシージャで実行する必要があります。

Answer 1

Azure Data Factoryには、writeBatchsizeのようなsthオプションがあります。この値を設定すると、各レコードのフラッシングではなく、間隔でデータをフラッシュできます。