ssisのインクリメンタルロードに最適な方法

Question

私はソースから毎日600,000行を取得しており、SQL Serverの宛先にインクリメンタルロードする必要があります。

ここで、宛先テーブルのサイズが日々増加する可能性が高いため、増分ロードに最適な方法です。が

マージ

SCD

など。

私にも実行されます最良の選択肢を提案してくださいに参加

1. 検索タスク：私は私の心の中でいくつかのオプションを持っていますインクリメンタルロード。

Answer 1

Andy Leonardの優れたStairway to Integration ServicesシリーズやTodd McDermidのビデオを見てみよう。空きを使用するSSIS Dimension Merge SCD componentどちらも、このボックスで列挙できるよりもはるかに優れた処理方法に対処します。

Answer 2

挿入するだけであれば、実際には重要ではありません。 もし存在していれば他のものをチェックする必要がある場合は、600.000行を照会して既存のデータソースにルックアップ・タスクが存在するかどうかを確認するoleDbSourceを作成することをお勧めします。既存のデータソースは大規模なので、キャッシングモードを設定する方法に注意してください。私は、あなたが探しているIDで注文されたメモリの一部を持って行くだろう。（このdetaisはキャッシュの仕方に基づいて非常に重要である）

Answer 3

マージ結合は、すべてのレコードを先にソートする必要があり、このために使用しないでください。

毎日数百万のレコードファイルを処理し、ステージングテーブルに配置し、変更データトラッキングテーブルのデータと比較して、データがプロードされているものと異なるかどうかを確認し、新しいものか、異なるものか。生産データベースの外部で比較を行うため、何百万ものレコードを検査することから、実際に必要な247件のみを扱うため、プロダクトへの影響はほとんどありません。実際、最も混雑しているサーバーでは、この処理はすべて、別のサーバー上で行われます。ただし、最後の手順はprodになります。