2017-12-17 1 views
1

私はSSISを初めて使用しており、ETLプロセスの設計に関するアドバイスを得ることを望んでいました。SSIS ETLプロセス設計アドバイス

私はプロジェクト全体のグラフィックを提供しました。要するに、Excelファイルを個々のBlobから取り出し、共通のテンプレート形式に変換してSQL Serverデータベースにロードします。私は、(ETLプロセスの)制御フローがどのように見えるかを単に尋ねています。これまでの試みでは、ローカルドライブにファイルをダウンロードするプロセスがありましたが、これは理想的ではありません。

理想的には、ファイルを私のローカルドライブにダウンロードするのではなく、Azure経由ですべてのプロセスを実行したいと考えています。どんな助けもありがとう。ありがとう!

プロジェクト・スコープ:

Project Scope Photo

答えて

0

これに対する答えは、インターフェースに依存することになります - どのようなインターフェースあなたは、これらのファイルを取得し、SQLサーバーでそれらを処理するために使用していますか?

ネットワーク上のWebサービスやファイル共有のようなものを使用してこれらのアイテムにアクセスする場合、SQLサーバーで最初にファイルを取得する方が効果的かもしれないので、これは重要な質問です(例:C#CLR )を実行してから、必要な処理/解析を行い、SQL宛先の適切なBLOBフィールドに挿入します。これはデータインターフェイスですか?両方のエンドポイントがMicrosoft SQL OLE DBドライバを使用していますか?

ファイルを転送するには、SSISパッケージにソースと宛先が設定されている必要があります。ソースと宛先を設定する必要があります。これを設定するには、Connection Managerペインを右クリックして2つのデータエンドポイントを追加します。

次に、データフロータスクを設定する必要があります。フロータスクでは、接続マネージャで設定した接続の1つを参照するソースを追加します。ベンダーブロブごとに、データがボード全体で一貫しているかどうか、また各ベンダーが同じDBコネクタを使用しているかどうかに応じて、個別のデータフロータスクを設定する必要があります(つまり、各ベンダーまたはそれはありません)

ソースからのデータをマップします - ここで私はあなたのソースから行を描くことになります(これは変数を使用して動的にすることができ、OLE DBのカスタムクエリ例えばデータをマッサージする)

ドットをソースからデスティネーションに接続し、必要なアイテムを保持します。宛先テーブルのルールに従わなければならないことに注意してください。たとえば、外部キーを保持する必要がある場合やそうでない場合があるため、移動するデータが宛先データモデルに適合するようにします。 SSDTは、あなたが問題を抱えている場合、上記の項目を試して、私に教えてくれるものをマップするのに非常に効果的です!

関連する問題