etl

2熱

1答えて

データベースを何度も何度もクエリするか、またはすべてのデータをファイルにまとめて保存してファイルをクエリしますか？

私はTalendジョブのセットを作っています。ここでは、ジョブの必要性に応じて同じセットのテーブルを異なる方法でクエリします。これらのテーブルは巨大です。ジョブを実行する前にすべてのテーブルを照会し、DBからすべてのデータを取り出してファイルに保存し、Talendジョブのさまざまなクエリのファイルを使用すると、それはうまくいくでしょうか。これらのファイルは、DBサーバーが別の場所にある間にジョブが

0熱

2答えて

SSDTからクエリを実行

Visual Studio 2015、SSISを使用してSQLタスクの実行を実行し、SSISでパッケージを実行してSSMSにあるテーブル間でデータ転送を行います。 SSMS上で一連のSQL文を実行すると、成功したすべてのSQLアクティビティに対して行のような結果が得られます。ただし、SSISを使用してプロセスを自動化して、ターンアラウンドタイムを短縮したいと考えています。私は行の選択、挿入、削除の

3熱

1答えて

データ内に複数の二重引用符を含むSSISを使用してSQL Serverにcsvファイルをインポートする

SSISパッケージを使用してSQL Serverテーブルにcsvファイルをインポートしようとすると、非常に特殊な状況が発生します。 csvファイルのデータには、二重引用符とコンマを使用できます。そのため、コンマ付きのデータは二重引用符で囲み、二重引用符は二重引用符でエスケープします。私は最初の囲み引用符を正常に処理するためにテキスト修飾子を使用しました。しかし、データがフォーマットされている特定の

2熱

1答えて

SSIS複数テーブルのコピー

私は200を超えるMSSQLテーブルを持っており、データをAzure Data Lake Storageに転送したいと考えています。私が考えているアプローチの1つは、SSISを動的データフローで使用することです。つまり、テーブル名変数を作成し、テーブル名とテーブルごとにforeachループを実行します。しかし、この方法は間違っているようですが、正しいスキームでData Lakeストレージにファイ

0熱

1答えて

SSISデータフロー - 新しいデータのコピーまたは既存の更新

特定の条件に基づいてtable A(Source)のデータを照会し、upsertをCrmに挿入する前にtemp table(Destination)に挿入しました。データが既にCrmに存在する場合は、そのデータに更新があるか、新しいデータが作成されていない限り、table Aとinsert into temp table(I want this table to be empty)からデータをク

1熱

1答えて

フラットファイルの日付とSQL Serverの日付のルックアップエディタのマッピング

フラットファイルの日付をテーブルの日付と一致させるという制約を受けて、多数のフラットファイル属性を大きなデータベーステーブルにインポートしようとしています。私はビジュアルスタジオSSISでこれをやっています.500を超えるファイルがあり、標準化された方法を必要としています。フラットファイルには5年間の日々のデータがありますが、テーブルには約5ヶ月分のデータしかありません。プロセスの絵は以下の通りで

2熱

1答えて

Visual Studio SSISルックアップ機能を使用して一致する日付を検索する

標準の方法でフォーマットされた数百の.csvファイルを含むフォルダを毎日5年間の財務データでループしています。私は、より大きなSQLサーバーテーブルのそれぞれの列名に、それぞれから1つの列（1日の開始値）を入れようとしています。プロセスは以下のように扱うことを意図している：私はプロセスがそのマッチングのためのマッチングの日付と入力に開いているデータを検索することになっている1つのフォルダにファイル

2熱

2答えて

SQLサーバーの宛先とOLE DBの宛先

複数のフラットファイルの一括インポートにOLE DBの宛先を使用していました。いくつかのチューニングの後、私はSQL Server Destinationを25〜50％高速化することになりました。ウェブ上に矛盾した情報があるので、私はこの宛先について混乱していますが、いくつかは反対しているものもあれば、それを使用しているものもあります。私は知っている、私はそれを生産に展開する前に深刻な落とし穴が

0熱

1答えて

SniffStepがCarteサーバーで動作しない

Carteサーバーで変換を実行しています。そして変換は正常に実行され、終了ステータスで終了し、ステップごとに読み書きされた行と実行ログが表示されます。私はこのようなにおいを嗅ぐのステップを実行するときしかし、私がテーブルに見ることができるので、私は、何が起こっているか理解していない<step-sniff></step-sniff> ：http://localhost:9080/kettle/sn

1熱

1答えて

SSISスクリプトタスク：ファイルまたはアセンブリの読み込みに失敗しました。Microsoft.WindowsAzure.Storage、Version = 5.0.0.0、Culture = neutral

Visual Studio 2015でSSDT（SQL Server Data Tools）を使用しているSSISプロジェクトで作業しています。、は」Microsoft.WindowsAzure.Storageをファイルまたはアセンブリをロードできませんでした：私は、スクリプトタスク内のdll Microsoft.WindowsAzure.Storage.dllを参照すると、私のプロジェクトに