ETLからELTに移行しますか？

Question

ローディング時間を短縮するために、組織がデータ統合プロセスをETLからELTに変更することが可能かどうかを知りたいですか？ DWHインフラストラクチャが一致しない場合はどうなりますか？

Answer 1

私はそれがあなたのターゲットDWHプラットフォームとパフォーマンスの能力と内部の変換を実行する能力に依存していると思います。 TeradataのDWHを使って過去にこれを行いました。私たちが使用していたツールが変換を実行できず、ずっと効率的なSQLを書くことができたので、Teradataシステムに重労働をさせることにしました。

また、ETLツールを使用していますか？最適化の可能性はありますか？

Answer 2

私たちは、CDCをデータキャプチャツールとして使用し、実際にはジョブを介してデータを転送するSSIS（自家製バージョン）を使用して、同様の戦略を実装しました。 このケースでは、SSISの部分では、定期的にメインクライアントの生産データサーバー（リソースの分離）からステージングDBにデータをダンプし、ステージングDBのストアドプロシージャが引き継ぎ、やや複雑なトランスフォーム操作を完了します。このようにして、ソースに応じてデータを提供するDWターゲットとDMターゲットの両方があるので、複数のターゲットに出力することができます。これにより、柔軟性とExtraction側からの重い持ち上げを取り除くことが可能になり、変更の保守スケジュールがはるかに簡単になります。

Answer 3

ETL and ELTを切り替えることは、ビジネスニーズ、使用されるデータウェアハウス、使用されるETL/ELTツール、利用可能なもの、データソース、サポート/管理者の能力に依存します。 ELTはまだ成熟しているので、作業を行うのに利用できるツールの幅はありません。あなたのビジネスがより多くの変換作業を肩代わりする可能性がある場合や、必要なツールを見つけることができたら幸いです。 ELTは合理的なスイッチです。

データのサイズや構造によっては読み込み時間が短くなることがあります。ただし、ETLベースのデータウェアハウスはELTをサポートするように構成されていない場合があります。 ELTはクエリ時に変換を実行するため、クエリ用に最適化されていないスキーマ構造にデータが読み込まれると、それがボトルネックになる可能性があります。間違った構造のリポジトリは、ELT解決策に切り替えるよりも多くの問題を引き起こす可能性があります。

最終的な質問に答えるには、データウェアハウスインフラストラクチャとスキーマ構造がどのように一致しないかによって異なります。変換を伴う特別なクエリを処理するには、処理能力が必要です。基本的にすべてのデータの読み込みをサポートするDWH構造が必要です。