0
私はユースケースを持っています。私は異なる/異なるソースからのデータを格納せずに統合/変換したい。データソースはデータベース（oracle、db2など）、Webサービス（Rest/Soap）、フラットファイル（CSV、XML、JSON）、MQダンプ、メインフレームシステムです。私はこれらのソースからデータを引き出し、何らかのインテリジェントな変換と統合を行い、それを顧客に提供したいと考えています。典型的なETLシナリオのようですが、私の状況は異なります。私は絶望的な情報源から与えられたデータを保存することは許されていません。つまり、単純な例として、私はOracle、Soap、Restのデータを取り出し、すべてのインテリジェントな変換と統合をその場で行います。異なる/異なるソースからデータを保存せずにデータを統合/変換する
私はGoogleと技術的なものを参照しましたが、私の問題に納得のいく解決策を得ることができませんでした。
もしあなたがこの問題についていくつかの貴重な洞察を与え、それに対する示唆と可能性のあるアプローチを与えるのを助けることができたら。
注：これらのソースからのデータサイズは、時には非常に大きくなることがあります。アドバンス
Rameshに感謝の意を表します。私はすでにteiidを使ってJDVでいくつかのpocsを見直していました。それは本当に良いツールです。しかし、大規模なデータ、複雑なアグリゲーション/フェデレーション、データ自体が本当に複雑なとき（xmlやJsonのマルチレベルの階層データ）やツールのスケーラビリティの課題。これらの典型的なシナリオを克服するためのサポートガイドラインを提案できる場合。 – Sadique
提案に不満がある場合は、各問題の詳細を提供する必要があります。 Teiidはスケーリングに役立つクラスタリングとキャッシングもサポートしています。問題ごとに異なるスレッドを提案する。 –