データウェアハウスはdbまたはapiから直接データを取得します

Question

データウェアハウスにデータをプルする必要があります。データソースの1つは内部からのものです。 2つのオプションがあります。 1.データソースチームにAPIを介してデータを公開するよう依頼します。 2.データソースチームに毎日のデータをダンプするように依頼し、ダンプにアクセスするための読み取り専用db資格情報を私たちに与えます。 誰か提案をお願いしますか？

ありがとうございます！

Answer 1

APIソリューション短所：

• コスト。データソースチームはAPIを構築する必要があります。次に、クライアントアプリケーションをビルドして、apiからデータを読み込んでdbに挿入する必要があります。また、展開プロセスを設計するだけでなく、どこかでapiをホストする必要があります。それはかなりの仕事で、私はそれが価値がないと思う。
• Pefromance。必要ではありませんが、通常はデータウェアハウスの場合、多くのデータを処理する必要があります。 APIを使用すると、データベースの一括挿入機能を使用する前に、まずデータを変換する必要があります。

データダンプのソリューションは私にとってはうまくいくように見えますが、私はフラットファイルを使用します。ほとんどのデータベースには、ファイルからデータを一括して挿入する機能があり、通常はタスクを達成するための最速のワットになります。

は、だから私はあなたの質問から知っているから、私はあなたが以下の必要があると思う：

1. Aggreeデータファイル形式のデータソースチームと。この方法で、独自に作業したり、異なるRDBMSを使用することさえできます。
2. データソースチームのdbとdbの両方にすばやくアクセスできるよいシェアを選択します。
3. データソースチームにエクスポートロジックをファイルに実装するよう依頼します。
4. ファイルからインポートロジックを実装します。

3と4の項目は、ほんの数行のコードで済むことに注意してください。ほとんどのデータベースには、データをエクスポート/インポートするための機能が組み込まれており、オプティマイズされているという。

希望すると助かります！

Answer 2

これの多くは本当になど、データソースのチームは、「API」を知っているかどうか、使用しているツールの種類、データの大きさや性質に依存

私たちは多くのことを必要だと思います詳細な情報をここにお知らせください。 DBAと会話し、どのようなオプションが利用可能かを確認し、その推奨事項を真剣に検討することをお勧めします。彼らはおそらくあなたの問題に最も効果的であろうことについて私たちが尋ねるよりはるかに多くの洞察力を持っています。