CRMクラウドシステムへのデータ一括アップロードのためのデザイン

Question

クラウドベースのCRMシステムにデータのビルドアップロードを提供するためのインターフェイスを設計する必要があります。一括アップロードは、リアルタイムのデータプッシュを行うために定期的に実行されます。 2つのアプローチがあります。

1. 変換されたデータがキューに格納され、スケジュールジョブが実行され、CRMシステムにデータが一括ロードされます。
2. 変換されたデータがデータベーステーブルに格納され、次にスケジュールジョブが実行され、データがCRMシステムにバルクロードされます。

主要な問題の1つは、クラウドCRMシステムが、データがアップロードされる前にデータのフィルタリングを意味する同じプライマリIDを持つ2つのリクエストを受け入れることができないことです。

どういうわけか、永続的なコンポーネントとしてキューを使用するのが難しいです。データベーステーブルは、エラー処理[システム/データ]、永続ストレージ[CLOB]、デバッグ、フィルタリングをより詳細に制御します。

私はキューまたはdbアプローチの長所を得ることができます。これは私が設計上の決定を下すのに役立ちます。 さらに、誰かがデザイン戦略で啓発できるなら、それはすばらしいことになります。事前 Makarand Parab

Answer 1

で

おかげで何がやりたいことは技術的にデータのETLと呼ばれています。データをロードするためのツールがたくさんあります。データを抽出して読み込む独自のツールを作成しますか？ 3番目のアプローチは、ファイルからも読み込むことです。一般的に、リアルタイムでアップロードされていないキューは使用されません。 Abinitioは人気のあるツールです。 autosysツールを使用してジョブをスケジュールすることができます。しかし、どちらもソフトウェアを支払っている。あなたのデザインには2つの段階があります。 （a）データをクリーンにして重複を削除する（b）CRMシステムでデータをロードする。インターフェイスを正確に設計するには、CRMがサポートするインターフェイスを教えてください。 （ファイルベース、SQLなど）