クロールされたページセマンティクスのデータベースの選択

Question

この質問に過去に尋ねられているかどうかはわかりません。 私は複数のウェブサイトからプロモーション、価格、商品説明の情報を抽出するためのウェブクローラーを作成しています。

複数のWebサイトからの同じ製品の識別に基づいて、プロモーションや価格のデータをメモリ内比較するのに理想的なデータベースはどれですか。

私は、設計がスクレーパー、HTMLDataProcessor、およびストレージの複雑なものになるだろうと知っています。しかし、私はデータ層の選択肢の解決を探しています。

これについてのご支援をお待ちしております。

Answer 1

私はあなたがすべてのエンティティのためのあなたのオブジェクトモデルまたはエンティティ関係図を作成するには、最初のをお勧めしたい（別名ER図）

をたとえば、あなたがここにチュートリアルを参照することができます。あなたが持ってたらhttp://creately.com/blog/diagrams/er-diagrams-tutorial/

をダイアグラムおよびエンティティ間の関係を定義すると、リレーショナルデータベースが必要かどうかを選択できます。

あなたが好きな質問に答える必要があります：あなたがFK（外部キー）制約を気にしてください

1. ？

2. 最も一般的なクエリは何ですか、そのパフォーマンスについて気にしますか？

3. インメモリデータベースで十分ですか、またはデータを永続化する必要がありますか？

これらの行に沿って考える。