私はさまざまなサイトからのデータマイニングを含むプロジェクトを進めていますが、eBayオークションで統計データを収集するのは良いアナロジーです。しかし、キーデータを保存するだけでなく、元のページへのアクセスを確実にする必要があります。一部のサイトでは、完成後にeBayがオークションのページを削除した場合など、元のページは永久的ではありません。 Googleがページをキャッシュする方法と似たようなシステムを持つことが理想的です。たとえば、自分のサーバーにページのコピーを保存します。しかし、私は合併症だけでなく、私のデータベースに必要なリソースに大きな影響があるかもしれないとアドバイスされています。データベースのページをキャッシュする最も良い方法は?
3
A
答えて
3
あなたがキャッシュする各ページがわずか5kbであっても、それは時間が経つにつれて合計されます。キャッシュ200ページで、DBに1MB追加しました。キャッシュ20,000ページ、あなたは100MBを使用しています。多くのページ(マークアップ+コンテンツを考慮した場合)は5kbよりも大きくなります。
代替可能な選択肢の1つは、ディレクトリに(潜在的に圧縮された)ファイルとしてディスクに保存し、データベース内の保存されたファイル名を参照することです。 - ページコードの内容を最初のデータマイニングの後でクエリを実行すると、この方法ではデータベース全体のサイズを縮小し、結果をクエリ全体のページに保存できます。
0
Davが言ったことをエコーしますが、同じページに何度も何度もインデックスを作成している場合は、変更を保存することも考えています。 varbinaryとしてテキストを格納すると、スペースを節約できます。 検索と並行して、索引ページと並行してLuceneを設定することができます。
0
保存されたページにサーバー側のCSS & JSファイルが含まれていないという問題があります。これは、キャッシングDB /ファイルシステムから提供されたときにひどくレンダリングされると思われますか?
ページの写真や画像はどうですか?
私は5Kbがページセーブのために低いと思うし、JSを含むページを保存するのはどうかと思う... AJAXページ特に。何が起こるかを正確に視覚化するのは難しいですが、ページ上のテキストを見るだけでよいでしょうか?
誰でもGoogleのキャッシュ機能について知っていますか?
関連する問題
- 1. SQLデータベースにコメントフラグを保存する最も良い方法は?
- 2. 記事をデータベースに保存する最も良い方法は?
- 3. PyroCMSのプラグインにページIDを渡す最も良い方法は?
- 4. 私のデータベースにピクチャテーブルを実装する最も良い方法
- 5. データをmySQLデータベースにエクスポートする最も良い方法
- 6. sqliteデータベースで行を変更する最も良い方法
- 7. ページから.js.erbを抽出する最も良い方法
- 8. MVC 3とEF 4のデータをキャッシュする最も良い方法
- 9. PHPでメソッドの結果キャッシュにデコレータパターンを実装する最も良い方法
- 10. ページ上でhtmlを回転させる最も良い方法
- 11. Postgresデータベースの複数のスキーマにhstoreをインストールする最も良い方法は?
- 12. 製品のサイズ/数量をデータベースに保存する最も良い方法は?
- 13. データベースにBitSetの配列を格納する最も良い方法は?
- 14. プリンタ対応のASP.NETページを作成する最も良い方法は?
- 15. 大きなグループのWebページを変換する最も良い方法は?
- 16. Clearcaseで最も良い方法は?
- 17. 大きいデータベースのテーブルと変更をアーカイブ/バックアップする最も良い方法
- 18. 注文リストをデータベースに保存する最も良い方法は?
- 19. 大きなデータベース - デバイスにデータを表示する最も良い方法は?
- 20. MySQLデータベースに配列を保存する最も良い方法は?
- 21. SQL Serverデータベースの空き領域を見つける最も良い方法は?
- 22. 巨大なmysqlクエリをキャッシュする最良の方法は?
- 23. Sinatraでレスポンスをキャッシュする最良の方法は?
- 24. Magentoの単一ページのCSSリファレンスを挿入する最も良い方法
- 25. SQL 2000と2005のデータベースを同期する最も良い方法
- 26. SQLデータベースに10,000個の挿入を行う最も良い方法は?
- 27. UITableViewのインデックスをアニメーション化する最も良い方法は?
- 28. 2つのリストを追加する最も良い方法は?
- 29. テーブルビューの要素を保存する最も良い方法は?
- 30. ルータのネットワークGUIを作成する最も良い方法は?