私はSolrを検索サーバーとして使用する予定で、独自のスパイダーを開発したり、Nutchを拡張したりする予定です。マルチコア分散アーキテクチャのSolr?
私は今のところ私の目的に役立つ最高の経済的なトポロジーを設計しようとしていますが、今後もスケールアウトされるように未解決のままです。
すべてのマシンのホスティングにAmazon AWSを使用する予定です。私の質問は、アイデアと要件を実行するの実現可能性を理解することです、助けていただければ幸いです!
- Solrのノード(クエリのみを提供するために専用 - Webフロントエンドへのクエリサーバーとして)一つのインデックスサーバーとして需要Solrのノード(1または多数)で
- ( - Nutchのか、他のスパイダーは、このノードに接続します
多くの他の検索サーバー(たとえば、Microsoft FASTまたはSharePoint Search)はよくわかりませんが、共通データベースを使用して分散トポロジを展開できます。
このようなトポロジーをサポートできる場合は、Hadoopやその他の分散ファイルシステムを使用したいと思います。
だから、主に、それは次のように視覚化するだろう、
---------------------------------------------------
Hadoop or anyother distributed file system/db system
---------------------------------------------------
||
||
||
VV
---------------- ------------------------
Solr query node Dedicated Solr index nodes
(1 powerful server) + (on demand)
with Nutch or other web spider
---------------- ------------------------
|| ||
VV VV
Web Front End Internet
私は、他のフォーラムやフリーランスのウェブサイトに提案マルチコアの実装上のコミュニティのメンバーの多くがこの技術に新たなんだけど、私の理解がマルチコアでは区別をサポートすることですデータノード(クラスタリングや分散アーキテクチャとは関係ありません)!私は正しいですか?
実現可能性に関するアドバイスをしてください。
事前に感謝します。
ニレイ。
ありがとう、私はそれを見ます。私の必要性は、すべてのsolrインスタンス間でクォーラムの種類のストレージをシミュレートする必要があります。また、クロールされたデータを処理し、クォーラム格納インデックスを更新するオンデマンドソーラーインスタンスを起動できます。クラスタを超えて、弾力的な属性を持っているので、私の要求に応えることができます。 –