ストリーミングと通常検索の主な違いは、内部実装の面で何がありますか?通常の検索も分散して動作します。ストリーミングはどのようにパフォーマンスを改善しますか?ドキュメントは助けにはならない。SOLRストリーミングVS検索
0
A
答えて
1
分散検索では、要求が発行され、結果が計算され、結果が配信され、マージが処理されます。各ステップは完全に処理されてから次のステップに進みます。これは、データ量が少ない場合に十分に機能します。何百万ものドキュメントを配信するなどの大規模な要求に対しては、膨大なメモリバッファが必要です。また、結果が処理される前に、発信者が最後のステップ(結果を発信者に配信)まで待たなければならないことも意味します。
ストリーミングでは、すべてこれが進行中です。計算、配信、およびマージは同時に発生し、固定された上位メモリのオーバーヘッドが発生します。あなたは10Kの結果を求めることができますか、100億を求めることができます、唯一の違いはどれくらいの時間がかかるかです。呼び出し元への配信を含む、プロセスのすべての部分が同時にアクティブであるため、これは、最初の結果データが呼び出し元に非常に迅速に配信されることを意味します。
内部的には、ストリーミングは基本的に検索結果をページングします。私が正しく覚えていれば、各ページ(10Kドキュメント)は、計算されるとすぐにストリームに渡されます。最適化を無視すると、深いページングとカスタム合併で外部から同じ動作をエミュレートできます。
関連する問題
- 1. ホストされているフルテキスト検索オプション - IndexTankとSolr vs Lucene
- 2. Solr検索:SEVERE:java.lang.ArrayIndexOutOfBoundsException:-1
- 3. Solrアラビア語検索
- 4. Kibana/Solr Lucene検索$
- 5. Alfresco Solrカスタム検索
- 6. Apache Solr検索オートコンプリート
- 7. SOLRの検索で検索する
- 8. VSAM検索VS COBOL検索/ループ
- 9. Solr検索の問題
- 10. Solr検索フィールドのベストプラクティス
- 11. Solrアンダースコア(_)でテキストを検索
- 12. Apache Solrで "AND"を検索
- 13. Solr検索は日付フィルタ
- 14. Drupal 7 Apache solr検索モジュール
- 15. SOLRでの分散検索
- 16. Apache solr検索の問題
- 17. solr検索でのブースト
- 18. SOLR関連のフレーズ検索
- 19. MagentoエンタープライズSlow Solr検索パフォーマンス
- 20. Solrのみデフォルトフィールドで検索
- 21. Solr検索、私はSolr検索の問題を抱えているdefaultSearchField
- 22. Sphinx vs. Haystackの検索パフォーマンス
- 23. Ruby#indexメソッドVSバイナリ検索
- 24. 条件で検索VS SEO
- 25. Apache Solr検索でインデックスを検索できないが、検索できない
- 26. すべてのドキュメントが検索されているsolr検索
- 27. 検索語をDrupalのテンプレートに渡すSolr検索
- 28. Solr検索結果とドキュメントの検索位置
- 29. カタログ検索でインデックスが未定義のフィールドstore_id solr検索で
- 30. Solr * vs *:*クエリのパフォーマンス
こんにちは、簡単なクエリで詳しく説明してください。ストリーミングが100M文書のインデックスで – redeemed
の 'q = *:*&rows = 100000000'という検索結果を上回っているかどうかを説明してください。あなたの設定が配布されているかどうかにかかわらず。 https://cwiki.apache.org/confluence/display/solr/Streaming+Expressionsの最初の例には、このような問題はありません。 –
ここで問題となるのは、すべての1Mドキュメントを一度にロードすることです。ストリーミングでは、一度に1つのドキュメントをクライアント側で取得できます。これらの1Mドキュメントに対して計算を行う必要がある場合は、メモリ内のこれらの1Mドキュメント(ストリーミングを介して取得)、右ですか? – redeemed