mongodbのサーバーサイドセット交差点

Question

私が取り組んでいるアプリケーションでは、10〜1,000,000アイテム程度の大規模なセット交差を行う必要があります。私たちが交差しているアイテムは単にObjectIdです。

たとえばボックス文書があり、ボックス文書の中にitem_ids配列があります。各ボックスのこのitem_ids配列には、10〜1,000,000個のObjectIdが格納されます。

ここで最終目標は、ObjectId 4d3dc3898951498107000005のボックスAと、ObjectId 4d3dc3898951498107000002のボックスB（item_idsは共通）です。ここで

はイムはそれをやってどのようである：これはまともなアプローチのように思える場合

db.boxes.distinct("item_ids", {'_id' : {$in : [ObjectId("4d3dc3898951498107000005"), ObjectId("4d3dc3898951498107000002")]}}) 

まず好奇心。私の研究では、map reduceは大規模な交差点の一般的な提案ですが、リアルタイムクエリには推奨されません。

第2に、これがシャード環境でどのように動作するのか不思議ですか？ mongosはそれが必要とするmongodに関する質問の塊を実行し、私の結果を魔法のように集めるのだろうか？

最後に、正気である上記の場合は、行うことは、それはまた、正気です：

基本的にボックスAとボックスBの両方に共通しているどのアイテム探し、その後、オブジェクトのすべてにそれらを実体化されるだろう

db.items.find({'_id' : { $in : db.eval(function() {return db.boxes.distinct("item_ids", {_id:{$in:[ObjectId("4d3dc3898951498107000005"), ObjectId("4d3dc3898951498107000002")]}}); }) }}) 

1つのサーバー側のクエリで。これは、データセットのページングを効果的に実装するために、.limitと.skipを使用しているようにも見えます。

いずれにしても、フィードバックは貴重です。ありがとうございます！

Answer 1

あなたのスキーマを再検討したいと思うかもしれません。 ObjectIDの配列がそれぞれ12バイトで1,000,000個ある場合は、BSONのオーバヘッドをカウントしていないものもあります。これは大規模な配列*（おそらく別の8 MB程度）で重要になります。 1.8では最大ドキュメントサイズを4MBから16MBに引き上げていますが、保存しようとしているオブジェクトではそれでは十分ではありません。

※歴史上の理由から、<要素が100個の場合は問題なく、6桁または7桁の数字が必要な場合は追加されます。