トップkクエリーがk制約を満たすのに十分な文書を見つけられないとどうなりますか？

Question

私はNDCGを使用してトップkの範囲のクエリを評価しています。空間領域とクエリキーワードを指定すると、トップkの範囲クエリは、クエリキーワードに関連するテキストである、指定された領域のk個のドキュメントを返す必要があります。

私のシナリオでは、範囲クエリは通常、返すドキュメントを1つしか見つけません。しかし、私は、同じキーワードで、指定された領域にもっと多くのオブジェクトを見つけることができる別のクエリーとこのクエリーを比較しなければなりません。これは、オブジェクトの記述を改善するためにテストしているアプローチのために可能です。

NDCGを使用してこの2つのクエリを比較する方法はわかりません。私はNDCG @ 5、NDCG @ 10を使ってクエリAとBを比較したいが、クエリAは1つのオブジェクトしか見つけられない。クエリーAは、より多くのオブジェクトを見つける能力が低いため、NDCG値が高くなります（おそらく値は最大値になります）。クエリBは、より多くのオブジェクトを検索します（私の意見では、より良いソリューションです）が、クエリAよりNDCG値が低くなります。

Answer 1

あなたがあなたのアプリケーションのランク付けについて気にしないなら、@ 10を思い出してください。

NDCGは、Web検索用に設計された指標であり、最上位の結果で最良のアイテムを返さないシステムに実際にペナルティをかけたい場合、指数関数的な減衰要因があります。これは意味がありますナビゲーションクエリーのように `` stackoverflow ''あなたはこのウェブサイトを最初に返さないとかなり悪く見えます。

あなたはユーザーが多くの結果を気にしているように、少し洗練されたものを構築しているようです。したがって、より多くのリコール指向の尺度（ランクよりも複数のものを得ることを気にする）がより理にかなっているかもしれません。

複数のオブジェクトに

を見つけるためにその下の能力私はまたNDCGの実装を二重にチェックしたい：あなたは関係なく、常に実際に返されるものの、理想的な順位によって分割したいです。あなたのクエリAが1つの正しいオブジェクトを返すように聞こえますが、クエリBはより正確なオブジェクトを返しますが、上位のものは返しません。いずれにしても、クエリAは完全なランキングのDCGで分割されます。つまり、10,20または数千の「正しい」オブジェクトを意味します。あなたが十分な判断力を持っていない可能性がありますので、あなたの「完璧なランキング」は小さすぎるので、クエリAに十分なペナルティを課すことはありません。