推薦システムのオンライン実験で重複した推薦を扱う方法

Question

推薦システムのさまざまな戦略を比較するオンラインユーザー実験を実行しようとしています。 私は18の戦略を比較し、それぞれの戦略は5つの推奨を生成するので、合計90の推奨を評価するように主題を要求しなければなりません。 しかし、戦略は重複した推奨事項を作成します（いくつかの戦略にはいくつかの推奨事項があります）。

（i）現在のデザインでは、各ページに1つの戦略によって5つの推奨事項が示されています。 ユーザーがすべてのユーザーに対して評価を入力すると、別のページが表示され、別の戦略による5つの推奨が表示されます。 したがって、ユーザは、彼が既に評価した推奨事項を見ることがある。 重複した推奨事項を扱う方法は広範囲に議論されていませんが、このデザインは以前の作品で広く使われていると思います。

（ii）または、すべての固有の推奨事項を最初に抽出し、それらを異なるページに分割し、ランダムな順序で表示することは妥当ですか？ 私はこのデザインが実験を短くすると思います。 しかし、私の知る限り、このデザインは使用されていません。

提案がある場合や関連する論文がある場合は、それを教えてください。

Answer 1

これらのアルゴリズムが異なり、異なる方法で推奨事項が生成された場合でも、同様の推奨事項が生成されたとしても、これらの推奨事項をそのまま保管しておく必要があります。したがって、実験の健全性は失われます。彼らがいくつかの同様の推奨事項を生成すると、使用しているアルゴリズムに関係なく推奨されることを阻むことができないユーザーもいるため、いくつかのアイテムが好都合であることを意味します。だからあなたはそれらを保つべきです。なぜ何が起こったのか（なぜここで説明したようなものなのか）をユーザーに説明して、それらの推奨事項を何度も何度も何度も気にしないように評価する必要があります。