大きなリスト内のスカラカウント数

Question

スカラでは、タプルのリストList[(String, String)]があります。だから、このリストから、リスト内にそれぞれのユニークなタプルが何回現れるかを知りたい。

これを行う1つの方法は、groupby{ x => x}を適用して長さを見つけることです。しかし、私のデータはかなり大きく設定されており、時間がかかります。

これを実行する方法はありますか？

Answer 1

Mapを使用して手動でカウントします。あなたのコレクション/リストを繰り返し処理してください。反復中にcountマップを作成します。 countマップ内のキーは、元のコレクション/リストのユニークな項目です。値はキーの出現回数です。反復中に処理されているアイテムがcountコレクション内にある場合は、その値を1増やします。それ以外の場合は、countマップに値1を追加します。あなたはgetOrElseを使用することができます。

count(current_item) = count.getOrElse(current_item, 0) + 1; 

これは、より高速な長さチェックが続くgroupby、より動作するはずです。必要なメモリも少なくて済みます。

その他の提案は、discussionもご確認ください。