不整合（）

Question

私は、文字列から単語をカウントし、一番上の「n」を抽出するために、以下の機能を持っている：

def count_words(s, n): 
"""Return the n most frequently occuring words in s.""" 

    #Split words into list 
    wordlist = s.split() 

    #Count words 
    counts = Counter(wordlist) 

    #Get top n words 
    top_n = counts.most_common(n) 

    #Sort by first element, if tie by second 
    top_n.sort(key=lambda x: (-x[1], x[0])) 

    return top_n 

機能だからのoccuranceでと結ばれている場合ソート、アルファベット順。 以下の例：

print count_words("cat bat mat cat cat mat mat mat bat bat cat", 3)

は作品（番組を[('cat', 4), ('mat', 4), ('bat', 3)]）

print count_words("betty bought a bit of butter but the butter was bitter", 3)

（番組[('butter', 2), ('a', 1), ('bitter', 1)]動作しませんが、それとしてbetty代わりのbitter彼らは結び付けられているを持っている必要がありますし、 be...はbi...より前）

print count_words("betty bought a bit of butter but the butter was bitter", 6)

（？多分ワード長）ことを引き起こす可能性は何

（意図したとおりにbitter前bettyと[('butter', 2), ('a', 1), ('betty', 1), ('bitter', 1), ('but', 1), ('of', 1)]を示し）を動作し、どのように私はそれを修正するだろうか？

Answer 1

あなたがトップ3を求めている、とあなたがアイテムを選んだことができる前にこのようにあなたがデータのカットあなたの特定の並べ替え順序で。

はmost_common()事前ソート再度並べ替えを持っているのではなく、（n実際のバケット数よりも小さいを提供）、カスタム基準によってソートするheapqを使用します。Pythonの2オン

import heapq 

def count_words(s, n): 
    """Return the n most frequently occuring words in s.""" 
    counts = Counter(s.split()) 
    key = lambda kv: (-kv[1], kv[0]) 
    if n >= len(counts): 
     return sorted(counts.items(), key=key) 
    return heapq.nsmallest(n, counts.items(), key=key) 

、あなた上記の呼び出しにitems()ではなくiteritems()を使用することをお勧めします。

これにより、Counter.most_common() methodが更新されたキーで再作成されます。元のようにheapqを使用すると、O（NlogN）ではなくO（NlogK）のパフォーマンスにバインドされます（Nバケットの数、Kは見たい上位の要素数）。

デモ：

>>> count_words("cat bat mat cat cat mat mat mat bat bat cat", 3) 
[('cat', 4), ('mat', 4), ('bat', 3)] 
>>> count_words("betty bought a bit of butter but the butter was bitter", 3) 
[('butter', 2), ('a', 1), ('betty', 1)] 
>>> count_words("betty bought a bit of butter but the butter was bitter", 6) 
[('butter', 2), ('a', 1), ('betty', 1), ('bit', 1), ('bitter', 1), ('bought', 1)] 

とPython 3.6のクイック性能比較（。0B1）：あなたが代わりにmost_commonにnを与えるのは、仕分けして、結果をスライスし、.most_common()を行うことによってそれを修正することができ

>>> from collections import Counter 
>>> from heapq import nsmallest 
>>> from random import choice, randrange 
>>> from timeit import timeit 
>>> from string import ascii_letters 
>>> sentence = ' '.join([''.join([choice(ascii_letters) for _ in range(randrange(3, 15))]) for _ in range(1000)]) 
>>> counts = Counter(sentence) # count letters 
>>> len(counts) 
53 
>>> key = lambda kv: (-kv[1], kv[0]) 
>>> timeit('sorted(counts.items(), key=key)[:3]', 'from __main__ import counts, key', number=100000) 
2.119404911005404 
>>> timeit('nsmallest(3, counts.items(), key=key)', 'from __main__ import counts, nsmallest, key', number=100000) 
1.9657367869949667 
>>> counts = Counter(sentence.split()) # count words 
>>> len(counts) 
1000 
>>> timeit('sorted(counts.items(), key=key)[:3]', 'from __main__ import counts, key', number=10000) # note, 10 times fewer 
6.689963405995513 
>>> timeit('nsmallest(3, counts.items(), key=key)', 'from __main__ import counts, nsmallest, key', number=10000) 
2.902360848005628 

Answer 2

問題はsortではなく、most_commonです。 Counterはハッシュテーブルとして実装されているため、使用する順序はで、任意のです。 most_common(n)を尋ねると、最も一般的な言葉がnで返されます。もし結びつきがあれば、返すものはどれかを決めるだけです！

これを解決する最も簡単な方法は、ちょうどmost_commonの使用を避けて直接リストを使用することです：

top_n = sorted(counts.items(), key=lambda x: (-x[1], x[0]))[:n] 

Answer 3

：

def count_words(s, n): 
    """Return the n most frequently occuring words in s.""" 

    #Split words into list 
    wordlist = s.split() 

    #Count words 
    counts = Counter(wordlist) 

    #Sort by frequency 
    top = counts.most_common() 

    #Sort by first element, if tie by second 
    top.sort(key=lambda x: (-x[1], x[0])) 

    return top[:n]