メモリ内のファイルを扱う最良の方法Python

Question

私は、テキストファイルの名前が定義されていないディレクトリがあるとします。だから私は、それぞれの中にあるセットのどれくらいの単語があるかをチェックしたい。これらのファイルは巨大なサイズを持つことができるので、私はこれをPythonで最も効率的に使う方法を考えていました。この古典的なアプローチは理想的なものとして見ていない：

for file in files: 
    with open(file) as f: 
     content = f.readlines() 
     for word in words: 
      if word in content: 
       count+=1 

私の質問は以下のとおりです。私はメモリに大容量のファイルを処理する必要がありますどのように

1. ？
2. この複雑さはO（n * m）です（n =ファイル数、m =＃単語数）。これを減らすことは可能ですか？それとも、私を助けるデータ構造がありますか？

Answer 1

最初のステップはreadlines（）を使用しないことであろう - それを一度、メモリにファイル全体の内容をダンプするので、時間計算量はさておきメモリ複雑度は、（N×m個）の直Oまでです。 readline（）を代わりに使用して、EOFまで1行ずつ読むことで、それを減らすことができます。

時間的には、おそらくコレクションの一部を探しています。すでに遭遇した単語をO（1）ルックアップすることができます。