hashlibを使ってPython 3のファイルのmd5ダイジェストを計算する

Question

python 2.7では、次のコードはファイルの内容のmD5の16進数を計算します。

（EDIT：よく、答えは表示されていませんが、私はそう考えていました）

import hashlib 

def md5sum(filename): 
    f = open(filename, mode='rb') 
    d = hashlib.md5() 
    for buf in f.read(128): 
     d.update(buf) 
    return d.hexdigest() 

今私はのpython3を使用してそのコードを実行した場合、それはTypeError例外上げる：

d.update(buf) 
TypeError: object supporting the buffer API required 

を私はpython2とのpython3の両方で実行されるコードは、それを変更させることができることを考え出し：

def md5sum(filename): 
    f = open(filename, mode='r') 
    d = hashlib.md5() 
    for buf in f.read(128): 
     d.update(buf.encode()) 
    return d.hexdigest() 

今でも元のコードが動作しなくなったのは不思議です。バイナリモード修飾子を使用してファイルを開くと、バイトとしてエンコードされた文字列の代わりに整数が返されるようです（これは、type（buf）がintを返すためです）。この動作はどこかで説明されていますか？

Answer 1

は、私はあなたがf.read(128)への連続呼び出しを行うためのループを望んでいたと思います。それは）（）とfunctools.partial（ITERを使用して行うことができます。

import hashlib 
from functools import partial 

def md5sum(filename): 
    with open(filename, mode='rb') as f: 
     d = hashlib.md5() 
     for buf in iter(partial(f.read, 128), b''): 
      d.update(buf) 
    return d.hexdigest() 

print(md5sum('utils.py')) 

Answer 2

for buf in f.read(128): 
    d.update(buf) 

..は、ファイルの最初の128のバイト値のそれぞれにハッシュを順次更新します。 bytesを反復処理するとintオブジェクトが生成されるため、Python3で発生したエラーを引き起こす次の呼び出しが発生します。

d.update(97) 
d.update(98) 
d.update(99) 
d.update(100) 

これはあなたが望むものではありません。

代わりに、あなたがしたい：

def md5sum(filename): 
    with open(filename, mode='rb') as f: 
    d = hashlib.md5() 
    while True: 
     buf = f.read(4096) # 128 is smaller than the typical filesystem block 
     if not buf: 
     break 
     d.update(buf) 
    return d.hexdigest() 

Answer 3

私は最終的に質問をした後、（私が理解しやすい見つけること）以下のバージョンに私のコードを変更しました。しかし、私はおそらくRaymond Hetting unsing functools.partialが提案したバージョンに変更する予定です。

import hashlib 

def chunks(filename, chunksize): 
    f = open(filename, mode='rb') 
    buf = "Let's go" 
    while len(buf): 
     buf = f.read(chunksize) 
     yield buf 

def md5sum(filename): 
    d = hashlib.md5() 
    for buf in chunks(filename, 128): 
     d.update(buf) 
    return d.hexdigest()