生のテキストファイルとストリップの句読点を同時に読む

Question

私はテキストファイルを取って、それを単に非常に長い文字列としてPythonで読むことができます。言い換えれば、csvやtsvのようなものではなく、テキストファイルの表形式の構造はまったくありません。単なる言葉です。しかし、テキストファイルにはカンマや引用符などが含まれているため、解析の問題が発生しています。

私が試してみました

：「charmapの」コーデックは位置47でバイト0x9dをデコードすることはできません：

with open('text_file.txt') as f: 
    text_data = f.read().translate(string.punctuation) 

これは読んでエラーになったキャラクターは「未定義」にマップさ

を私はそのエラーが.txtファイル内の句読点が解析プロセスを妨げた結果であるかどうか、または読み込めない奇妙な非Unicode文字があるかどうかは不明です。潜在的に、これらの問題の両方に対して堅牢なソリューションが必要な場合があります。

私の目標を達成するための私の同時読書/ストリップ句読法よりも良い方法があると思うなら、自由に代替案を提案してください。

Answer 1

あなたのファイルはエンコードされているようですが、エンコードを検出する単一の標準的な方法はないので、いくつかの推測作業が必要です。そこにはさまざまなモジュールとツールがあり、私のために仕事をするにはchardetというモジュールが含まれています。

str.translateの使用方法にも問題があります。変換テーブルが必要です（通常はstr.ma ketransで構築されています）。あなたのテクニックは句読点を削除しません。正規表現を使用して単語を見つけてそこから文字列を再構築するほうがよいかもしれません。

from chardet.universaldetector import UniversalDetector 
import re 

detector = UniversalDetector() 
with open('text_file.txt', 'rb') as f: 
    for line in f: 
     detector.feed(line) 
     if detector.done: 
      break 
detector.close() 

with open('text_file.txt', encoding=detector.result['encoding']) as f: 
    text = ' '.join(re.findall(r'\w+', f.read())