Pythonの「生の」Unicode文字列を読む

Question

私はPythonにはかなり新しくなっていますので、私の質問はばかげているかもしれませんが、たくさんのスレッドを読み込んでも私の質問には答えが見つかりませんでした。

私は、html、xml、latex、およびその他のtextformatsを含む混合ソース文書を持っています。これはラテックスのみの形式にしようとしています。

したがって、Pythonを使用して、さまざまなコマンドを通常の表現として認識し、適切なlatexコマンドに置き換えました。これまでにすべてがうまくいきました。

今、ギリシャ文字のような「生のタイプ」のUnicode記号が残っています。残念なことに、それは手で行うことだけです。したがって、これをスマートに行う方法を探しています。 Pythonがそれらを認識/読み込む方法はありますか？そして、私はどのようにPythonに認識/読み込みを指示しますか？ Piはギリシャ文字で書かれていますか？

私が使用するコードの最低限の例は次のとおりです。

fh = open('SOURCE_DOCUMENT','r') 
stuff = fh.read() 
fh.close() 

new_stuff = re.sub('READ','REPLACE',stuff) 
fh = open('LATEX_DOCUMENT','w') 
fh.write(new_stuff) 
fh.close() 

私はそれが重要な情報であるかどうかわからないが、私はWindows上で実行されているのPython 2.6を使用しています。

誰かが私にヒントを与えることができれば、少なくとも情報に基づいた情報を見つけるか、またはこれがどのように機能するかについて、私は本当にうれしく思います。または、私が完全に間違っているかどうか、そしてPythonはこの仕事をすることができません...

事前に多くのおかげです。
乾杯、
ブリタ

Answer 1

「未処理」のUnicode文字列についてお話しします。どういう意味ですか？ Unicode自体はエンコーディングではありませんが、Unicode文字を格納するエンコーディングは異なります（Joelのthis postを読んでください）。

Python 3.0のopen関数では、オプションのencoding引数を使用して、エンコーディングを指定できます。 UTF-8（Unicodeをコード化する非常に一般的な方法） Python 2.xでは、codecsモジュールを見てください。このモジュールには、ファイルのエンコーディングを指定できるopen関数もあります。

編集：代わり、なぜちょうどそれらの貧しい人々の文字があること聞かせて、トップであなたのLaTeXファイルのエンコーディングを指定しない：

\usepackage[utf8]{inputenc} 

（私はこれを試したことがないが、私はそれが動作するはず把握あなたはmayの代わりにをutf8xと置き換える必要があります）

Answer 2

入力文書の「エンコード」を決定する必要があります。 Unicodeは何百万もの文字をエンコードすることができますが、ファイルは8ビットの値（0-255）しか記述できません。したがって、Unicodeテキストは何らかの方法でエンコードされなければなりません。

ドキュメントがXMLの場合は、最初の行（encoding = "..."; "encoding"フィールドがない場合は "utf-8"がデフォルト）になります。 HTMLの場合、 "charset"を探します。

その他すべてが失敗した場合は、エンコーディングを設定できるエディタでドキュメントを開きます（jEditなど）。テキストが正しく見えるまで試してみてください。次に、この値をPythonのcodecs.open()のencodingパラメータとして使用します。

Answer 3

、まず、これをお読みください：

The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)

その後、戻ってきて、質問をします。