Pythonでutf-8の文字列をデコードする方法は？

Question

私はこのようなユニコードを持っている：

\xE5\xB1\xB1\xE4\xB8\x9C \xE6\x97\xA5\xE7\x85\xA7 

そして、私が知っているそれは、文字列\xE5\xB1\xB1\xE4\xB8\x9C \xE6\x97\xA5\xE7\x85\xA7自体が<type 'unicode'>

方法であることをutf-8

ノートでエンコードされたbytesの文字列の代表でありますそれを実際の文字列山东 日照にデコードするには？

Answer 1

unicode文字列のrepr()出力を印刷した場合は、Mojibake、不適切なエンコードを使用してバイトデータがデコードされているように見えます。

最初にエンコードしてから、正しいコーデックを使用してデコードします。これはラテン-1などのエンコードのような単純なことがあります。これは、間違って復号化がしかし、適用された方法によって異なり

unicode_string.encode('latin1').decode('utf8') 

。 CP1252の範囲外のUTF-8バイトが強制的にデコードされた場合、Windowsコードページ（CP1252など）を使用した場合、実際にはエンコードできないUnicodeデータがCP1252に戻ってしまう可能性があります。

このような間違いを修復する最良の方法は、様々なコーデックの強制復号化されたモジバークテキストを処理する方法を知っているftfy libraryを使用することです。あなたの小さなサンプルについて

、ラテン-1 はうまく動作しを表示されます。

>>> unicode_string = u'\xE5\xB1\xB1\xE4\xB8\x9C \xE6\x97\xA5\xE7\x85\xA7' 
>>> print unicode_string.encode('latin1').decode('utf8') 
山东 日照 
>>> import ftfy 
>>> print ftfy.fix_text(unicode_string) 
山东 日照 

あなたは2桁の数字が続くリテラル文字\、xを、持っている場合は、エンコーディングの別の層を持っていますここで、バイトはそれぞれ4文字で置き換えられます。あなたはstring_escapeコーデックでエスケープを解釈するためにはPythonを尋ねることによって、最初の「復号」に実際のバイトにそれらを持っていると思います：

>>> unicode_string = ur'\xE5\xB1\xB1\xE4\xB8\x9C \xE6\x97\xA5\xE7\x85\xA7' 
>>> unicode_string 
u'\\xE5\\xB1\\xB1\\xE4\\xB8\\x9C \\xE6\\x97\\xA5\\xE7\\x85\\xA7' 
>>> print unicode_string.decode('string_escape').decode('utf8') 
山东 日照 

'string_escape'を、それがに安全であるので、バイト文字列を生成パイソン2のみコーデックです後でそれをUTF-8としてデコードします。