urllib：utf-8でエンコードされたサイトのソースコードを取得

Question

私はいくつかのウェブサイトのセグメントを取得しようとしています。スクリプトは動作しますが、それはá、é、í、ó、úなどのアクセントを持つWebサイトです。

urllibまたはurllib2を使用してサイトを取得すると、utf-8はこれらのアクセントをサポートするため、サイトソースコードはutf-8でエンコードされません。

それは次のメタタグを含むように私は、標的部位がUTF-8でエンコードされていることを信じている：

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> 

私のPythonスクリプト：

opener = urllib2.build_opener() 
opener.addheaders = [('Accept-Charset', 'utf-8')] 
url_response = opener.open(url) 
deal_html = url_response.read().decode('utf-8') 

しかし、私は見ての結果を得続けますUTF-8にエンコードされていないようです。

例えば： "ミラン" のウェブサイトでは、= "ミル\ xe1nは" urllib2のは、それ

任意の提案をフェッチした後？

Answer 1

スクリプトが正しく動作しています。 "\xe1"文字列は、復号化によって生成されたunicodeオブジェクトの表現です。例えば、A：

>>> "Mil\xc3\xa1n".decode('utf-8') 
u'Mil\xe1n' 

"\xc3\xa1"配列は、発音区別符号マークとleter AのUTF-8配列です。