Unicodeの問題Django-Python-URLLIB-MySQL

Question

Webページ（http://autoweek.com）を取り出して処理しようとしていますが、エンコードエラーが発生しました。 Autoweekは "ISO-8859-1" のエンコードを宣言し、単語 "ニュルブルクリンク"（ウムラウト付きのu）

を持っている私が行います

# -*- encoding: utf-8 -*- 
import urllib 
webpage = urllib.urlopen(feed.crawl_url).read() 
webpage.decode("utf-8") 

それは私に次のエラーを与える：

'utf8' codec can't decode bytes in position 7768-7773: unsupported Unicode code range" 

私が.decodeステップをバイパスしてlxmlライブラリを使って解析すると、データベースに解析されたタイトルを保存するときにエラーが発生します：

'utf8' codec can't decode bytes in position 45-50: unsupported Unicode code range 

私のデータベースには、キャラクタ・セットUTF8と照合UTF-一般-CI

私の設定があります。
ジャンゴ
のPython 2.4.3
のMySQL 5.0.22
のMySQL-pythonの1.2.1
mod_pythonの3.2.8

Answer 1

autoweek.com自分のエンコードについては混乱しているようです。これは、競合文字セットの定義を宣言します。

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> 

、これは、ウェブサーバからと.info()方法によりヘッダーに返されているので、後...

<meta charset=iso-8859-1"/>. 

ISO-8859-1が正しいものです（実際にはデコードされますが）、これはWebページのContent-Type宣言に必ずしも依存できないことを示しています。あなたはlavinioによって記述された方法に従うべきです。

Answer 2

webpageが符号化iso-8859-1を宣言している場合、webpage.decode("iso-8859-1")を行うことはできませんか？

その時点で、webpageがあなたのアプリでデコードされます。それがデータベースに書き込まれるとき、マッピングはchar-to-utf8エンコーディングを処理する必要があります。

正しいエンコーディングを取得するには、WebサーバーにUTF-8を受け入れるように指示してください。そうすれば、いつでも誰でもUTF-8を読むことができます。それはISO-8859-1で）。 .infoを使用して返されるストリームのエンコーディング名を検査します。

詳細については、urllib2 - The Missing ManualおよびQuick reference to HTTP headersを参照してください。