lxml - 難読化スタックエクスチェンジrssフィード

Question

ヒア

私はpythonのstackexchangeからのrssフィードの解析に問題があります。 サマリーノードを取得しようとすると、空のリストが返されます

私はこれを解決しようとしていますが、私の周りを取り巻くことはできません。

誰でも手助けできますか？ おかげ

In [3o]: import lxml.etree, urllib2

In [31]: url_cooking = 'http://cooking.stackexchange.com/feeds' 

In [32]: cooking_content = urllib2.urlopen(url_cooking) 

In [33]: cooking_parsed = lxml.etree.parse(cooking_content) 

In [34]: cooking_texts = cooking_parsed.xpath('.//feed/entry/summary') 

In [35]: cooking_texts 
Out[35]: [] 

Answer 1

は、これら2つのバージョン

import lxml.html, lxml.etree 

url_cooking = 'http://cooking.stackexchange.com/feeds' 

#lxml.etree version 
data = lxml.etree.parse(url_cooking) 
summary_nodes = data.xpath('.//feed/entry/summary') 
print('Found ' + str(len(summary_nodes)) + ' summary nodes') 

#lxml.html version 
data = lxml.html.parse(url_cooking) 
summary_nodes = data.xpath('.//feed/entry/summary') 
print('Found ' + str(len(summary_nodes)) + ' summary nodes') 

を見てみましょう、2番目のバージョンではノードが返されませんが、lxml.htmlバージョンが正常に動作します。 etreeバージョンは、名前空間を期待しているため動作していません。htmlバージョンは、名前空間を無視するため動作しています。途中でhttp://lxml.de/lxmlhtml.htmlと書かれているように、「HTMLパーサーは名前空間やその他のXMLismを無視している」

注意etreeバージョン（print(data.getroot())）のルートノードを印刷すると、<Element {http://www.w3.org/2005/Atom}feed at 0x22d1620>のようなものが得られます。つまり、名前空間がhttp://www.w3.org/2005/Atomのフィード要素です。ここにetreeコードの修正版があります。

import lxml.html, lxml.etree 

url_cooking = 'http://cooking.stackexchange.com/feeds' 

ns = 'http://www.w3.org/2005/Atom' 
ns_map = {'ns': ns} 

data = lxml.etree.parse(url_cooking) 
summary_nodes = data.xpath('//ns:feed/ns:entry/ns:summary', namespaces=ns_map) 
print('Found ' + str(len(summary_nodes)) + ' summary nodes') 

Answer 2

beautifulsoupインポートからBeautifulStoneSoupを使用してみてください。 トリックを行う可能性があります。あなたが発見したよう

Answer 3

問題は名前空間です。

を実行し、これは：

cooking_parsed.getroot().tag 

そして、あなたは、あなたがフィードエントリの1つに移動した場合の要素は同様

{http://www.w3.org/2005/Atom}feed 

として名前空間されていることがわかります。

これはlxmlの中右XPathがあることを意味する：

print cooking_parsed.xpath(
    "//a:feed/a:entry", 
    namespaces={ 'a':'http://www.w3.org/2005/Atom' })