XPathは、私はいくつかの時間のためのウェブサイトに掘ってきたすべてのテーブル

Question

からデータを追跡：

http://directory.ccnecommunity.org/reports/rptAccreditedPrograms_New.asp?sort=institution

私は、各大学から修士の下でデータを抽出する必要があります。

すべての大学がマスターのデータを持っているわけではないので、私はそれを把握する必要があります。

どうすればこの状況のデータを追跡できますか？

これまでXPATHコードと私のパイソン：

import __future__ 
from lxml import html 
import requests 
from bs4 import BeautifulSoup 

page = requests.get('http://directory.ccnecommunity.org/reports/rptAccreditedPrograms_New.asp?sort=institution') 

soup = str(BeautifulSoup(page.content, 'html.parser')) 

tree = html.fromstring(soup) 

for table in tree.xpath('//table[@width="95%" and @align="center" and @class="center"]'): 
    print('-- NEW TABLE -- \n') 
    tab = table.xpath('.//table[@width="260px"]/tr/td[@style="width: 100%;"]/text()') 
    print(tab) 

print('Ready !!') 

あなたはそれが-- NEW TABLE --を出力しますが、tab変数が空の配列で見たよう。

tab変数は、バカロレア、各テーブルの看護実践の修士と博士の下でのデータで構成されている必要があります。

Answer 1

試してみてください。

for table in tree.xpath('(//tr[ td[span="Baccalaureate"] or td[contains(span,"Master")] ]/ancestor::tr[1])'): 
    print('-- NEW TABLE -- \n') 
    tab = table.xpath('.//table[@width="260px"]/tr/td[@style="width: 100%;"]/text()') 
    print(tab) 

Answer 2

次のxpathを使用して、マスタのデータを抽出することができます。

//span[contains(text(),'Master')]/parent::td[1]