Seleniumによる動的コンテンツのスクラップ？

Question

BlogからSeleniumまで動的コンテンツをスクラップしようとしていますが、レンダリングされていないJavaScriptが返されます。

この動作をテストするために、iframeが完全に読み込まれ、それがうまく印刷されるコンテンツを印刷するまで待機しようとしましたが、親フレームに戻ると、レンダリングされていないJavaScriptが表示されます。

私は問題がある完全にレンダリングされたHTMLコンテンツ

from selenium import webdriver 
from selenium.webdriver.support.ui import WebDriverWait 
from selenium.webdriver.common.by import By 
from selenium.webdriver.support import expected_conditions 

driver = webdriver.Chrome("path to chrome driver") 
driver.get('http://justgivemechocolateandnobodygetshurt.blogspot.com/') 

WebDriverWait(driver, 40).until(expected_conditions.frame_to_be_available_and_switch_to_it((By.ID, "navbar-iframe"))) 

# Rendered iframe HTML is printed. 
content = driver.page_source 
print content.encode("utf-8") 

# When I switch back to parent frame it again prints non rendered JavaScript. 
driver.switch_to.parent_frame() 
content = driver.page_source 
print content.encode("utf-8") 

Answer 1

を印刷することができるよこれで何かを探しています - the .page_source works only in the current context。 "current top-level browsing context"という表記法があります。デフォルトのコンテンツで呼び出す場合は、iframe要素の内部HTMLを取得しません。そのためには、frameのコンテキストに切り替えて.page_sourceと呼び出す必要があります。

つまり、iframeのページソースを含むページの完全なHTMLを取得するには、iframeコンテキストに1つずつ切り替えて別々にソースを取得する必要があります。

も参照してください：

• Command Contexts
• Switch To Frame

---

は旧答え：

私は少なくとも一つのブログエントリは負荷があることをwaitうためにpage_sourceを取得する前に編：

from selenium.webdriver.common.by import By 
from selenium.webdriver.support.ui import WebDriverWait 
from selenium.webdriver.support import expected_conditions as EC 

wait = WebDriverWait(driver, 40) 
wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, ".entry-content"))) 

print(driver.page_source)