完全なページソースをSeleniumで表示できない

Question

Chromeで手動でサイトに移動した後にソースHTMLを表示すると、完全なページソースが表示されますが、セレンを介してページソースを読み込むと完全なページソースが得られません。

from bs4 import BeautifulSoup 
from selenium import webdriver 
import sys,time 


driver = webdriver.Chrome(executable_path=r"C:\Python27\Scripts\chromedriver.exe") 
driver.get('http://www.magicbricks.com/') 


driver.find_element_by_id("buyTab").click() 

time.sleep(5) 
driver.find_element_by_id("keyword").send_keys("Navi Mumbai") 

time.sleep(5) 
driver.find_element_by_id("btnPropertySearch").click() 

time.sleep(30) 

content = driver.page_source.encode('utf-8').strip() 

soup = BeautifulSoup(content,"lxml") 

print soup.prettify() 

Answer 1

ウェブサイトによってセレンのユーザーエージェントがブロックされているか制限されている可能性があります。簡単なテストは、ユーザーエージェントを変更し、それがそうであるかどうかを確認することです。この質問ではより多くの情報：

Change user agent for selenium driver

が引用：

from selenium import webdriver 
from selenium.webdriver.chrome.options import Options 
opts = Options() 
opts.add_argument("user-agent=whatever you want") 

driver = webdriver.Chrome(chrome_options=opts)