ローカルマシンで動作しているため、セレンはサーバー上で動作していません

Question

私は最近Selenium Pythonスクレイパーを完成させました。私の個人的なマシンでそれを実行すると完全に正常に動作しますが、結果をサーバー上で実行すると同じではありません。サーバーでは私はpyvirtualdisplay

browser.get('https://example.com') 
html = browser.page_source 

を使用してヘッドレスを実行していますそしてこれはpyvirtualdisplayのための私のコードです。

display = Display(visible=0, size=(800, 600)) 
display.start() 

ローカルマシン上で実行している間は、それは完全にはJavaScriptによって生成されるが、私は私のサーバー上でそれを実行すると、それにはJavaScriptによって生成されたHTMLコンテンツをつかむしないHTMLをつかむので、私は唯一で終わりますJS生成コンテンツのない部分ページ。

更新： 私はまた、Seleniumを使用した提案に従ってスクリーンショットを撮りました。 Screenshotは、ページが部分的にロードされ、JSによるコンテンツが画面にロードされていないことを示しています。

Answer 1

OSやブラウザの設定に問題があるようです。まず、フレームバッファ内の結果をスクリーンショットし、firefoxがJSコンテンツを適切にロードしていることを確認します。そうでない場合は、ブラウザ/ OS設定を確認する必要があります。

pyvirtualdisplayあなたはspecflowも、スクリーンショット、説明書here

それは、Firefox /ブラウザの問題である場合は、あなたがすべての適切なプラグインをインストールしていることを確認することができますhere

で見ることができるスクリーンショットの方法を持っていますあなたのサーバーでjavascriptを実行するためにJavaが必要でした。そのブラウザでjavascriptが有効になっていることを確認してください。