Python Web Scraping - ダイナミックデータを含むテーブル

Question

ダイナミックな変更テーブルからデータをスクラップします。

最初にウェブサイトを開いたときにテーブルは空ですが、新しい値で1〜2秒ごとに更新されます。

リクエストとlxml pythonパッケージ（Hitchiker's Guide to Python）でそれをやってみましたが、空のテーブルしか取得できませんでした。

それから私はSeleniumでやったが、常に新しいブラウザを起動するには遅すぎる（私は20-30秒ごとに値を取得する必要がある）。

この表では、Lightstreamerというメッセージングサービスが使用されています。

Answer 1

毎回新しいブラウザを起動するのではなく、PhantomJSのようなものを使用してください。 Seleniumでコードを高速化します。または、セレンの代わりにScrappyでSplashを試してみてください。一日の終わりに、あなたがやったことや見たことがなくても、あなたを助けるのは難しいです。また、このサイトやGoogleでそれらを使用する方法に関するガイドがたくさんあります。