BeautifulSoupとurllibを使用するために使用するPythonバージョンはどれですか？

Question

私はPythonを使ってWebをクロールする作業をしています。 Pythonバージョン3を使用しているときに問題が発生しました。そこで、私はどのバージョンのPythonがWebのクロールに適しているのかを知りたかったのです。あなたは標準のPythonディストリビューションのいずれかをインストールすることを選ぶならば

Answer 1

私はPython 2.7への移行に反対する議論があると思います。特にWebクローリングの場合、Python 2.7に戻す必要があると思う理由はありません。

BeautifulSoup 4とlxmlはどちらもPython 3.5に完全に移植されています。

urllibは、Python 3.5で完全に機能します。あなたは、Python 2.7とPython 3.5にurllibのdifferences in the implementationがあることに注意してください。

ただし、urllibの代わりにRequestsパッケージを使用することをお勧めします。postは、その相違の一部を強調しています。

javascriptが必要なページを読み込む必要がある場合は、SeleniumもPython 3.5で動作します。セレニウムは、ヘッドレスブラウジング（例えば、PhantomJS）をサポートすることもできる。

Pythonの公式postもあります。あなたの判断に役立てることができます。

Answer 2

は、 は、あなたは、Python 2.7.3以降が、しかし、Pythonの3.0または 以降を使用していないことを確認してください。これらのバージョンはもちろん最先端のバージョンですが、 私たちが使用するパッケージの多くはPython 3.X のサポートをまだ持っていませんし、そうするまでは3.Xはそれほど魅力的ではありません。 のPython 3.Xで利用できる機能と利用できない機能について詳しくは、 Pythonのバージョンの選択を参照してください。

これは、websiteのもので、PythonのWeb-Crallingについて紹介しています。あなたのアドバイスを受けることをお勧めします。 Python 2.7。*は、追加のパッケージを使用する現時点でのアプリケーションに最適です。