Python 3.xでWebページからテキストを抽出する

Question

私はPython 3.xで作業中です

いくつかのWebページからテキストを抽出したいと思います。私にそれを許可する良いライブラリは何ですか？

ありがとう、 バリー。

Answer 1

http://www.crummy.com/software/BeautifulSoup/

とドキュメントあなたは

http://www.crummy.com/software/BeautifulSoup/documentation.html

Answer 2

mechanizeを始めるためには、良いライブラリですが、残念ながらないのpython 3の準備ができていますが、私はlxml.html

Answer 3

で見てみることができますBeautiful Soupを使用することをお勧めします。それは、返された構造をメールに似たもの 住所。

urllib2を使用することもできますが、Beautiful Soupは多くの構文問題を処理します。

Answer 4

あなたが抽出されたテキストでを行うに欲しいものを言っていない、それはあなたがそれを得るためにに行くために喜んでいるどのくらいの努力で大きな違いになります。あなたは、サイトに関連した嫌なもの（自明でないタスク）の身体のWebページのテキストマイナスのすべてを取得しようとしている場合

は、boilerpipeを見てみましょう。これはJavaで書かれていますが、ランダムなWebページから本質的なテキストを取得するのに驚くほど良い仕事をします。

次の数週間の私の趣味の1つは、ボイラーパイプのコアロジックをPythonで作り直すことです。プロジェクトに提供する機能は必要ですが、JVMである10トンのロックを運びたくはありません。私はそれがかなり安定したらそれをリリースするだろうと確信しています。