web-scraping

3熱

5答えて

Perlを使用してWebページのスクレイピングを開始するにはどうすればよいですか？

私はPerlを学ぶことに興味があります。私はLearning Perlの書籍とcpanのウェブサイトを参考にしています。私は学んだことを何でも適用するために、Perlを使っていくつかのウェブ/テキストスクレイピングアプリケーションをやりたいと思っています。まず、いくつかの良いオプションを教えてください。（これは宿題ではありません。私は基本的なPerlの機能を利用役立つPerlで何かをしたい）

1熱

2答えて

ウェブサイトからウェブページをスクラップするためのスクラピーの再利用

私は最近、スクラピーで作業を始めました。私はいくつかのページ（約50）に分割された大きなリストからいくつかの情報を収集しようとしています。 start_urlsの最初のページを含む最初のページから、私が望むものを簡単に抽出できます。しかし、私はこれらの50ページにすべてのリンクをこのリストに追加したくありません。私はよりダイナミックな方法が必要です。誰かが私が繰り返しどのようにWebページを擦るこ

1熱

1答えて

2.12のXMLパッケージエラー2.10でない

私は、ページのHTMLテーブルを読むためにRのXMLパッケージを使用しています。 2.12.1で、私は次のエラーを取得しています：私は2.10に同じコードスニペットを実行したときに Error in names(ans) = header : 'names' attribute [24] must be the same length as the vector [19] しかし、エ

4熱

2答えて

javascriptの画面遅延によるサイトの掻き取り

分割された2番目のJavaScriptの遅延を持つサイトを掻き集めようとしています。私は現在、スクレイピングにpythonを使用しています。私がページを取得するたびに、javascriptの遅延は完了せず、新しいDOMをまだ完全にロードしていません。どうすればこのようなpgeを削ることができますか？

4熱

3答えて

JavaScriptを使用してDOMツリーにHTML文字列をロードします。

現在、分析のためにウェブページをプルダウンしている処理系のフレームワークを処理しています。 Rhino Javascriptエンジンは、返されたWebページの解析を支援するために使用できます。文字列（完全なWebページです）をDOM表現に読み込むことができれば、コンテンツを解析して解析するための非常に優れたインターフェイスを提供するようです。 Javascriptのみを使用して、これは可能な、ま

1熱

2答えて

ウェブページから数値をスクレイピングしていますか？

ウェブサイトから17個の値を削りました。これは、データを持つページのURLです：ページの左下にhttp://www.bungie.net/stats/reach/online.aspx 「ONLINE PLAYLIST」私は、各リスト項目にプレーヤーの数をこすりしたいというタイトル番号なしリストがありますそのような情報を含む。数字は桁数、つまりカンマなしでなければなりません。現時点では

2熱

1答えて

VBページからjspページを呼び出すにはどうすればよいですか？

私はパラメータを受け入れるJSPページを作成しました。ページがパラメータを受け取ると、ユーザーにXMLが返されます。 VBプログラムを作成して、フォームを表示してユーザーにパラメータの値を入力して、JSPページに渡して戻りXMLを取得し、VBでユーザーに表示するプログラム。これは可能ですか？ Thx

0熱

6答えて

コンテンツがクロールされないようにするための最良の手段は何ですか？

私は最近、コンテンツ用のウェブサイトをたくさん巡ってきましたが、これまでのところサイトがこれほど抵抗を感じることができなかったのは驚きです。理想的には、私が取り組んでいるサイトは簡単に収穫できないはずです。だからボットがあなたのウェブコンテンツを収穫するのを止める最善の方法は何か不思議に思っていました。明白な解決策： robots.txtの（いや右） IPブラックリストは、ボットの活動をキャッ

0熱

2答えて

Apache/mod_jk/Tomcat設定のアップグレードをテストする

mod_jkと4つのTomcatサーバー（新しいハードウェア）でApacheを使用して、ハードウェアとソフトウェアを64ビットアーキテクチャにアップグレードし始めました。私は現在、Mechanizeライブラリでこれを行うにはPythonを使用していますが、実際にはこのアプリケーションを使用しています。ただそれを切断しないでください。スレッド化はPythonでは「本当の」ものではなく、マルチプロセ

1熱

1答えて

プログラムでページを開くためにGoogle Webキャッシュを使用できますか？

私はsnoopyとphpQueryを使用しています。私はURLを持っている場合、そのURLのキャッシュされたバージョンをGoogle上で開きたいと思います。任意の日付は問題ではありません、バージョンが存在する限り、私はそれを取るでしょう。これを行う方法に関するアイデアはありますか？手動で複製するには：あなたのURLを選択を、最初の結果は、クリック、URLで検索ボックスにこのURLにhttp