web-scraping

1熱

2答えて

iframeに別のページを読み込んでいるページがあります。呼び出されているページは私のサイトから呼び出されたものを動的に処理するので、実際に直接呼び出すことはできません。同じページを呼び出して同じ動的コードを2回実行するのは非効率です。私がしたいのは、自分のページがロードされ、それを掻き立てて、特定の独特のものを解析し、解析された結果を処理することです。私は構文解析の結果を解析して処理する方法を

2熱

4答えて

PHPページスクレイピング - カールリダイレクト問題

私はこのリンクをこすりしようとしている：https://www.bu.edu/link/bin/uiscgi_studentlink/1293403322?College=SMG&Dept=AC&Course=222&Section=C1&Subject=ACCT & MtgDay = & MtgTime = &のModuleName = univschr.pl & KeySem = 20114

0熱

1答えて

wgetは 'helloworld.doc'の代わりにDL 'downloading.aspx'ですか？

wget： log.txtとdocs.txtの2つのファイルを作成しました。 LOG.TXT： docs.txt --2010-12-27 23:17:12-- http://www.xyz.dk/docs/Getpaper.aspx?id=133337 Resolving www.xyz.com... 194.152.xx.xxx Connecting to www.xyz.com|194.

0熱

1答えて

PythonでASPフォームからファイルをダウンロード

http://www.sl.universalservice.org/funding/opendatasearch/Search1.aspから多くのファイルをPythonライブラリmechanizeを使用してダウンロードしようとしています。サイトでは、ユーザーは2つのASPフォームに記入し、ユーザーが2番目の送信ボタンをクリックするとファイルのダウンロードが開始されます。私は両方のフォームを通過す

0熱

1答えて

複数のプロキシを使用

私はwatinを使用するスレッド化されたウェブサイトスクレーパーを作成しています.テキストボックスに入力した文字列をgoogleで検索します。それぞれのスレッドが異なるプロキシを使用し、 registry.iを変更せずには、レジストリで行われ、あなたはWebRequestクラスを使用している場合は、プロキシのプロパティがあり、知事または任意のsugesstion

3熱

3答えて

無効なHTMLを解析するためのCommon Lispパッケージ？

学習の練習として、Common LispにWebスクレーパーを書いています。（ラフ）計画は次のとおりです。使用Quicklisp 私はちょうど争点に実行したxmls でページを解析してページをロードするために、依存関係使用Drakmaを管理するために、：私が掻いているウェブサイトが、常に有効なXHTMLを生成するとは限りません。これは、ステップ3（xmlでページを解析する）が機能しないこと

1熱

6答えて

RSSフィードをスクラップしたい場合はどのようなプログラミング言語を使用しますか？

他のものよりも使い易いかどうかはわかりませんでした。 Java、PHP、またはPerlです。

0熱

1答えて

APIをクロールしてデータをexcel/csvファイルに保存するためのボットを作成する

この質問はちょっと曖昧なので、私はお詫びします...私はちょうど正しい方向に私を送るのに助けを求めています。私はいくつかのAPIをクロールし、XMLをCSVファイルまたはExcelファイルを解析してチェックできるように、ボット/スクリプト/プログラムを開発したいと考えています。たとえば、私はmeetup.comの開発者アカウントを持っています。私は、今後開催されるmeetupイベントのデータベ

0熱

2答えて

python-scrapy：スパイダーの内部でURLを取得するにはどうすればいいですか？

HtmlXPathSelector経由でページから何かを抽出するためにURLを取得する何かの中に私のスパイダーを入れるにはどうすればいいですか？しかし、URLは、コード内の文字列として提供するものであり、後続するリンクではありません。私はこのような何か試してみました：= [Failure instance: Traceback: <type 'exceptions.AttributeError'

0熱

1答えて

cURLの後に行うことは？または、PHPで文字列を解析する最善の方法は？

私はウェブサイトからコンテンツを取得し、解析し、必要なものを抽出し、データベースに格納しようとしています。私はPHPを使用しています。私は必要なページを通過してHTMLコンテンツを取得するcURLを使用してスクリプトを作成しました。さて、私が理解していることから、私はその文字列をページのHTMLから完全に取り出して解析できるツールやライブラリが必要です。どのように（最高）PHPでそれを行うた