webharvest

1熱

1答えて

Web-Harvestを使用して、一部のWebページ「スクレイピング」を実行しています。私は整理する必要がある値のテーブルを持っています。テーブルはとてもシンプルです。ただし、各列のデータ型を判断するには、表の列見出しを使用する必要があります。表は、Web-収穫の例のように、私は、XQueryを使用している、と私はインデックスで値を取得する方法を知っているし、また、属性（クラス、IDを使用して..

0熱

1答えて

Web Harvestに特殊文字を含む正規表現を作成する

私はオープンソースのWebスクレイピングツールであるweb harvest（http://web-harvest.sourceforge.net/）を使用しています。私が使用しようとしている正規表現には、 "<"、 ">"文字が含まれています（これは、すべてのHTMLタグを取り除こうとしているためです）。これは、要素の内容が正しい形式の文字データまたはマークアップで構成されなければならないため、

0熱

1答えて

WebHarvestがGET経由でhttpパラメータを正しく渡していない

次のコードを使用して解析するWebページを取得しようとしています。 <var-def name="parameter">value</var-def> <var-def name="url">http://www.example.com/script</var-def> <html-to-xml> <template> <http method="get" url="${

-1熱

1答えて

データ収穫

私はからデータを取得するでしょうウェブサイトを構築したいを学ぶ：は*私の友人のFacebookのステータス *他のウェブサイト Unfortenatlyは、私がデータを収集する方法がわかりません。誰かがブック\チュートリアルを推薦できますか？このフィールドを承認するには？

0熱

1答えて

httpタイムアウトをjakarta HttpClientに設定する

以下のコードをWebHarvest設定ファイルで使用して、WebHarvest（WebharvestはJakarta HttpClientを使用します）のhttp要素のタイムアウトを定義しています。しかし、私はそれを20000に設定していますが、タイムアウトに達するまでには約40-50秒かかります！私はそれを30000タイムアウトに設定しても、（私が待っていた少なくとも2分で）届くことはありま

0熱

2答えて

角4 jsonオブジェクトとしてWebページのコンテンツを要求する方法

http呼び出しでWebページをリクエストし、データを取得しようとしています。私はクロームプラグインとのクロスオリジンを避けることができましたが、依然としてリクエストを行うと応答は常に「null」です。角型アプリケーション内でhtmlページをjsonオブジェクトとして取得するにはどうすればよいですか？ ngOnInit(): void { // Make the HTTP reque

1熱

2答えて

ウェブページからデータを検索してスクラップするには、いくつかの優れたJavaライブラリがあります。

Webページからデータを検索して抜き取ってデータベースに貼り付けるには、何が良いオープンソースのJavaライブラリですか？ <tr><td><b>Address:</b></td> <td colspan=3>123 My Street </td></tr> 「住所：」たとえば、私のようなページがあったと仮定鍵ですが、私は実際には、間にhtmlタグとスペースの束を持っている「123マイ・ス

2熱

2答えて

Javaの動的Webページコンテンツを読む

ウェブページの内容を読むのに助けが必要です。現在、私は内容を読むために次の方法を使用しています BufferedReader in = new BufferedReader(new InputStreamReader(page.openStream())); String inputLine; while ((inputLine = in.readLine()) != null) {Cont