web-scraping

2熱

2答えて

CURLを使ってXHTMLコンテンツを解析したいと思います。取引番号、重量、高さ、を<table>タグの間でスクラップする方法。このHTML文書の内容のみをスクラップし、CURLを使用して配列として取得する方法は？ transactions.php <table border=0 cellspacing=0 width=100%> <tr> <td colspan=

2熱

2答えて

ルビー文字列の文字エンコーディングを修正するバックスラッシュを追加する

これは非常に簡単だと確信していますが、これらすべてのバックスラッシュで結びついています。ウェブサイトから（丁寧に）私が掻き集めているデータがあります。時折、次のような文章が私に届きます。 u00a362 000? you must be joking もちろん、「2 000？冗談じゃないわ'。 irbの短いテストで解読されました。 ruby-1.9.2-p180 :001 > string

0熱

1答えて

ウェブ検索結果の検索

私は次の問題を解決するための助けが必要です：特定のサイトのGoogle検索エンジンによってキャッシュされたURLを検証する必要があります。 404の場合、またはページがいくつかの必要なhtml要素（壊れていると見なされます）をレンダリングしない場合は、それらのURLをログに記録し、後で正しいURLにリダイレクトする必要があります。私はPHPとPythonを少しは知っていますが、特定のサイトの検索

1熱

2答えて

ウェブページからデータを検索してスクラップするには、いくつかの優れたJavaライブラリがあります。

Webページからデータを検索して抜き取ってデータベースに貼り付けるには、何が良いオープンソースのJavaライブラリですか？ <tr><td><b>Address:</b></td> <td colspan=3>123 My Street </td></tr> 「住所：」たとえば、私のようなページがあったと仮定鍵ですが、私は実際には、間にhtmlタグとスペースの束を持っている「123マイ・ス

0熱

2答えて

投稿方法リクエスト/フォーム投稿

私はここ数時間、この作業に取り組んできましたが、Googleの検索結果を数多く調べても、まだ動作させることはできません。 https://web5.uottawa.ca/rezweb/search.phpに接続するperlスクリプトを作成し、「Off/On-Campus Accomodation」を選択して検索をクリックし、結果を出力します。 - いない検索結果ページ #!/user/bin/pe

2熱

1答えて

誰でもGmailへのログインの例を見せて、最初のメールをphantomjsでpngに印刷できますか？

誰でもGmailへのログインの例を見せて、最初のメールをphantomjsでpngに印刷できますか？私が理解しようとしていることはGmailにログインの例であり、その後、次のWebページ上の別の操作を行うには、結果に基づいて...

1熱

2答えて

デイリーディスカウントアグリゲーターは、どのようにさまざまな取引Webサイトからデータを取得しますか？

デイリーディスカッションアグリゲータが、どのように異なる取引Webサイトのデータをスクラップするのだろうと思いましたか？私はAPIとRSSフィードを提供しない多くの取引Webサイトを見てきましたが、依然としてこのアグリゲータはそれらのデータをスクラップします。はここのサイトには、任意のAPIやRSSフィードを提供していない場合、私は http://www.thedealmap.com/ http

2熱

2答えて

Powershell：httpをスクラップし、特定の行を変数として返します。

私は比較的PowerShellを使いこなしています。私は、内部のWebページからバックアップデータを掻き集めて、スクラップから情報を抽出して操作し、後でExcelで表示するスクリプトを作成しています。 $Yesterday = [DateTime]::Now.AddDays(-1) $datestr = $Yesterday.ToString("dd-MMM-yyyy") $WebClient

2熱

1答えて

Pythonを使用したWebスクラブ

urllib2とBeautifulSoupを使用して、http://www.nseindia.comというWebサイトをスクラップしようとしています。残念ながら、私はPythonを通してページにアクセスしようとすると403 Forbiddenを取得し続けます。私はそれがユーザーエージェントの問題だと思っていましたが、それを変更することは助けになりませんでした。それから私はそれがクッキーと関係がある

0熱

1答えて

リモートMP3ファイルから情報を取得する

PHP経由でリモートでホストされているmp3ファイルからMP3 ID3タグ情報を抽出しようとしています。 freadとfseekを使って、ファイルの最後の128バイトを取得し、タグ情報を抽出しようとしましたが、成功しませんでした。ここでだと私は何をしたいの例： http://www.digitalcoding.com/tools/read-remote-mp3-avi-file-id3-info