2016-12-20 2 views
0

もう1つの質問では、ユーザがthis url(1)を使用してデータテーブルを含み、何らかの形でコードをthis url(2)に変換してjsonと美しいスープを使用して擦った。この特定のURLを入手する方法を探す

私の質問は、どのように最初のURLを与えられたスクレイプフレンドリーな2番目のURLを取得するのですか?

何とか2番目のURLを取得したユーザーには、どうやってそれを入手したのかが尋ねられましたが、しばらくお待ちいただいています。元のスレッドにはlinkです。

答えて

0

これは、Google Chrome開発ツール(および他のブラウザと同様)を使用して行うことができます。

  1. オープンGoogle Chromeブラウザと第一URL
  2. オープン開発ツール(⌘+オプション+ I)に移動し
  3. 頭に "ネットワーク" タブ
  4. をクリックして「上ログを保存する "XHR"(これはXMLHttpRequestなので) enter image description here
  5. リロードページとあなたが二URL enter image description here

のXMLHttpRequestが表示されます。注:この場合、私はそれがXHRによってロードされましたが、私はをクリックしてお勧めしたいことを推測次回は "XHR"の代わりに "All"を使用します。より多くの結果が表示され、問題のコール/リクエストをフィルタリングしたり、時間をかけたりする必要がありますが、より正確になります。

+0

完璧なおかげで!あなたは、そのURLを取得するためにpython内のプロセスを自動化する方法があるかどうか知っていますか? – johndoez232a

+0

私たちはスクレイパーを構築する前に、通常、これを行う(サイトを調べる)のですが、それはその特定のURLへの呼び出しがHTML全体(srcから他のJavaScriptへ)を含むためです。だから私はそれが自動化できないと思う。お役に立てれば! –

+0

これは元の質問とは全く別の話題なので、答える必要はありませんが、自動化できないので、最初のURLのデータテーブルをスクラップする方法をお勧めできますか? – johndoez232a

関連する問題