2016-06-19 5 views
0

を提出し、私はウェブサイトからテーブルを取得するためのコードを書かれているが、私はことで、追加のテーブルへのアクセスを取得する必要があります。ドロップダウンオプションを選択し、フォーム

ドロップダウンからの時間枠を選択
  1. [フィルタ]ボタンをクリックして送信してください。

ウェブサイトは次のとおりです。

http://www.myfxbook.com/forex-market/currencies/nzdchf-historical-data

ドロップダウンで要素を点検し、この示しています。時間枠のドロップダウンから

<select id="timeScales" class="selectField" onfocus="borderChange(this); "onblur="borderReturn(this);" style="border: 1px solid rgb(226, 225, 225);"> 
<option id="timeScale1" value="1">1 Minute</option> 
<option id="timeScale5" value="5">5 Minutes</option> 
<option id="timeScale15" value="15">15 Minutes</option> 
<option id="timeScale30" value="30">30 Minutes</option> 
<option id="timeScale60" value="60">1 Hour</option> 
<option id="timeScale240" value="240">4 Hours</option> 
<option id="timeScale1440" value="1440" selected="">1 Day</option> 
<option id="timeScale10080" value="10080">1 Week</option> 
<option id="timeScale43200" value="43200">1 Month</option> 

を、私は4時間を選択したい場合、をクリックしてくださいフィルターボタン。

私はrequests.getメソッドを使用してHTMLを取得する方法を知っていますが、ここで問題となっているのは、ドロップダウン値を選択するとURLが変更されないということです。

私はrequests.postを使ってみましたが、使用方法はわかりません。 私はチュートリアルとして「ボーン・スタフを使って針を自動化する方法」を使ってこのプログラムを書いていますが、プログラムでドロップダウン・メニューやクリック・ボタンをクリックする方法については説明しません。

彼はSeleniumの使用について説明していますが、このプロセスを30回以上繰り返す必要があり、毎回新しいページを開く必要があります。

リクエストモジュール(可能な場合)を使用してこれを実現する方法を示していただければ幸いです。だから、

enter image description here

答えて

4

あなたは、何を行うことができますすることは、AJAX要求が行われる時間帯をクリックしフィルタを選択すると、データを取得する模倣リクエストクリック要求にボタンであることはできませんそれを模倣して、我々は以下のparamsを渡す必要がHTML取得する:テーブルを取得するために、次に

import requests 

params = {"start": "2016-02-02 00:00", 
      "end": "2016-06-20 00:00", 
      "symbol": "NZDCHF", 
      "timeScale": "240", 
      "userTimeFormat": "0"} 
head = { 
    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.84 Safari/537.36", 
    "X-Requested-With": "XMLHttpRequest"} 

url = "http://www.myfxbook.com/getHistoricalDataByDate.json" 
js = requests.get(url, params=params, headers=head).json() 

を、アクセスjs["content"]["historyData"]

あなたのテーブルを与える
print(js["content"]["historyData"]) 

<table id="symbolMarket" class="sortable maxWidth center dataTable"> 
    <tr style="height:26px"> 
     <th sort="string"> 
      <a class="dotted font11 pointer">Date</a><span id="symbolMarketImg0"></span> 
     </th> 
     <th><span class="font11">Open</span></th> 
     <th><span class="font11">High</span></th> 
     <th><span class="font11">Low</span></th> 
     <th width="63"><span class="font11">Close</span></th> 
     <th sort="float" > 
      <a class="dotted font11 pointer">Change (Pips)</a><span id="symbolMarketImg5"></span> 
     </th> 
     <th sort="float" > 
      <a class="dotted font11 pointer">Change (%)</a><span id="symbolMarketImg6"></span> 
     </th> 
    </tr> 
       <tr onmouseover="this.className='normalActive';" onmouseout="this.className='';"> 
      <td><span name="timeNZDCHF">Jun 20, 2016 00:00</span></td> 
      <td><span name="openNZDCHF">0.67771</span></td> 
      <td><span name="highNZDCHF">0.68133</span></td> 
      <td><span name="lowNZDCHF">0.67771</span></td> 
      <td><span name="closeNZDCHF">0.68057</span></td> 
      <td class="bold"><span name="changePipsNZDCHF"><span class='green'>+28.6</span></span></td> 
      <td class="bold"><span name="changePercentNZDCHF"><span class='green'>+0.42%</span></span></td> 
     </tr> 

    ...................................... 

あなたは簡単にBeautifulsoupを使用してタグから値を取得するには、元のページを解析できます。

In [7]: from bs4 import BeautifulSoup 

In [8]: h = """<select id="timeScales" class="selectField" onfocus="borderChange(this); "onblur="borderReturn(this);" style="border: 1px solid rgb(226, 225, 225);"> 
    ...: <option id="timeScale1" value="1">1 Minute</option> 
    ...: <option id="timeScale5" value="5">5 Minutes</option> 
    ...: <option id="timeScale15" value="15">15 Minutes</option> 
    ...: <option id="timeScale30" value="30">30 Minutes</option> 
    ...: <option id="timeScale60" value="60">1 Hour</option> 
    ...: <option id="timeScale240" value="240">4 Hours</option> 
    ...: <option id="timeScale1440" value="1440" selected="">1 Day</option> 
    ...: <option id="timeScale10080" value="10080">1 Week</option> 
    ...: <option id="timeScale43200" value="43200">1 Month</option>""" 

In [9]: soup = BeautifulSoup(h,"html.parser") 

In [10]: durations = ([opt["value"] for opt in soup.select("#timeScales option")]) 

In [11]: durations 
Out[11]: [u'1', u'5', u'15', u'30', u'60', u'240', u'1440', u'10080', u'43200'] 

しかし、私はしないでください期間が数分で、データの期間を知る必要があるため、その背後にあるロジックを参照してください。

関連する問題