Python - urllib2を使用して異なるURLを読むと同じ結果が返されましたか？

Question

私はいくつかのページを読むのにPython urllib2を使用しようとしていますが、与えられた異なるURLが同じページを返しました。

このページは、recreation.govから特定のキャンプ場のキャンプ場の空き状況を確認するためのものです。キャンプ場にはたくさんのキャンプ場があるかもしれないので、URLの最後のインデックスは、表示されるキャンプ場の数をページに表示します。

たとえば、startIdx=0の場合、ページにはキャンプサイト1〜25が表示され、startIdx=25にはキャンプサイト26〜50が表示されます。

startIdxでいくつかのURLを構築しましたが、urllib2を使用してページを読むと、返されたHTMLはすべて同じでした。何とかURL内のstartIdxが無視されたようです。

さらに、これらのURLを手動でブラウザで開くとページは正常に見えますが、私がwebbrowser.openを使用してページを表示すると奇妙に見えます。

簡単なサンプルコードでは、私がいる問題を複製：

import urllib2 

url1 = 'http://www.recreation.gov/campsiteCalendar.do?page=calendar&contractCode=NRSO&parkId=70928&calarvdate=03/11/2016&sitepage=true&startIdx=0' 
url2 = 'http://www.recreation.gov/campsiteCalendar.do?page=calendar&contractCode=NRSO&parkId=70928&calarvdate=03/11/2016&sitepage=true&startIdx=25' 

hdr = {'User-Agent': 'Mozilla/5.0'} 
request1 = urllib2.Request(url1, headers = hdr) 
response1 = urllib2.urlopen(request1)  
html1 = response1.read() 

request2 = urllib2.Request(url2, headers = hdr) 
response2 = urllib2.urlopen(request2)  
html2 = response2.read() 

In [1]:html1 == html2 
Out[2]: True 

私は物事が問い合わせやPHP関連のものでどのように機能するかについての他の知識を持っていません。だから私はなぜurllib2がこのように振る舞うのか不思議です。私が使っているPythonのバージョンは2.7

ありがとう！

Answer 1

Webページは実行時に変更される可能性がありますが、HTMLは要求しているだけです。おそらく、URLエンコードされた情報に基づいてページの内容を変更するJavaScriptがあります。コンテンツがPHPでサーバー側にロードされていた場合、送信前にサーバーがHTMLを変更するため、コンテンツが要求と共に表示されます。 JavaScriptは送信後HTMLを変更します。

つまり、通常のブラウザでは、JavaScriptを使用してURLに基​​づいてHTMLが変更されます。あなたの単純な要求はそれをしません。