動的URLを再作成するにはどうすればよいですか？

Question

はじめに：私はhtml/webプログラミングやスクレイピングに関係することは何でも新しいです。

楽しくて、私はScrapyで遊んでいて、オンラインアカウントにログインしてファンタジーサッカーのスコアを削りたいと思っています。ページはhttp://www.espn.com/fantasyあり、関連リンクを持つページのソースは次のとおりです。この上

<a data-affiliatename="espn" data-language="en" data-regformid="espn_bbc" tref="/members/v3_1/login" data-behavior="overlay" data-route="false" href="#" class="med button-alt sign-in">Log In</a> 

クリックすると、いくつかのJavascript（と思う）を呼び出し、（放火魔でネットワーク]タブを見てから）次のようになりますXHRリクエストを生成します：放火犯でネットワーク要求/応答から

http://log.go.com/log?action_name=api%3Alaunch%3Alogin&anon=true&appid=DTSS-DISNEYID-UI&client_id=ESPN-FANTASYLM-PROD&conversation_id=de122753-f2d4-4988-a928-a0508dc1369e&correlation_id=dedc6867-eb52-4a5f-a8b7-ea6b44a723a3&os=Ubuntu%20undefined&process_time=11454&sdk_version=Web%202.19.9&success=true&swid=c1b300b5-ec07-4d08-8813-c4f501e9d593&timestamp=2016-09-06T00%3A27%3A23.671Z 

、私はこれは、ログインオーバーレイを起動するためのAPIを呼び出していることを収集し、パラメータの数は、などconversation_id、CORRELATION_ID、タイムスタンプ、

のように、あります

クエストons：

1. 私はクッキーにswidが見つかりましたが、会話と相関IDをどのように生成するのですか？
2. タイムスタンプまたは他のパラメータはオプションですか？

Answer 1

＃1の場合：クッキーが複雑でjavascriptで変更されていない限り、Scrapyはクッキーを単独で管理します（これはほとんどありません）。何もする必要はありません。 urlパラメータがあなたのクッキーから生成されたかどうかは、まったく同じことではないかもしれません。おそらく偶然であり、cookieとurlの両方のパラメータはhtmlソースの<input>データを使用します。

について＃2については、URLパラメータが必須かオプションかを知る方法がありません。変更または削除して実験する以外の方法はありません。

FormRequest.from_response(response, formdata=<your custom value dict>)を使用して、リクエストフォームデータのすべてではないにしても、大部分を取得することができます。 More about FormRequest on official docs