HttpWebRequestを使用してWebページにログイン

Question

HttpWebRequestを使用して、以下のWebサイトにログインしようとしています。私はCredentialsプロパティを使用してユーザー名とパスワードを渡していますが、WebサイトのLoginページを取り戻しています。誰でも私が間違っていることを説明することはできますか？

https://oyster.tfl.gov.uk/oyster/entry.do（ログインページ）

HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(Url); 
request.ContentType = "application/x-www-form-urlencoded"; 
request.Credentials = new NetworkCredential(Username, Password); 
request.Method = "POST"; 
request.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"; 
request.Headers.Add("Accept-Language: en-us,en;q=0.5"); 
request.Headers.Add("Accept-Encoding: gzip,deflate"); 
request.Headers.Add("Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7"); 
request.KeepAlive = true; 
request.Headers.Add("Keep-Alive: 300"); 
request.Referer = Url; 
request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.0.3705;)"; 

HttpWebResponse response = (HttpWebResponse)request.GetResponse(); 

using (StreamReader reader = new StreamReader(response.GetResponseStream())) 
{ 
    string tmp = reader.ReadToEnd(); 
} 

Answer 1

ノートTerms and Conditions：

禁止されている以下の[...スニップ...]任意の自動化システムの

使用、ソフトウェア またはコンテンツを抽出する処理、および/またはトローリング、データマイニングを含む データ とスクリーンスクレイピング。 ないフォームベースのセキュリティ -

Credentialsは基本的に/ etc HTTPセキュリティのためです。

APIがあれば使用する方がよいでしょう。 HTMLフォームは、コンピュータではなく、人間のためのものです。 beta TfL API hereがあるようです。

Answer 2

このページにはHTTP認証（Basic、Digest、NTLM）がないため、認証情報は何も行いません。

コンテンツとしてユーザー名とパスワードを送信する/oyster/security_checkへのPOSTを構成する必要があります（送信するデータは、フォームがGETの場合はクエリー文字列に表示されるものと同じに見えます、例：username=myName&password=myPass）。後続の要求のために、このから。ここで

Answer 3

あなたは非常に便利かもしれませんC＃クラスである。

それは使用することが非常に簡単だし、文字列またはバイト配列をダウンロードするための基本的な機能を持っている。また、ログインページのフォームをスキャンいくつかのウェブサイトがプログラム認証を防ぐために使用する認証トークンのようなものについては、私はFacebそれはうまくいくようです。

[リンクを削除]