URLにプログラムでログオンし、セッションを維持し、別のページをブラウズする方法

Question

私は小さなJavaプロジェクトに取り組んで、ユーザー名/パスワードを使ってプログラムでWebサイトに接続し、ログイン後、データをダウンロードしてください。まず、セッションを開いたまま、ユーザー名/パスワード、 秒でウェブサイトに接続する必要があります。他のリンクからデータをダウンロードしてください。

Javaでこれを行うにはどうすればよいですか？

ご協力いただきますようお願い申し上げます。

Answer 1

1. ウェブページからユーザー名/データを送信する方法をブラウザで調べます。 HTTPフォームPOST、Ajaxなど。ネットワークトラフィックを見るには、Firebugのようなプラグインを使用してください。

2. URLConnectionを使用してHTTPリクエストを作成できます。あなたは、ユーザ名/パスログインをシミュレートし、セッションをシミュレートするための結果的なHTTPリクエストで使用するためにクッキーを覚えています。いくつかの例があります：send HTTP POST request、get a cookie、send a cookie

Answer 2

Apache HTTPClientを参照してください。これはすべてこれを行うことができます。

編集：Apache HTTPClientには、認証機能とCookie処理機能が含まれているため、これを自分で行う作業を大幅に節約できます。

Answer 3

いくつかのデータを抽出したい場合は、HtmlUnitが多くのお手伝いをします。認証を管理し、データ抽出にも役立ちます。