ブラウザでhttpリクエストを監視し、そのリクエスト（ヘッダデータとパラメータ）を保存し、同じリクエストをコード内でシミュレートする方法はありますか？httpリクエストを観察し、コード内の同じリクエストをシミュレートしてください
私が望むのは、自分のプロジェクトでブラウザを「シミュレート」して、ユーザーが通常のブラウザを使用している場合と同じ応答を返すことです。
正確に質問する方法はわかりませんが、私が望むのは、一部のWebサイトで認証をシミュレートし、ブラウザにあったときと同じデータを削ることです。
私が望んだのは、単純なhttp-requestを使用して認証で保護されたWebサイトをクロールし、自分のコードにrequest-headerを構築することでした。また、名前+パスワードのPOST要求を送信するだけでなく、ユーザーがウェブサイトにアクセスしたときに最初に生成されるいくつかの隠されたパラメータをjavascriptを使用してクライアント側で送信しました。 おそらく、隠れたパラメータを生成するアルゴリズムを理解することは可能ですが、複雑さのために時間がかかることがあります。
適切なヘッダーを気にせずに自動化された方法でウェブサイトをクロールするには、「ヘッドレス」ブラウザを使用することです。コード内で制御することができます。それらのヘッドレスブラウザのリストはhereで見つけることができます。
リクエストを観測して記録し、コードでシミュレートする必要はありません。ヘッドレスブラウザを使用してください。
ブラウザでF12キーを押すと、開かれている開発者ツールのウィンドウで[ネットワーク]タブに移動し、すべてのリクエストがそこに表示されます。また、フィドラーを試すこともできます。 – omegastripes
私はphantomJSのようなヘッドレスブラウザを使用すると、この必要はありません。 – Suisse