Pythonを使って実際にアクセスする

Question

このPythonコードの目標は、フォルダにジョブ情報を取得する方法を作成することです。最初のステップは失敗です。コードを実行するときに、私はURLを印刷したいとしますhttps://www.indeed.com/。代わりにコードはhttps://secure.indeed.com/account/loginを返します。私はこの進行中の問題を解決するためにurlibまたはcookielibを使用しています。

import requests 
import urllib 

data = { 
     'action':'Login', 
     '__email':'email@gmail.com', 
     '__password':'password', 
     'remember':'1', 
     'hl':'en', 
     'continue':'/account/view?hl=en', 
     } 


response = requests.get('https://secure.indeed.com/account/login',data=data) 
print(response.url) 

Answer 1

実際に情報をスクラップしようとしている場合は、seleniumのPythonライブラリを使用する必要があります。

https://pypi.python.org/pypi/selenium

あなたはその後、通常のサイトを閲覧し、実際のユーザーのコンテキスト内でプログラムを書くことができます。