Webを同時にスクラップしながらログファイルを作成するにはどうすればいいですか（Python 3）？

Question

私はPythonの初心者です。Pythonでのログインという概念全体を理解することは本当に難しいと感じています。私は現在、私は私を助けるためにBeautifulSoup4を使用しているのpython 3を使用して、このウェブこするプロジェクトに取り組んでいます： 私は以下の書いたコード：

from bs4 import BeautifulSoup 
import urllib3 
import urllib.request 

web = "https://docs.python.org/3/howto/logging-cookbook.html" 

page = urllib.request.urlopen(web) 
soup = BeautifulSoup(page) 

print(soup.prettify()) 

を、あなたはどのように私は開始する必要があります知っていますか？ログファイルを作成するには、どこから始めたらいいですか？私は本当に混乱している、誰かが私をhelppppppしてください!!!!!!! ありがとうございます！

Answer 1

クックブックではたくさんの素晴らしい情報が得られます。多くの選択肢がありますが、最小限のものは非常に簡単です。基本的なログの実装でコードを更新しました。あなたのコードを実行し、現在の作業ディレクトリにmy_logfile.txtを見てください。あなたは料理本の中の例を実装することによって喜ぶことができます。

from bs4 import BeautifulSoup 
import urllib3 
import urllib.request 
import logging 

logging.basicConfig(level=logging.INFO, filename='my_logfile.txt') 
logger = logging.getLogger('scraper') 

web = "https://docs.python.org/3/howto/logging-cookbook.html" 

page = urllib.request.urlopen(web) 
soup = BeautifulSoup(page) 

logger.info('loaded {}'.format(web)) 

print(soup.prettify()) 

Answer 2

あなたは死んセットウェブ大丈夫自分をスクレーパー、しかしなど、一般的に要求、再試行、クロールのサイトを扱うのほぼすべての厄介なビットを処理https://scrapy.org/を見てみましょうを構築することにしている場合は

ログイン処理は、Pythonで組み込まれたloggingモジュールによって処理されます。 https://doc.scrapy.org/en/latest/topics/logging.html

print()を使用する代わりに、自分で構築したい場合は、loggingモジュールを直接使用してください。ドキュメントはhttps://docs.python.org/3/howto/logging.htmlで、便利なコレクションの例はhttps://docs.python.org/3.6/howto/logging-cookbook.html#logging-cookbook