フレキシブルWebクローラー

Question

私はすぐに私のWebクローラーにくっついています。今まで コードは次のとおり

import requests 
from bs4 import BeautifulSoup 

def search_spider(max_pages): 
    page = 1 
    while page <= max_pages: 
     url = 'https://www.thenewboston.com/search.php?type=1&sort=pop&page=' + str(page) 
     source_code = requests.get(url) 
     plain_text = source_code.text 
     soup = BeautifulSoup(plain_text, "html.parser") 
     for link in soup.findAll('a', {'class': 'user-name'}): 
      href = "https://www.thenewboston.com/" + link.get('href') 
      print(href) 
search_spider() 

これはYTチュートリアルの例です。誰も私は1,2,3のようなウェブサイトのエンディングを持っていないときにコードを変更する方法を知っていますか？021587、0874519、NI875121のような様々な数字？ ankerのウェブサイトドメインは常に同じですが、この例のようにエンディングはまっすぐではありません。だから私が知る必要があるのは、私のコンピュータ（。数百）の.txtファイルか、コピーして私の中に貼り付けるときにリストからウェブサイトの終了番号を得るstr（ページ）の変数を挿入する方法です。コード？リストの終わりに達すると、Pythonは停止するはずです。

私はかなりPythonに知っているので、私はこの問題を現時点で解決する方法を知らない。さらなる情報が必要なら私に知らせてください。あなたの応答を感謝しなさい！

Floの

Answer 1

さて、あなたはあなたが訪問するページのリストではなく、番号の範囲を持っている場合は、あなたが何かを行うことができます：ファイルから読み込むに

pages = ['021587', '0874519', 'NI875121'] 

for page in pages: 
    url = 'http://example.com/some-path/' + str(page) 

を：

with open('filename.txt') as f: 
    contents = f.read() 

あなたのページが空白で区切られていると仮定すると、あなたがして実行することができます

pages = contents.split() 

をチェックアウトdocumentation for str.split()