mechanicalsoup

1熱

1答えて

ユーザー名とパスワードが必要なドメインの背後にあるpdfファイルを取得しようとしています。私はMechanicalSoupにログイン資格情報を入力することができますが、pdfファイルにナビゲートすると、MechanicalSoups launch_browser（）でpdfを表示できますが、pdfをダウンロードできません。（認証を必要としませんでしたサイトのためのpython 2にBeautif

0熱

2答えて

プロキシの後ろにMechanicalSoupを使用する

私はPythonで、Windows上で、MechanicalSoupを使って簡単なwebbotを構築しようとしています。残念ながら、私は（企業が強制する）プロキシの後ろに座っています。私はMechanicalSoupに代理人を提供する方法を見つけることができませんでした。そんなオプションはありますか？そうでない場合は、私の選択肢は何ですか？ EDIT：Eytanのヒントに続いて、私はさらに一歩私を

0熱

1答えて

MechanicalSoupが選択したデータをキャッチしない

次のコードを使用しようとしています。しかし、私は最初に選択された日付の5倍の同じデータを取得します。 import re import datetime import mechanicalsoup def get_EminiTable(soup): allValues = [] colnames = soup.find('thead').get_text()

3熱

1答えて

データスクラップfrom pogdesign.co.uk/cat/

http://www.pogdesign.co.uk/cat/からいくつかのデータをスクラップしようとしています。各プログラムのチャンネルと放送時間を取得したいのですが、デフォルトでは表示されないという問題があります。設定を手動で設定して保存した後で、各番組のチャンネルと放送時間が表示されます。 Chromeのデベロッパーツールの[ネットワーク]セクションを確認した後、実際に[保存設定]をクリッ

0熱

1答えて

PythonとMechanicalSoup：可変ループ

後、私は問題があると私はそのPythonの問題やMechanicalSoupの問題がわかりませんナル：私はループの後、ブラウザオブジェクトを使用する場合 browser = mechanicalsoup.StatefulBrowser() browser.open("http://mypage.com") for item in mylist: browser.follow

0熱

1答えて

mechanicalsoup - 単一のテキストボックスを入力する方法

私が解析しようとしているサイトはフォームのない単一の入力ボックスしか持っていません。私は単なる入力ボックスを定義し、アドレスを渡してから送信するのに問題があります。私がしたいのは、アドレスを入力して、id="A18"title="Click to get bulk trash pick up info"の下に情報を取得し、JSONにロードすることです。のPython： import mecha

0熱

2答えて

MechanicalSoup AmazonログインCookieの問題

現在MechanicalSoupでAmazonにログインしようとしています。ログインページを開くことができますが、Cookieを有効にする必要があることがわかります。しかし、MechanicalSupドキュメンテーションでは、自動的にクッキーを保存して送信すると述べているため、問題がどこにあるのかが分かりません。これは私の現在のコードです： import mechanicalsoup br

1熱

2答えて

ログインが必要なpython 3でウェブサイトを掻き立てる

掻き取り認証に関する質問です。 BeautifulSoup使用：出力ここから #importing the requests lib import requests from bs4 import BeautifulSoup #specifying the page page = requests.get("http://localhost:8080/login?from=%2F")

0熱

1答えて

MechanicalSoupトリッキーなhtmlのテーブル

私はMechanicalSoupとwebscrapingに完全に緑です。私はhtmlタイムテーブルを解析して、それをモバイル上で取得するためのicalendar（ics）ファイルにしています。（これは私がうまくやったことです）。これで問題なく動作するようになりました。タイムテーブルを選択したら、タイムテーブルサイトのhtmlをダウンロードしました。今私は実際にタイムテーブルに移動するためにP

0熱

1答えて

Python Web-Scraping CSRFトークンの問題

私はMechanicalSoupを使用してPython 3.6経由でWebサイトにログインしていますが、CSRFトークンに問題があります。私はhtmlを要求するたびに、「無効なCSRFトークン：禁止」と読みます。ログインページのhtmlを検索すると、トークンのように見える要素IDに最も近いものは、既にトークンで埋められているように見える "autheticity_token"です。 "re"モジ