スクラップ中にランダムにHTTP 400エラーが発生する

Question

私のスクレイピングプログラムは通常動作しますが、サーバからHTTP 400エラーが発生することがあります。持続的なスロットル効果はありません。それは400レスポンスの直後に戻ります。私はレスポンスの1/5000が400であり、残りは成功していると推定しています（200秒）。これらのエラーを排除するために何ができるのですか？

Answer 1

HTTP 400が悪いリクエストです。

リクエストには、サーバーが反応しているものがあります。他のリクエストには影響しません。

一般的な原因は、特殊文字が文字列です。

解決する最善の方法は、根本的な原因を突き止めることです。ご使用の環境で可能であれば、すべての要求を記録してみてください。