PythonでのマルチスレッドWebリクエスト - '名前またはサービスが不明'

Question

私は大きなスクレイピングジョブを実行しています。ネットワーク待ち時間のためにスクリプトの時間のほとんどがブロックされています。私は、同時に複数の要求を行うことができますので、スクリプトをマルチスレッドしようとしているが、私のスレッドの約10％は、次のエラー

URLError: <urlopen error [Errno -2] Name or service not known> 

正常に完了し、他の90％は死にます。同じドメインから複数のページをリクエストしているため、DNSの問題があるようです。一度に25リクエスト（25スレッド）を作成します。私は一度に5つの要求に自分自身を制限すればすべてうまく動作しますが、約10回の要求に達すると、時々このエラーが見え始めます。

Repeated host lookups failing in urllib2 私はこの中にある提案と同じ問題を記述していますが、役に立たないと読んでいます。

マルチスレッドの代わりにマルチプロセッシングモジュールを使用してみましたが、同じ動作が発生します - 同じエラーでプロセスの約10％が死ぬ - これはurllib2の問題ではないと私につながりますしかし何か。

誰かが何が起こっているのか説明して修正する方法を提案できますか？

UPDATE

私は手動で私のスクリプトのすべてにサイトのIPアドレスをコーディングする場合は完璧に動作しますので、このエラーは、DNSルックアップ中にいつか起こります。

Answer 1

提案：nscdなど、ご使用のシステムでDNSキャッシュを有効にしてみてください。これにより、スクレーパーが常に同じドメインに要求を送信する場合、DNSルックアップの問題が解消されます。

リソースを解放するために、urllib2.urlopenによって返されたファイルオブジェクトが読み込まれた後に正しく閉じられていることを確認してください。さもなければ、システムの最大オープンソケットの限界に達するかもしれません。

また、politeness policyを考慮すると、Webクローラは複数のリクエストを持つサーバーのオーバーロードを避ける必要があります。