ASP.NET MVCプロジェクトの一部としてWebスクレイピングクローラを実装しようとしています。これは、Html Agility Packを使用して異なるURLから集められた大きなデータで動作します。問題は、私が1分後にリモートサーバーから「接続がリセットされました」という機能を実際に実行したいときです。私はそれをローカルで実行するとより良い結果が得られます。リモートIISにアクセスできます。この問題やその他の選択肢を解決するための提案はありますか?ASP.NET Webスクレイピングのタイムアウト問題
0
A
答えて
1
0
接続やネットワークの問題によってこのような問題が発生する可能性があります。他のURLのスクレイピングを防ぐために、作業を別のスレッドに並列化することができます。
関連する問題
- 1. ASP.NETでのスレッドのタイムアウトの問題
- 2. タイムアウト後のAxis2 Java Webサービスクライアントの問題
- 3. asp.net Webサービスの問題
- 4. asp.net web-formsコマンドの問題
- 5. Asp.Net Webサービスの問題
- 6. タイムアウトの問題
- 7. WebスクレイピングAndroidアプリケーション
- 8. WCFタイムアウト問題
- 9. WCFタイムアウト問題
- 10. WCFタイムアウトの問題
- 11. SSRSタイムアウトの問題
- 12. mantisタイムアウトの問題
- 13. WCFタイムアウトの問題?
- 14. FormsAuthenticationタイムアウトの問題
- 15. MVCのAJAXタイムアウト問題
- 16. SQLサーバーのタイムアウトの問題
- 17. ダイナミックコンサルティングページからのWebスクレイピングR
- 18. asp.net mvc applicatonのWebブラウザホスティングの問題
- 19. StopRoutingHandlerの問題とasp.net Webフォームのルーティング
- 20. asp.net web-siteのstaticフィールドの問題
- 21. 配備の問題asp.net Webアプリケーション
- 22. AngularJS + ASP.NET Web APIクロスドメインの問題
- 23. Javaのスレッドプールタスクのタイムアウト問題
- 24. ドロップダウンメニューのタイムアウトの問題
- 25. Microsoft Office SharePoint Server 2007クエリーWebサービスのタイムアウトの問題
- 26. Webサービス呼び出しのタイムアウトの問題
- 27. ASP.NETでのPDF権限管理 - タイムアウトの問題
- 28. VB6 - WinHttpRequestのタイムアウト問題
- 29. JDBC getConnectionタイムアウトの問題
- 30. PopupNotificationのタイムアウト問題JavaScript XUL
1回のリクエストで_all_個のURLをページに取得しようとしていますか? – Oded
はい、私はそう思います。 URLを生成してキャプチャしようとするループがあります。この時間制限ではURLをほとんど取得できません。 –