1
各クロールされたドメインのユーザーエージェント文字列を変更する必要があります。私は標準のNutchクロールユーティリティーコードを使用して、時間ごとに1つのドメインをクロールします。マルチスレッドモードで開始され、多くのドメインをクロールします。ドメイン文字列[botname] + domainIDに渡す必要がありますが、実装する方法がわかりません。Nutch 1.3：ユーザーエージェントを変更する
A
答えて
1
ユーザエージェントは設定ファイル（nutch-site.xml）に表示されるため、特定のドメインのユーザエージェントを変更する可能性はありません。
クロールするドメインごとにnutchのインスタンスを作成することをお勧めします。各インスタンス内で、クロールするドメインに一致するURLフィルタ、シードURL、およびユーザーエージェントを設定します。
これにより、カスタム設定で各クロールを実行できるようになります。
歓声マナ
関連する問題
- 1. nutch 1.3のURLを再クロールする
- 2. Nutch 1.3とSolr 3.1のセットアップ
- 3. ユーザーエージェントの変更
- 4. 変更ユーザーエージェントは
- 5. HTTPリクエストヘッダー（ユーザーエージェント）を変更する - Chrome/Firefox
- 6. ユーザーエージェントWebBrowserオブジェクトを変更するC＃
- 7. WebBrowserコントロールのユーザーエージェントを変更する
- 8. php.iniのユーザーエージェントを変更する
- 9. iPhoneのユーザーエージェントを変更しますか？
- 10. nutch 1.3のcrawldbからURLを削除しますか？
- 11. 単純なNutch 1.3/Solrのインデックスの説明
- 12. PHPを使ってユーザーエージェントを変更する
- 13. HTTP要求のユーザーエージェント文字列をRで変更する
- 14. Inet Controlのユーザーエージェントを変更するには？
- 15. WebBrowserコントロールのユーザーエージェントをC＃で変更する方法
- 16. Chrome拡張機能のユーザーエージェントを変更する
- 17. Chrome拡張機能からXMLHttpRequestでユーザーエージェントを変更する
- 18. windows7のサファリのデフォルトのユーザーエージェントを変更するには？
- 19. webclientでユーザーエージェントを変更できますか？
- 20. WPF/XAML Webブラウザコントロールでユーザーエージェントを変更しますか？
- 21. Amazon EC2にDjango 1.3コードの変更を適用
- 22. Meteor 1.3の経路変更にテンプレートを再レンダリング
- 23. ブラウザモードIE9でIE9 <F12 developer tools>のユーザーエージェントが変更される理由は？
- 24. Nutchパスエラー
- 25. Nutchインストール
- 26. BlackBerryユーザーエージェント
- 27. WebViewユーザーエージェント
- 28. Nutch APIのアドバイス
- 29. javascriptを使用してChromeのユーザーエージェントを変更するにはどうすればよいですか？
- 30. Cordova App - 毎回返されるiOSがユーザーエージェントを変更するのはなぜですか