スマートURL同期/ダウンロードエンジンを入手できますか？

Question

誰かがオープンソースのURL同期/ダウンロードエンジンを知っているのであれば、私は自分自身のものを書くことになるでしょうか？

予想される機能： - ローカルディスクストア に同期させるためのHTTP URLのプレーンなリストを提供 - エンジンとして効果的にURLのコンテンツを同期するの面倒を見る（HEADリクエストが変更を確認するため）かつ効率的に（すべてのダウンロードが使用して実行GZIP圧縮） - 頻繁に変更されるURLを認識することでビーバーを最適化するほどスマートになることが望ましい

誰かがこのようなエンジンの同様の実装を認識していますか？好ましくはPerlで？

Answer 1

LWPに付属のlwp-mirrorプログラムを見ましたか？それは始めるのに適しているかもしれません。あるいは、wgetにはさらに多くの機能があります。