2017-02-08 6 views
1

Webサーバーからすべてのコンテンツをダウンロードするwgetを取得しようとしていますが、うまくいくようですが、現在ディスク容量したがって停止する。すでにダウンロードされているファイルを追加してスキップするwget

私はすべてのウェブサイトのコンテンツをダウンロードする方法を探しています。ファイルが見つかった場合は、既に処理されているかどうかを確認して、Webサーバー上のファイルよりも小さいかどうかを確認しますそれをダウンロードしてください。ファイルが存在し、同じサイズでなければ、私は現在、

のwget -r --no-親に--continue(または-cため-N http://www.website.com

+0

あなたはおそらく '--mirror'知っていて、それは100%の要件を満たすのに十分であるようには聞こえません。したがって、私はwgetだけで仕事が完了するとは思わない。何らかのスクリプトを書く必要があります。 – cfromme

答えて

2

チェックman wgetを使用しています次の

の上に移動)オプションです。マニュアルページでは、再帰的ダウンロードでこのオプションを使用することさえ示しています。

-c 
    --continue 
     Continue getting a partially-downloaded file. This is useful 
     when you want to finish up a download started by a previous 
     instance of Wget, or by another program. For instance: 

       wget -c ftp://sunsite.doc.ic.ac.uk/ls-lR.Z 

     If there is a file named ls-lR.Z in the current directory, 
     Wget will assume that it is the first portion of the remote 
     file, and will ask the server to continue the retrieval from 
     an offset equal to the length of the local file. 

と、-rと一緒に使用-cを示す:manページから

You may put several options that do not require arguments together, like: 

      wget -drc <URL> 

    This is completely equivalent to: 

      wget -d -r -c <URL> 

リッチアロウェイ(RogueWaveの)

関連する問題