なぜwgetはindex.htmlをダウンロードするWebサイトがいくつかありますか？</p> <pre><code>wget -p http://www.example.com </code></pre> <p>は、メインページ上のすべてのファイルを取得するために：

Question

私はwgetのコマンドを使用しようとしています。一部のWebサイトでは動作しますが、ほとんどの場合、index.htmlのみをダウンロードします。私はwget -rコマンドを試しましたが、動作しません。どのようにページ上のすべてのファイルをフェッチするか、またはファイルと対応するURLのリストをページに表示する方法はわかっていますか？

Answer 1

Wgetはウェブサイト全体をダウンロードすることもできます。しかし、これはサーバーに負荷をかける可能性があるため、wgetはrobots.txtファイルに従います。

wget -r -p http://www.example.com 

-pパラメータは、画像を含むすべてのファイルを含めるようにwgetに指示します。これは、すべてのHTMLファイルがどのようにすべきか見えることを意味します。

robots.txtファイルでwgetを服従させたくない場合はどうすればよいですか？あなたは、単にこのようなコマンドを切っ= -eロボットを追加することができます。

wget -r -p -e robots=off http://www.example.com 

として多くのサイトがサイト全体をダウンロードさせません、彼らはあなたのブラウザの身元を確認します。これを回避するには、上で説明したように-U mozillaを使用します。

wget -r -p -e robots=off -U mozilla http://www.example.com 

多くのウェブサイトの所有者は、あなたがサイト全体をダウンロードしているという事実を好まないでしょう。大量のファイルをダウンロードしていると、サーバーが自動的にブラックリストに追加されることがあります。これを回避する方法は、ダウンロードするたびに数秒待つことです。 wgetを使用してこれを行う方法は、--wait = X（Xは秒数）を含めることです。

パラメータを使用することもできます。--random-wait待つ。コマンドにこれを含めるには：

wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com 

Answer 2

をあなたはデフォルトでindex.htmlあるオプション--default-page=nameを見つけることができますthe wget manualにindex.htmlを探している場合。たとえば、index.phpに変更できます。

--default-page=index.php 

Answer 3

私はこのスレッドが古いであることを知っているが、とRiteshで言及されているものを試してください：それは私のために働い--no-クッキー

！

Answer 4

あなたが提供したリンクはホームページまたは/index.htmlです。したがって、index.htmlページのみを取得していることは明らかです。例えば ​​"test.zip"ファイルのような実際のダウンロードでは、最後に正確なファイル名を追加する必要があります。たとえば、次のリンクを使用してtest.zipファイルをダウンロードしてください。

wget -p domainname.com/testあなたは完全なウェブサイトをダウンロードしたいときに実行するコマンドラインで、局所的な視聴のために利用できるように続きwget --mirror

を使用した全ウェブサイトをダウンロード

を圧縮します。

のwget --mirror -p --convertリンク-P ./LOCAL-DIR http://www.example.com

• -mirror：ミラーリングに適したオプションをオンにしてください。

• -p：特定のHTMLページを正しく表示するために必要なすべてのファイルをダウンロードします。

• -convert-links：ダウンロード後、ローカルの表示用に のリンクを変換してください。

• -P ./LOCAL-DIR：指定したディレクトリにすべてのファイルとディレクトリにあなたは次のような状況の下で、これを使用することができwget -r -A

  を使用して

ダウンロードのみ特定の種類のファイルを保存します：

• すべての画像をWebサイトからダウンロードしてください：

• ダウンロードサイトからすべてのビデオ、

• ダウンロードサイトからすべてのPDFファイルが

のwget -r -A.pdf http://example.com/test.pdf

まず

Answer 5

、明確にするために、 index.htmlとそのページのすべての必要な部分（画像など）をダウンロードすることが目的です。 -pオプションは--page-requisitesに相当します。

ページの要件が必ずしもダウンロードされないのは、元のページ（CDNなど）とは異なるドメインでホストされることが多いからです。デフォルトではwget refuses to visit other hostsなので--span-hostsオプションでホストスパニングを有効にする必要があります。

wget --page-requisites --span-hosts 'http://www.amazon.com/' 

あなたがindex.htmlをロードし、ローカルバージョンからのすべてのページの必需品の負荷を持ってできるようにする必要がある場合（例えば）imgのsrc属性内のURLがあるように、あなたは、--convert-linksオプションを追加する必要がありますがローカルバージョンを指す相対URLに書き換えられます。

オプションで、--no-host-directoriesオプションを追加してすべてのファイルを単一の「ホスト」ディレクトリに保存するか、すべてのファイルを単一のフラットディレクトリに保存することもできます（--no-directoriesオプションを追加）。

--no-directoriesを使用すると、多くのファイルが現在のディレクトリにダウンロードされるため、出力ファイルには--directory-prefixを使用してフォルダ名を指定することをお勧めします。

wget --page-requisites --span-hosts --convert-links --no-directories --directory-prefix=output 'http://www.amazon.com/' 

Answer 6

もう1つの問題は、ミラーリングしているサイトがwwwなしのリンクを使用している可能性があります。あなたは

wget -p -r http://www.example.com

を指定した場合、彼らは「異なる」ドメインからなので、だから、任意のリンク（インターン）のページをダウンロードしないであろう。この場合、次に（wwwせず）の代わり

wget -p -r http://example.com

を使用します。

Answer 7

index.htmlしか入手できず、そのファイルにはバイナリデータ（つまり可読テキストはなく、制御文字のみ）が含まれているように見える場合は、おそらくgzip圧縮を使用してデータを送信している可能性があります。

これを確認するには、cat index.html | gunzipを実行して、読み取り可能なHTMLが出力されていることを確認します。

この場合、wgetの再帰機能（-r）は機能しません。 gzip圧縮データを扱うにはwgetのpatchがありますが、まだ標準リリースには含まれていません。