インデックス作成に適したオープンソースのWebクローラー特定のコンテンツの特定のWebサイト？

Question

C++、JAVA、PHPで書かれた良いオープンソースのWebクローラを教えてください。

特定のコンテンツ（画像、テキスト、動画）については、特定のウェブサイトをクロール/インデックスするだけです。

私は質問の多くは、このトピックに関する&回答がこのウェブサイト

にすでにあることを知っているが、私はそれらのすべてを読んだ後、少し混乱しています。

私は再び同じ質問を繰り返すと申し訳ありません。

-事前におねがいします。

Answer 1

ウェブサイトの種類によって異なります。あなたが望むものを表示/ダウンロードできるようにする前にログインする必要がある場合は、cURL（好ましくはPHP）を使用することをお勧めします。そうでなければ、wget、sh、またはfile_get_contentsという単純なものをPHPで使用することができます。

擦っているサイトによっては、特定のコンテンツを見つけるために何らかのHTMLパーサーや正規表現を使用する必要があります。