ウェブ開発者はhtmlコンテンツをスクラップできますか？

Question

私はいくつかのウェブサイトからhtmlコンテンツを掻き集めて、マッシュアップのようなものを私のウェブサイトで見たいと思っています。私はそれらを参照し、リンクするでしょう！

は「丁寧」おそれが考慮されていない

Answer 1

robots.txtを確認し、問題がある場合は連絡先を確認してください。ほとんどの人はマッシュアップからトラフィックを得ることができます。とにかく、あなたに尋ねるのは彼らの負担です。

Answer 2

をありがとうしかしそれにもかかわらず頻繁に行われています。いくつかのウェブサイトはそのような活動に対抗する対策を講じていますが、一般的には何の反響も伴わずにこれを行うことができます。

正しい方法で実行したい場合は、ウェブサイトのオペレーターにお問い合わせください。あなたが知っている限り、彼らはそれで大丈夫でしょうか、あなたが使えるAPIセットを持っているかも知れません。

あなたが許可なく掻き集めを行うと、あなたのサイトが人気を得て、元のサイトがあなたのしていることを発見した場合、彼らはあなたに休止と書簡を送ったり、著作権で保護されている素材を侵害していると感じる

http://en.wikipedia.org/wiki/Web_scraping

Answer 3

これは、一般的に完了ことではありません。それらのウェブサイトの作者がデータを利用できるようにしたいのであれば、おそらくAPIや何らかのフィードを使ってデータを利用できるでしょう。

最高のことは、それらに直接質問することです。彼らはあなたに掻きするよりも良い方法を提供するかもしれません。