特定のドメインサフィックスを持つサイトをクロールする

Question

私が興味を持っている特定のドメインサフィックスを持つ、できるだけ多くのドメイン名を見つけることに興味があります。たとえば、 ".com"、 ".net"、 ".org"

私はGoogleをクロールしようとしましたが、それはobviuosly法的ではない、やりにくいです。

ドメイン名のリストが多数ありますか？そうでない場合は、ドメインサフィックスで終わる可能性のあるドメイン名を検出するクローラを作成するにはどうすればよいですか？

Answer 1

CommonCrawlは、最近、[ホストのランク付けされたリスト] [2]（合計385M）の出版を発表しました。これをドメインサフィックスでフィルタリングすることができます。