2016-08-17 3 views
2

私には興味深い質問があります。hadoopに配布される代替語

分散型でスケーラブルなものは何ですか?の代わりにhadoopのどれかです。 HDFSのようないくつかの分散ファイルシステムを探していますが、安価で効率的なストレージとして使用でき、データ処理エンジン(バッチ/リアルタイム)が必要です。私はスパークが良い選択肢かもしれないことを知っています。しかし、私はこのシステムを、分散したフォールトトレラントでスケーラブルなファイルアーカイブとして使用したいと思います。提案は歓迎されます。ありがとう:)

答えて

3

これらは、HadoopとApache Sparkの他の代替手段です。クラスターマップのReduce、Hydra、そして結論は、すべて大規模なデータプロジェクトに適しています。あなたはまだ選択肢を検討している場合より、ここで https://datafloq.com/read/Big-Data-Hadoop-Alternatives/1135

+0

返信ありがとうございました:)その記事に記載されている以外の選択肢はありますか?基本的には、分散し、フォールトトレラントでスケーラブルなファイルアーカイブが必要です。 – Sachin

+1

SphereとRiakを見てください –

+0

Ok。します。ありがとう:) – Sachin

1

を読む、このGigaOmの記事は助けることがあります。 https://gigaom.com/2012/07/11/because-hadoop-isnt-perfect-8-ways-to-replace-hdfs/ HDFSにフラッシュデフォルトのスパークでは。

HDFSはGFS(Google FS)に代わるオープンソースなので、GFSへのコネクタを使用できます(Google FSはGoogle Cloud Platform Storageサービスで利用できます)。大量のデータでは高価ですノード/クラスタ間で転送されます。 Hadoopはリアルタイムデータ用に設計されたものではなく、動的データが少なくなっています。私はこれが何とか役立つことを願っています(ただし、基礎となるFSはHDFSである)https://mapr.com/why-mapr/

  • NetAppはHDFSの代替としてもhttp://www.netapp.com/us/solutions/applications/big-data-analytics/index.aspx
  • 上記のすべてのリンクがあり、通常のHDFSよりも20%速く主張MAPR

    • は私が共有GigaOmの記事です。 これが何とか役立つことを願っています。

    +0

    ありがとう!しかし、現在これを調べていないのです! – Sachin

    +0

    MapR-FSについてのP.Mの声明 "しかし、基礎をなすFSはHDFSです"は正しくありません。 MapR-FSは分散した高可用性のファイルシステムであり、その実装のためにHDFSに基づいていません。 MapR-FSには独自の実装とディスク上のデータ整理方法があります。 MapR-FSはHDFS APIを使用してアクセスできます。つまり、分散ストレージのようにMapR-FSで作業できるだけでなく、Hadoopアプリケーションを実行することもできます。 –

    関連する問題