2017-12-06 8 views
0

私が記載されているポイントのIBM article related to Hadoopと1の読み取りを持っていたに近いデータがのHadoop:データへのクローズ処理ロジックではなく、処理ロジックの説明

のHadoop分散ファイルシステムは、多くの目標がありました。データに近い

処理ロジックではなく、それは言葉の遊びのように私に聞こえる処理ロジック

に近いデータ:ここで最も注目すべきいくつかのです。データに近い処理ロジックと処理ロジックに近いデータには違いがありますか?

答えて

1

かなり違いがあります。

データに近い処理を実行するということは、データが実際に存在するサーバー上でビジネスロジックを実行することを意味します。

これをデータ処理に近づけることと比較します。データベースを照会し、他のシステムと結合することができます。この場合、データはネットワークを介して送信されます。

コードやライブラリの送信は、ギガバイトとテラバイト相当のデータを引き出すよりもネットワーク転送のオーバーヘッドが大幅に少なくなると主張しています。

Hadoop2では、これはYARNによって処理されます.YARNでは、mapreduce、Sparkなどのプロセスがプロセスプロセスコンテナからデータノードプロセスと並行して実行されます。

関連する問題