HadoopのMap/Reduce部分のデータローカリティ機能は、MySqlサーバなどのHDFS以外の別のストレージを提供するとどうなりますか?言い換えれば、Hadoop Map/Reduceはデータローカリティを使用してデータと同じノード上でマップタスクを起動しようとしますが、データがsqlサーバーに格納されると、タスクノードにローカルデータは存在しません。すべてのデータはSQL Serverノードにあります。その場合、データの局所性が失われるか、データの局所性の定義が変化していますか?それが変わったら、新しい定義は何ですか?HDFSが使用されていない場合のデータローカリティ
答えて
データがクラスタ内に存在しない場合、データのローカリティはありません。すべてのデータをリモートソースからコピーする必要があります。これは、HDFSのデータを含むノードでタスクを実行できない場合と同じです。 S3、HBase、DBなどのリモートソースを使用するいくつかの入力フォーマットがあります。 HDFSにあなたのデータを入れることができればそれは素晴らしいことです。私は頻繁に更新される少量のデータのためにリモートソースとしてMongoを頻繁に使用しており、結果に満足しています。
お返事ありがとうございます。少量のデータが何を意味するのか考えてみてください。また、あなたはこの小さなために起動する同時マッパーをいくつですか?私は全体像を得たいだけです。 – iCode
私の最大のテーブルはおそらくMongoで20MBです。私はちょうど1マッパーを使用します。使用するマッパーの数は、シャーディングに依存します。 https://github.com/mongodb/mongo-hadoopをご覧ください。 –
これは、ネットワーク帯域幅によって制限されるサイズを追加する必要があります。 –
- 1. 画像がLaunchScreen.storyboardで使用されている場合に画像が更新されない場合
- 2. varパラメータが推奨されていない場合のremoveAtIndexの使用方法
- 3. @propertyが使用されない場合があります
- 4. gpsが使用されない場合はアプリがクラッシュする
- 5. SxssfTransformerを使用している場合、数式が評価されない
- 6. 使用時にTinyMCEが表示されない場合
- 7. コマンドライン引数が指定されていない場合は、コマンドラインのディレクトリを使用してください。
- 8. ラジオボタンが選択されていない場合の問題
- 9. Chromeのタブが表示されていない場合、setInterval 'stacks'
- 10. ホストファイルに行が追加されていない場合のみ
- 11. jQuery - ラジオボタンがチェックされていない場合のエラー
- 12. パネルが表示されない場合
- 13. CoreAnimationを使用しない場合と使用しない場合
- 14. チェックファイル(.LOADを使用してロードされている場合)
- 15. 二次キーが完全に指定されているが使用されていないが、指定されている場合はエラー
- 16. Page_LoadにUpdatePanelが追加されていない場合
- 17. ファイルが "somename.php"とリダイレクトされていない場合、リダイレクト
- 18. jEditable:データが変更されていない場合
- 19. フレームがサイトに表示されていない場合はリダイレクト
- 20. ステートメントが正しく実行されていない場合
- 21. ModelBinderが正しくリストにバインドされていない場合
- 22. ステートメントが実行されていない場合
- 23. 事前ビルドされたCMSを使用しない場合は、
- 24. HTMLビデオがサポートされていない場合、Flashフォールバックが機能しない
- 25. データベースに--None--プルダウンメニューが表示されている場合、他のショーデータが入力されている場合
- 26. IFRAMEが表示されていない行が表示されていない場合
- 27. PARTITION BY(OracleでKEEPを使用している場合と使用していない場合)
- 28. ポストグラムでLIMITが使用されている場合はインデックスが使用されません
- 29. Cordovaを使用していない場合は、デバイスに組み込まれている場合は
- 30. FFTWLib(C#)の使用:vshostが実行されていない場合、fshw.exeまたはメインプログラムがクラッシュする
Hadoopのどの部分ですか? MapReduce? –
あなたの質問を理解できません! – Debaditya
私は質問を更新しました。うまくいけば、それは今より明らかです。 – iCode