ジョブでは、2つの異なるディレクトリにある2つの入力ファイルがあります。Hadoop job taking input files from multiple directoriesでは複数のディレクトリからファイルを読み取ることができます。ファイルの名前は同じですが、異なる名前のフォルダにあります。 C1/part-0000 C2/part-0000
マップフェーズでファイルを検出することは可能ですか?以下のような
いくつかの事:各マッパーは、1つの入力分割のために作成されているため public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { if (First file) { ... context.write(outputKey, outputValue); } } else { //Second file ... context.write(outputKey, outputValue); } }
複数のディレクトリから入力ファイルを取り出し、マップフェーズでそれぞれを検出する
0
A
答えて
0
は、セットアップ段階で
@Override
protected void setup(Context context) throws IOException, InterruptedException {
FileSplit split = (FileSplit) context.getInputSplit();
Path path = split.getPath();
String name = path.getName();
...
それをチェックし、すべての行のマップ方法でそれをチェックしないでください。
関連する問題
- 1. それぞれの結果をコンソールに出力しますか?
- 2. 複数のディレクトリから入力ファイルを取得するHadoopジョブ
- 3. ディレクトリからファイルを取り出してコンテンツをSQLに挿入
- 4. pug-array出力をカンマなしでそれぞれ
- 5. 1つの入力ファイルから複数の出力ファイル
- 6. Talend:複数の入力ファイルを複数の出力ファイルに
- 7. ディレクトリから複数のオーディオファイルを取り出すためのループループ
- 8. HTML入力から複数の値を取り出し、JSONキー、値[配列]
- 9. 複数のループ入力からの出力を印刷する
- 10. それぞれの最後にcsvファイルに結果を出力するwhileループ印刷の複製
- 11. 複数のファイルから複数の列を切り取り、出力を異なるファイルに出力する方法
- 12. jquery内の関数をそれぞれ呼び出す
- 13. 3つのハイパーリンクを検索し、それぞれを新しいシートに出力する
- 14. それぞれを呼び出して、それぞれの関数を呼び出して実行するメインドライバを1つのプログラムに組み込みます。
- 15. 私は2つのメソッド(それぞれ同じ出力)が
- 16. 複数のアイテムをループしてそれぞれをレンダリングする
- 17. 別のファイルを入力としてファイルのディレクトリを検索し、出力を別のファイルに送信するにはどうすればよいですか?
- 18. ファイルから複数の行を一度に取り出す
- 19. C#複数のバッチファイルから同じ出力を出力する
- 20. Grunt複数の入出力ディレクトリを追加
- 21. フォーム入力フィールドをそれぞれ固有にします
- 22. Mongooseは配列の入力からそれぞれを見つけます
- 23. 1つの入力から2番目の入力に値をコピーし、それぞれの関数で2番目の入力にコピーする
- 24. ajax呼び出しからそれぞれ2つのオブジェクトを取得して比較する方法は?
- 25. ディレクトリ内のすべての.shファイルをルーピングして、それぞれの特定のテキストを検索します。
- 26. テンプレートから複数の出力ファイルを生成する
- 27. Firebirdから出力変数を取り出す方法
- 28. ファイルがファイル入力にドラッグされたときの検出
- 29. `resources`ディレクトリからファイルが検出されません
- 30. bashスクリプト変数にそれぞれの行をテキストファイルを読み込んで出力する