EC2でmapreduceジョブを実行しているときにファイル名を取得する方法は？

Question

私は弾力的なmapreduceを学び、Amazonチュートリアルセクション（以下に示すコード）で提供されているWord Splitterの例題から始めました。この例では、提供されたすべての入力文書のすべての単語の語数が生成されます。

しかし、私はワードカウントの出力をファイル名、すなわち1つの特定のドキュメント内の単語の数で取得したいと考えています。単語カウント用のPythonコードは標準入力からの入力を受け取るので、どの入力行がどのドキュメントから来たのかをどのようにして知ることができますか？

ありがとうございました。典型的な例ではWORDCOUNT

#!/usr/bin/python 

import sys 
import re 

def main(argv): 
    line = sys.stdin.readline() 
    pattern = re.compile("[a-zA-Z][a-zA-Z0-9]*") 
    try: 
    while line: 
     for word in pattern.findall(line): 
     print "LongValueSum:" + word.lower() + "\t" + "1" 
     line = sys.stdin.readline() 
    except "end of file": 
    return None 
if __name__ == "__main__": 
    main(sys.argv) 

Answer 1

ジョブ出力をファイルレベルですべての入力ファイルとないの連結ワードカウントが含まれているので、マップファイルが処理しているファイル名は、無視されます。しかし、単語レベルをファイルレベルで取得するには、入力ファイル名を使用する必要があります。 Pythonを使用するマッパーはos.environ["map.input.file"]コマンドを使用してファイル名を取得できます。タスク実行環境変数のリストはhereです。

キー/値のペアを<Hello, 1>として発行する代わりに、マッパーは処理中の入力ファイル名も含める必要があります。以下は、マップ<input.txt, <Hello, 1>>によって出されます。ここで、input.txtはキーで、<Hello, 1>は値です。

ここで、特定のファイルのすべての語数は、1つの減速機で処理されます。レデューサーは、特定のファイルの語数を集計する必要があります。

いつものように、コンバイナは、マッパとレデューサの間のネットワークのチャタリングを減らし、またジョブをより速く完了するのに役立ちます。

テキスト処理に関するその他のアルゴリズムについては、Data-Intensive Text Processing with MapReduceを参照してください。