ブタでは、特定の文字列を含む行数をどのように数えますか？

Question

私は、ターゲットの単語のグループがあるとします。

a b c d 

と、入力ファイル：

a d f s g e 
12399 
c a d i f 
a 2 

、私は返す必要があります：

a 3 
b 0 
c 1 
d 2 

私は豚でそれを行うことができますどのように？ありがとうございました！

Answer 1

まず、各行から重複した単語を削除してから、単語数を実行します。
豚の手順：

REGISTER 'udf-1.0-SNAPSHOT.jar' 
define tuple_set com.ts.pig.UniqueRecords(); 
data = load '<file>' using PigStorage(); 

各ラインから

unique= foreach data generate tuple_set($0) as line; 
words= foreach unique generate flatten(TOKENIZE(line,' ')) as word; 
grouped = group words BY word; 
count= foreach grouped GENERATE group, COUNT(words); 
dump count; 

を重複した単語を削除豚UDFのサンプル・コード：

/** 
* This udf removes duplicate words from line 
*/ 
public class UniqueRecords extends EvalFunc<String> { 
    @Override 
    public String exec(Tuple tuple) throws IOException { 
     if (tuple == null || tuple.size() == 0) 
      return null; 
     String[] splits=tuple.get(0).toString().split(" "); 
     Set<String> elements = new HashSet<String>(Arrays.asList(splits)); 
     StringBuilder sb = new StringBuilder(); 
     for(String element:elements){ 
      sb.append(element+" "); 
     } 
     return sb.toString(); 
    } 
}