Apache Pig - 他の文字列の部分文字列

Question

現在、私はPigで作業しており、フィールド値（chararray）が別のフィールド（またはchararray）に存在するかどうかを確認しようとしています。 例を示します。

ファイルt.txt：上記の例で

1;This is a banana which is yellow.;Fruit;Banana 
2;This is not about fruit but about Apple Inc.;Company;Apple 

は、私が最後のフィールド（すなわちBananaとApple）は、第2フィールド（文）内に存在するかどうかを確認したいです。ここに私の豚のスクリプトはこれまでです：

a = LOAD 't.txt' using PigStorage(';') AS (id:chararray, sentence:chararray, kind:chararray, search:chararray); 

b = FOREACH a GENERATE id, LOWER(sentence) as sent:chararray, kind, LOWER(search) as srch:chararray; 

c = FILTER b BY sent MATCHES '.* srch .*'; 

私が達成しようとしている目標は、検索ワードを囲むバイグラムを取得することです。具体的な例を与えるために、これは私が（または別の形で）を探していますものです：

(1,Fruit,{(a, banana),(banana, which}) 
(2,Company,{(about, apple),(apple, inc.}) 

だから、私の質問は：私はからフィールド文に一致するようにスキーマからフィールド検索を使用する方法スキーマ？

Answer 1

UDFを使用します。文章と検索項目をUDFに渡します。UDFでは、文章を単語に分割し、単語を繰り返します。単語が一致すると、検索項目の前後に単語が表示されます。

PigScript

REGISTER GetSurroundingWords.jar; 
DEFINE GetSurroundingWords com.mypackages.GetSurroundingWords(); 

A = LOAD 'test11.txt' using PigStorage(';') AS (id:chararray, sentence:chararray, kind:chararray, search:chararray); 
B = FOREACH A GENERATE id, LOWER(sentence) as sent:chararray, kind, LOWER(search) as srch:chararray; 
C = FOREACH B GENERATE id,kind,GetSurroundingWords(sent,srch); 
DUMP C; 

出力

のJava UDF

package com.mypackages; 

import java.io.IOException; 
import org.apache.pig.EvalFunc; 
import org.apache.pig.data.Tuple; 

public class GetSurroundingWords extends EvalFunc<String> 
{ 
    public String exec(Tuple input) throws IOException 
    { 
     if(input != null && input.size() != 0) 
     { 
      String sInputString = input.toString(); 
      String sOutputString = ""; 
      try 
      { 
       if(sInputString != null && !sInputString.isEmpty()) 
       { 
        String [] sInputStringItems = sInputString.split(","); 
        String sSentence = sInputStringItems[0].replace('(', ' ').trim(); 
        String [] sWords = sSentence.split(" "); 
        String sSearchItem = sInputStringItems[1].replace(')',' ').trim(); 

        for(int iIndex = 0;iIndex < sWords.length;iIndex ++) 
        { 
         if(sWords[iIndex].equals(sSearchItem)) 
         { 
          try 
          { 
           sOutputString = "(" + sWords[--iIndex] + "," + sSearchItem + ")"; 
          }catch(Exception ex) 
          { 
           sOutputString = "(" + sSearchItem + ")"; 
          } 

          int iNextItem = iIndex + 2; 
          try 
          { 
           sOutputString = sOutputString + "," + "(" + sSearchItem + "," + sWords[iNextItem] + ")"; 
          }catch(Exception ex) 
          { 
           sOutputString = sOutputString + "," + "(" + sSearchItem + ")"; 
          } 
          return sOutputString; 
         } 
        }   
       } 
       else 
       { 
        return null; 
       } 
      } 
      catch(Exception ex) 
      { 
       return null; 
      } 
      return sOutputString; 
     } 
     else 
     { 
      return null; 
     } 
    } 
}