Hadoopの減速カスタム書き込み可能

Question

私は私のデータセットは以下の形式である

public class CompanyMinMaxReducer extends Reducer<Text, DateClosePair, Text, Text> { 
    private Text rText = new Text(); 

public void reduce(Text key, Iterable<DateClosePair> values, Context context) 
      throws IOException, InterruptedException { 

int min = Integer.MAX_VALUE; 
int max = Integer.MIN_VALUE; 
    LongWritable minDay = new LongWritable(); 
    LongWritable maxDay = new LongWritable(); 

for(DateClosePair val: values){ 
    LongWritable tempDate = val.getDate(); 
     DoubleWritable tempClose = val.getClose(); 

     if(tempDate.compareTo(maxDay) > 0){ 
     maxDay = tempDate; 
     }else if(tempDate.compareTo(minDay) < 0){ 
     minDay = tempDate; 
     } 


     if(tempClose.get() > max){ 
     max = (int)tempClose.get(); 
     }else if(tempClose.get() < min){ 
     min = (int)tempClose.get(); 
     } 
    } 

String minDayFinal = "" + new SimpleDateFormat("yyyy").format(new Date(minDay.get())); 
String maxDayFinal = "" + new SimpleDateFormat("yyyy").format(new Date(maxDay.get())); 
    String output = minDayFinal + " - " + maxDayFinal + " MIN: " + min + " MAX: " + max; 

    rText.set(output); 
    context.write(key, rText); 
} 
} 

この次減速クラスがあります。たとえば

exchange, stock_symbol, date, stock_price_open,stock_price_high,stock_price_low, stock_price_close, stock_volume,stock_price_adj_close. 

：

NASDAQ,AAPL,1970-10-22, ... 

私が書くように求めています各企業のために株式市場に存在していた年の範囲と最大と最小のclを提供する新しいMapReduceプログラム株式によって得られた価値。

私のプログラムが正しい出力を生成しますが、開始日が何らかの理由で一定である：

AAON 1970 - 2002 MIN: 1 MAX: 35 
AATI 1970 - 2010 MIN: 2 MAX: 15 
ABCO 1970 - 2004 MIN: 14 MAX: 69 
ABCW 1970 - 2007 MIN: 0 MAX: 53 
ABII 1970 - 2008 MIN: 25 MAX: 78 
ABIO 1970 - 1999 MIN: 0 MAX: 139 
ABMC 1970 - 2004 MIN: 0 MAX: 6 
ABTL 1970 - 2004 MIN: 0 MAX: 58 
ACAD 1970 - 2009 MIN: 0 MAX: 17 
ACAP 1970 - 2005 MIN: 15 MAX: 55 
ACAT 1970 - 2009 MIN: 3 MAX: 29 
ACCL 1970 - 1997 MIN: 3 MAX: 104 
ACEL 1970 - 1998 MIN: 0 MAX: 10 
ACET 1970 - 2004 MIN: 4 MAX: 27 
ACFC 1970 - 2008 MIN: 1 MAX: 20 
ACGL 1970 - 1997 MIN: 11 MAX: 80 
ACLI 1970 - 2006 MIN: 2 MAX: 77 
ACLS 1970 - 2001 MIN: 0 MAX: 30 

DateClosePairは、私はあなたがウェブ上で見つけるだろうすべての例のように書いた顧客書き込み可能です。

min_closing価格とmax_closing価格は正しいが、mix_dateとmax_dateが間違っていることは非常に奇妙です。

どのような考えですか？

Answer 1

エイリアシングが原因で発生する問題を解決しました。

maxDay = tempDate;の代わりに、maxDayがtempDateオブジェクトを指している場合は、.set()というメソッドを呼び出す必要があります。

ソリューション：私はその解決策について考えている

maxDay.set(tempDate.get()); 

Answer 2

LongWritable minDay = new LongWritable()は、より正確には1970年

にご最小日付変数を初期化します。特定の値が与えられていない限り、LongWritableがjava language specあたりのように、その内部long 0に初期化されます。これがjava.util.Dateに入力されると、Unixエポックから0ミリ秒と解釈されます：January 1, 1970, 00:00:00 UTC。

私の推測では、1970年はデータセット内のすべての日付値の下限です。これはあらゆるキーのためにそれを書くでしょう。

私はあなたがclose値を初期化するためにint min = Integer.MAX_VALUEを使用することに気付きました。代わりにLongWritable minDay = LongWritable(Long.MAX_VALUE)を使用して解決できますか？