2011-06-02 7 views
1

私はカサンドラにセットビッグデータを挿入するために豚CassandraStroage()を使用しています、4時間を実行した後、それは以下の例外を除いて墜落:カサンドラの豚の挿入例外

java.lang.NullPointerException 
     at org.apache.cassandra.dht.RandomPartitioner.getToken(RandomPartitioner.java:134) 
     at org.apache.cassandra.dht.RandomPartitioner.getToken(RandomPartitioner.java:36) 
     at org.apache.cassandra.client.RingCache.getRange(RingCache.java:129) 
     at org.apache.cassandra.hadoop.ColumnFamilyRecordWriter.write(ColumnFamilyRecordWriter.java:127) 
     at org.apache.cassandra.hadoop.ColumnFamilyRecordWriter.write(ColumnFamilyRecordWriter.java:62) 
     at org.apache.cassandra.hadoop.pig.CassandraStorage.putNext(Unknown Source) 
     at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigOutputFormat$PigRecordWriter.write(PigOut 
putFormat.java:138) 
     at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigOutputFormat$PigRecordWriter.write(PigOut 
putFormat.java:97) 
     at org.apache.hadoop.mapred.MapTask$NewDirectOutputCollector.write(MapTask.java:498) 
     at org.apache.hadoop.mapreduce.TaskInputOutputContext.write(TaskInputOutputContext.java:80) 
     at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapOnly$Map.collect(PigMapOnly.java:48) 
     at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapBase.runPipeline(PigMapBase.java:239) 
     at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapBase.map(PigMapBase.java:232) 
     at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigMapBase.map(PigMapBase.java:53) 
     at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144) 
     at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:621) 
     at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305) 
     at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:177) 

これがなぜ起こったか任意のアイデアを?

+0

これは、データセット内の1つのエントリにヌルキーがあることが原因であるとわかりました。 –

答えて

0

問題の原因ではありませんが、指定したパーティションキーが存在しない列ファミリに挿入しようとすると、このエラーが発生する可能性があります。

この場合、最初にレデューサークラスにヒットしたときに例外がスローされます。

関連する問題