DstreamからRDDを削除または無効にするにはどうすればよいですか？

Question

私がやっていることはここに明確にすることです。

@Override 
public JavaRDD<Object> call(JavaPairRDD<Object, Iterable<JSONObject>> aggregatedRDD) throws Exception { 
     try { 
      ... 
      Logic 
      ... 
     } catch (Exception e) { 
      ... 
      Invalidate or remove RDD from dStream 
      ... 
     } 
} 

私は私が失敗したシナリオのための例外を処理し、それを処理するためにDAGの次のノードに移動させないように、DSTREAMからRDDを削除する

をしようとしています。さらに、dStreamからRDDを削除する方法を知ることは、他のシナリオでは便利です（RDDを何も変えたくないかもしれません）。 私はSparkを初めて使用しています。

Answer 1

例外の場合は、空のRDDを返すだけで十分です。

return sc.emptyRDD()