長時間実行され大量のバッチ処理に関する質問があり、実際の経験と数に興味があります。Apache Igniteで長時間実行され、大規模なバッチ処理が可能
最初。長いrunnigタスクのフォールトトレランスは、主にチェックポイント経由で手動で処理されると考えられていますか？ここで長時間実行されるタスクを1日以上実行するタスクにします。したがって、長時間実行されているタスクでは、再実行が不適切な場合があります。
秒。 Igniteでメモリに収まらない大規模なデータセットを処理する数値、ベンチマーク、実際の経験はありますか？たとえば、使用可能なメモリーがデータ・セット・サイズの3,10,100倍の場合。
最後に、純粋なIgniteがそのようなシナリオにうまく適合しない場合、Hadoop \ SparkのアクセラレータとしてIgniteを使用している数字や経験はありますか？
おかげ
それはノードが作業中にダウンして行くことが、可能なら、あなたはネイティブの永続性を有効にする必要がありますが、キャッシュに書き込まれたすべてのデータは、定期的にディスクに書き込まれます。ここにIgniteの永続性に関する文書があります：https://apacheignite.readme.io/docs/distributed-persistent-store
しかし、キャッシュに書き込まれたデータでタスクを復元する方法を理解する必要があります。
Igniteのベンチマーク結果に関するデータが見つかりませんでした。その上に構築された製品、つまりGridGain：https://www.gridgain.com/resources/benchmarks/gridgain-benchmarks-results
Igniteの永続性を設定し、ベンチマークを自分で実行することができます。 Igniteリポジトリには多くのベンチマークがあります。あなたはGitHubの上の目安モジュールでそれらを見つけることができます：https://apacheignite.readme.io/docs/perfomance-benchmarking
： https://github.com/apache/ignite/tree/master/modules/yardstick/src/main/java/org/apache/ignite/yardstick/cacheここでベンチマークのドキュメントです