Javaを使用したSpark Job Server NamedObjectsの永続化

Question

Spark Jobserver 0.6.2とApache Spark 2.0.2を使用して、すでにいくつかの機能が実装されています。しかし、私はどのようにDatasetをjava内の特定のコンテキスト上の異なるジョブ間で共有するかを見つけることができません。この機能はScalaでのみ利用できますか？インターネット上で私はScalaの例しか見つけることができないからです。 javaをチェックしていて、job-server-api_2.11.jarにいくつかのNamedObjectクラスがありますが、どうすればそれらを使用できるかわかりません。実際、私のジョブクラスはspark.jobserver.JavaSparkJobからです。

ありがとうございました。

Answer 1

1. ジョブサーバー0.6.2をSpark 2.0.2で使用することはできません。 README.md（https://github.com/spark-jobserver/spark-jobserver#version-information）の互換性マトリックスを参照してください。

2. spark-2.0-previewブランチを使用する必要があります。

3. ここには、Javaの新しいNamedObjects APIについて語るスレッドがあります。スレッドの1つに添付ファイルとして新しいAPIを使用する最新の例がありますhttps://groups.google.com/forum/?utm_medium=email&utm_source=footer#!msg/spark-jobserver/lFpuiQp4toU/xkZtkxTHBAAJ