Cloudera Spark2のインストール

このコンポーネントをインストールするclouderaの指示に従って、私のclouderaクラスタ（評価版）にSpark2をインストールしようとしています。私は、CSDをダウンロードし、それをインストールし、小包を使用してコンポーネントをダウンロードし、それを配布するが、私はこのメッセージを抱えている、それをアクティブにしようとすると：Cloudera Spark2のインストール

CDH（5.8以上）SPARK2 に必要な小包（2.2 .0.cloudera1-1.cdh5.12.0.p0.142354）は利用できません。

これは、クラスタの情報です：

バージョン：Clouderaのエンタープライズ・データ・ハブEditionの評価版5.12.1（＃6が20170818から0807にgitのJenkinsのを建て： 9bdee611802535491d400e03c98ef694a2c77d0a）

Java VM名：Java HotSpot（TM）64ビット・サーバVM

Java VMベンダー：Oracle Corporation

Javaバージョン：1.7.0_67

CSD

SPARK2_ON_YARN-2.2.0.cloudera1.jar

小包

http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/

私はそれが私のCDHバージョン（5.12.1）と最後のspark2パーセル（cdh5.12.0）のバージョンだと思っていますが、cdh5.12.1のための他のパッケージが見つかりません。：cdh5.13.0はspark2パーセルですか？

出典

2017-10-31 gleX

最後に解決されました。問題は、更新後、私はデコードコアを更新する必要があった、スパーク2だけ正常に動作します。

出典

2017-11-03 13:17:11 gleX

私も同じ問題に直面しています。修正するための手順を教えてください。 – Ajeet

まず、 "parcels"モジュールをチェックしてCHD 5.Xの利用可能なアップデートを確認します。クラスタのアップデートがある場合は、ダウンロード、配布、有効化の手順に従ってインストールする必要があります。あなたのCDHバージョンが更新された場合、パーセルからspark2をダウンロード、配布、有効化することができます。私がやったことはすべてそれです。 – gleX

Thanks @gleX、CDHアップデートをインストールした後に解決しました。 – Ajeet

エラーメッセージは誤解を招く可能性があります。実際の問題は、クラスタがJava 1.7で動作していることです。 Spark 2.2はJava 1.8でのみサポートされています。クラスタでJavaをアップグレードすると、Spark 2.2パーセルをインストールできるはずです。

出典

2017-10-31 22:35:46

こんにちは、あなたはデフォルトでjdk 1.7がインストールされていますが、すべてのホストのjvmバージョンをjdk 1.8に変更するので、すべてのアプリケーションがjdk 1.8で動作し、clouderaマネージャはjdk 1.7私はバージョンを変更しようとしましたが、クラスタがちょうどクラッシュしてしまいました、なぜこれは私がホストのバージョンを変更し、clouderaマネージャーを変更していないのですか）...私はインストール時にデフォルトでどのJavaバージョンを使用するのかよく分かりません。ホストで定義されているJavaバージョン（私の場合1.8） – gleX

Cloudera Spark2のインストール

答えて

関連する問題