私はSpark 1.3
を持つ仮想マシンを持っていますが、それをSpark 1.5
にアップグレードしたいのは、主に1.3でサポートされていた特定の機能のためです。可能であればSpark
のバージョンを1.3
から1.5
にアップグレードすることはできますか?はいの場合、どうすればいいですか?Sparkを新しいバージョンにアップグレードするにはどうすればいいですか?
答えて
another question of yoursに基づいて使用していると思われる、あらかじめ作成されたSparkディストリビューションは、Sparkが実際には「インストールされていない」ため、「アップグレード」するのはやや簡単です。実際には、あなたがしなければならないすべては、次のとおりです。
- Download適切なスパークディストリビューション
- を解凍し、適当なディレクトリにtarファイル(iewhereフォルダ
spark-1.3.1-bin-hadoop2.6
(あなたの場合には、後でHadoopの2.6のためにあらかじめ構築されたと)すでに - はここに応じ
あなたSPARK_HOME
(とあなたの設定に応じて、おそらくいくつかの他の環境変数)を更新)私はただの設定で、1.3.1から1.5.2に行くために、自分自身をやったことですあなたのものに似ています(迷路Ubuntuを使用してVM):
1)あなたはwget
を使用する必要があり、正確なミラーがあなたの場所に応じて、私よりおそらく違うだろうという
[email protected]:~$ cd $SPARK_HOME
[email protected]:/usr/local/bin/spark-1.3.1-bin-hadoop2.6$ cd ..
[email protected]:/usr/local/bin$ ls
ipcluster ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6
ipcluster2 ipengine iptest2 jsonschema
ipcontroller ipengine2 ipython pygmentize
[email protected]:/usr/local/bin$ sudo wget http://apache.tsl.gr/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz
[...]
[email protected]:/usr/local/bin$ ls
ipcluster ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6
ipcluster2 ipengine iptest2 jsonschema spark-1.5.2-bin-hadoop2.6.tgz
ipcontroller ipengine2 ipython pygmentize
お知らせ適切なディレクトリにtarファイルをダウンロードしてください。ダウンロードするパッケージの種類を選択した後、download pageにある "Download Spark"リンクをクリックしてください。
2)あなたは今、新しいフォルダ、spark-1.5.2-bin-hadoop2.6
を持っていることがわかります
[email protected]:/usr/local/bin$ sudo tar -xzf spark-1.*.tgz
[email protected]:/usr/local/bin$ ls
ipcluster ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6
ipcluster2 ipengine iptest2 jsonschema spark-1.5.2-bin-hadoop2.6
ipcontroller ipengine2 ipython pygmentize spark-1.5.2-bin-hadoop2.6.tgz
とtgz
ファイルを解凍します。
3)それに応じて、以前のバージョンではなくこの新しいディレクトリを指すようにSPARK_HOME
(使用している可能性のある他の環境変数)を更新します。
これで、マシンを再起動してください。あなたがいる限り、関連するすべての環境変数が新しいものを指すように、以前のスパーク配布を削除する必要はありません
- :という
は注意してください。そうすれば、テストする(つまり関連する環境変数を変更する)場合に備えて、旧バージョンと新バージョンの間で「前後」をすばやく移動することもできます。私の場合には
sudo
が必要でした。あなたの設定に応じてあなたのために不必要かもしれません。- すべて正常に動作することを確認したら、ダウンロードした
tgz
ファイルを削除することをお勧めします。 - まったく同じ手順でSparkの将来のバージョンにアップグレードすることができます(かなり速くなります)。これを行う場合は、以前の
tgz
ファイルが削除されていることを確認するか、上のようにワイルドカードを使用しないで指定してください。
- 設定し、あなたの
SPARK_HOME
/opt/spark
- Downloadの最新事前に構築されたバイナリすなわち
spark-2.2.1-bin-hadoop2.7.tgz
からln -s /opt/spark-2.2.1 /opt/spark̀
- 最新のダウンロードへのシンボリックリンクを作成しますwget
ln -s /opt/spark-x.x.x /opt/spark̀
- 1. DHTMLXを新しいバージョンにアップグレードする
- 2. 新しいバージョンのJasperServerにアップグレードする
- 3. AWS CLIを最新バージョンにアップグレードするにはどうすればよいですか?
- 4. MacのApacheを最新バージョンにアップグレードするにはどうすればよいですか?
- 5. Web Matrix UmbracoテンプレートをUmbracoの最新バージョンにアップグレードするにはどうすればよいですか?
- 6. 新しいインストールでCPack(NSIS)を正しくアップグレードするにはどうすればいいですか?
- 7. MSXMLドキュメントをバージョン1からバージョン6にアップグレードするにはどうすればよいですか?
- 8. Google App Engine(SDK)の最新バージョンにアップグレード/デプロイするにはどうすればよいですか?
- 9. ブラウザにswfファイルの新しいバージョンを再ダウンロードさせるにはどうすればいいですか?
- 10. 実稼働サーバーのRubyバージョンをアップグレードするにはどうすればいいですか?
- 11. QtのWebViewを新しいWebKitバージョンを使用するようにアップグレードするにはどうすればよいですか?
- 12. ブラックベリーアプリケーションの新しいバージョンをブラックベリーのアプリストアにアップロードするにはどうすればよいですか?
- 13. プロジェクトの新しいバージョンをSVN(eclipse)にアップロードするにはどうすればよいですか?
- 14. Hbaseを新しいバージョンにアップグレード
- 15. データベースのアップグレードを後のバージョンで正常に処理するにはどうすればよいですか?
- 16. オープン/クローズドの原則 - 新しいバージョンを呼び出すにはどうすればいいですか?
- 17. iPhone - 新しいアプリのバージョンをアプリストアとデータベースのアップグレードに同期させるにはどうすればいいですか?
- 18. maven.xmlをpom.xmlにアップグレードするにはどうすればよいですか?
- 19. 新しい色を作るにはどうすればいいですか?
- 20. GlassFishでJSF APIをアップグレードするにはどうすればよいですか?
- 21. WindowsサーバーでApacheをアップグレードするにはどうすればよいですか?
- 22. Windowsでnode.jsをアップグレードするにはどうすればよいですか?
- 23. AndroidマーケットにリリースされないカスタムAndroidアプリケーションをアップグレードするにはどうすればいいですか?
- 24. 「新しい」コントローラーアクションをテストするにはどうすればよいですか?
- 25. 新しいファイルを新しいソリューションにチェックインするにはどうすればよいですか?
- 26. jCarousel(3.0)の新バージョンで「オートスクロール」プラグインを設定するにはどうすればいいですか?
- 27. Googleのダンボールダッシュボードをアップグレードするにはどうすればよいですか?
- 28. Mavenにdependenceのバージョンを毎日更新させるにはどうすればいいですか?
- 29. mutexの所有権を共有からアップグレードにアップグレードするにはどうすればよいですか?
- 30. bcb6アプリを新しいバージョンにアップグレードする
は、しかし、私は右、アップグレードHadoopのローリングのように、現在実行中のジョブを保存することはできませんか? – ribamar