2016-11-04 8 views
1

私はSparkまたはDockerで作業したことはありませんでしたが、プロジェクトに使用する必要があります。 これがどのように機能するのか理解しようとしています。だから私はEclipseで太った瓶を作り、それを私のドッカーコンテナに提出したいと思っていました。これは私がこのガイドを使ってセットアップしたものです。https://github.com/sequenceiq/docker-sparksequenceiq docker-sparkコンテナへのjarの送信

今、私のローカルシステムから私のドッカーのコンテナとそれを実行します。

私はこのすべてが本当にどのように一緒に働くのか分からないと思うが、誰かがそれをクリアできるかもしれない。

私は非常に感謝しています!

答えて

2

私は2つのposibilitiesがある知っているように:

1、sequenceiqイメージを拡張し、独自のドッキングウィンドウの画像を作成する*

が、私は最善の方法は、sequenceiqスパークドッキングウィンドウの画像とCOPYを「拡張」することだと思います画像の構築フェーズであなたのスパークアプリケーション。

ので、あなたのDockerfileのようなものに見えるはずです。

FROM sequenceiq/spark:1.6.0 
COPY sparkapplication.jar sparkapplication.jar 
COPY bootstrap.sh /etc/bootstrap.sh 
ENTRYPOINT ["/etc/bootstrap.sh"] 

を、あなたが​​コマンドで/編集bootstrap.sh(エントリポイント)を作成する必要があります。

あなたはTheir bootstrap.shを使用することができ、ここであなたのスパーク提出を追加しますコマンド(このファイルの最後にはどこか)のようなもの:

$SPAKR_HOME/bin/spark-submit \ 
    --class MainClass \ 
    --master local[*] \ 
    /sparkapplication.jar 

はちょうどあなたのsparkapplication.jarを置きます同じフォルダ内にあるDockerfileの隣にはbootstrap.shと表示されません。手動

2、第二のオプションは、それらドッカー容器を使用することで、コンテナにアプリケーションをコピー容器

を実行するスパークアプリケーションをコピー:

docker cp sparkapplication.jar container:/sparkapplication.jar

次いでexec(アタッチ)容器に(docker exec -it container bash)、手動で​​を実行してください。

関連する問題