に永遠に取って、単一ノードマスタを実行しているロードEMR-5.0.0スパーク・シェルに2分かかったDATAFRAMEを使用して、ツェッペリンに永遠に取って火花シェルに2分かかったデータフレームのロードツェッペリン
0
A
答えて
0
Spark-Shellは以前のエディションのハードウェア(m1-medium)でクエリを実行できましたが、Zeppelinはメモリに最適化されたハードウェア(r3.2xlarge)を必要としました。
+0
この詳細は上記の元の質問のサポート情報の一部である必要があります。 – Kristian
0
はどうやらタスクが作成され、さまざまなコンテキスト間のクエリを実行したときに実行される方法に違いがあります。あなたのコードを貼り付けると、違いを見ることができます。
sparkシェルを実行しているときとspark-submitを実行しているときに、コンテキストの設定方法に若干の違いがあることがわかります。
関連する問題
- 1. githubデスクトップのgitシェルとしてpowerシェルを使用して色を失った
- 2. 私はapacheの火花で2つのデータフレームを持っている別のデータフレームまたはRDD
- 3. spalaを使ってデータフレームを2つ以上のデータフレームに分割する
- 4. 火花シェルコマンド用スパーク・シェルに(elasticsearch-スパークコネクタ付き)クエリファイルを指定するための構文
- 5. 火花シェル最初の起動エラー
- 6. 火花データフレーム:2つのブール条件
- 7. Jupyter Notebookが間違ったシェルを使用しています
- 8. joomla、分かち合っていると分かりました。
- 9. なぜorddict:fetch/2が狂っているのですか? Erlangのシェルで
- 10. vim編集ショートカットを使ったシェル
- 11. スパーク火花提出
- 12. シェルを使ってrc.localに行を追加するには
- 13. MEFを使ってシェルからプリズムモジュールビューをロード
- 14. 負荷csvはどのように別れますか。スカラを使って火花をかける?
- 15. サブプロセスを使ってシェル出力をリダイレクト
- 16. シェル内に2つの大きなテキストファイルの高速差分?
- 17. データフレームを2つのDataFrameに分割する
- 18. awkまたはシェルを使っていくつかのフィールドを変更し、それをラインに戻す
- 19. Pandas DataFrame [cell =(label、value)]、2つの別々のデータフレームに分割
- 20. シェルを使ってphpにパラメータを渡す
- 21. シェルを使ってファイルにfloat変数を書き込む
- 22. JMeterでBeanシェルを使ってWebページを読むには?
- 23. メモリコピーモジュールのサイズが永遠に残っていないのですか?
- 24. 2分2秒から3分3秒に数えて
- 25. 誤ってGitシェルのショートカットを削除しました
- 26. 私はデータベースから2つの列をvb.netを使ってコンボボックスにバインドしたいと思っています
- 27. 2つに分割してリストを並べ替えるすっきりした方法はありますか?
- 28. セレン2を使って古くなった要素をチェックしますか?
- 29. Paramikoを使ってPythonでsshを使って対話型シェルを実装しますか?
- 30. シェルからProcessing-3.2.2を使用して
アプリケーションコードのスニペットを貼り付けてください。 – Kristian