保存後にスタンドアロンクラスタ読み込み寄木細工ファイル

Question

私は2ノードスパークスタンドアロンクラスタを使用していますが、保存したばかりの寄木張りファイルを読み込もうとしていますが、ファイルが見つかりません。

場所を確認すると、私のスタンドアロンクラスタ内のいずれかのノードで作成された寄木細工のファイルがすべて見えるようになります。

今、問題は、寄木細工のファイルを読んで、xasdad.partファイルが見つからないということです。

私がロードすることができる唯一の方法は、スタンドアロンスパーククラスタを1つのノードにスケールダウンすることです。

私のスタンドアロンクラスタで複数のノードを実行している間に私の寄せ木団ファイルをロードするにはどうすればよいですか？

Answer 1

あなたは同じパスを持つすべてのスパークノードにアクセス可能なシャードディレクトリにファイルを置く必要があります。それ以外の場合は、分散ファイルシステムであるHadoop HDFSでsparkを使用します。