火花がここでそのようなファイルやディレクトリ

Question

が私のコードではありません：

s3.textFile("s3n://data/hadoop/data_log/req/20160618/*") 
.map(doMap) 
.saveAsTextFile() 

スパーク1.4.1、スタンドアロンクラスタ

時々（常に、これは重要ではありません）それは、このエラーがスローされます。

[2016-09-13 03:22:51,545: ERROR/Worker-1] err: java.io.FileNotFoundException: 
No such file or directory 
's3n://data/hadoop/data_log/req/20160618/hadoop.req.2016061811.log.0.gz' 

しかし、私が使用し

aws s3 ls s3://data/hadoop/data_log/req/20160618/hadoop.req.2016061811.log.0.gz 

ファイルが存在します。

この問題を回避するにはどうすればよいですか？

Answer 1

問題はs3整合性にあります。 ファイルがリストされていても、存在しません。 aws s3 cpファイルを試してください。同じ例外が発生します。

"書き込み後の一貫性は、新しいオブジェクトのGETSに対してのみ有効です。変更が完全に伝播されるまで、LISTSには新しいオブジェクトが含まれていない可能性があります。

Is listing Amazon S3 objects a strong consistency operation or eventual consistency operation?