pyspark s3バケット内のフォルダのサブフォルダを一覧表示します。

Question

私はs3バケットを持っています。このバケットには、私のpysparkコードで処理されるデータファイルが格納されています。 私がアクセスしたいフォルダがある：

s3a://bucket_name/data/ 

このフォルダはフォルダが含まれています。私の目的は、このディレクトリの最後に追加されたフォルダの内容にアクセスすることです。 何らかの理由でbotoを使いたくありませんでした。 私はアクセスすると思われるフォルダを選ぶことができるので、フォルダリストにアクセスする方法があります。 フォルダを指定してもファイルにアクセスできますが、動的にしたいのですが。

Answer 1

b3にファイルシステムスタイルのラッパーであるs3fsを使用することをお勧めします。ドキュメントはここにある：http://s3fs.readthedocs.io/en/latest/

は、ここでは、（あなたが渡すか、そうでなければ、あなたのAWSの資格情報を設定する必要があります）を気一部です：

import s3fs 
fs = s3fs.S3FileSystem(anon=True) 
fs.ls('my-bucket')