boto3を使用して特定のファイル名に一致するS3オブジェクトを返します

Question

/photosと呼ばれる接頭辞（または「フォルダ」）を持つAWS S3バケットがあります。それには画像ファイルがたくさん含まれており、さらにファイル数はEVENT.jsonです。素朴な表現は次のようになります。

• 私-素晴らしい-イベントバケット
  • 写真
    • image1.jpg
    • image2.jpg
    • 1_EVENT.json
    • をimage3.jpg
    • 2_EVENT.json
    • ...

EVENT.jsonファイルは、特定のイベントにグループ化画像の画像ファイル、任意の量のパスの参照を含むオブジェクトを有します。上記の例を使用すると、image1.jpgとimage2.jpgは1_EVENT.jsonに表示され、image3.jpgは2_EVENT.jsonに属することがあります。

バケットが大きくなるにつれて、結果をページングすることに興味があります。私は必要なときにS3から一度にページを要求したいだけです。私が取り組んでいる問題は、「EVENT」という単語が含まれているキーで特にページすることです。私は、すべてのオブジェクトを取り戻し、結果をフィルタリングまたは反復することなく、達成することが困難であることを発見しています。

S3 Paginatorを使用して、私はページングを行うことができます。私PageSizeとMaxItems 6に設定されていると仮定すると、これは私が私の最初のページに戻って得るかもしれないものである：

/photos/ 
/photos/image1.jpg 
/photos/image2.jpg 
/photos/1_EVENT.json 
/photos/image3.jpg 
/photos/2_EVENT.json 

S3のフラット構造は、それが接頭辞に応じてバケット内のすべてのオブジェクトのページング、および制限だということを意味し、ページ区切りパラメータに従ってページングします。つまり、ページに応じて複数のEVENT.jsonファイルを簡単に取得することも、まったく取得しないこともできます。

だから私はこの線に沿ってより多くの何かを探しています：は、最初にすべてのオブジェクトを要求し、何らかの方法で設定された結果をスライスすることなく、

/photos/1_EVENT.json 
/photos/2_EVENT.json 
/photos/3_EVENT.json 
/photos/4_EVENT.json 
/photos/5_EVENT.json 
/photos/6_EVENT.json 

。これは私が現在やっている正確に何である：上記

client = boto3.client('s3') 
paginator = client.get_paginator('list_objects_v2') 
page_iterator = paginator.paginate(
    Bucket=app.config.get('S3_BUCKET'), 
    Prefix="photos/") # Left PaginationConfig MaxItems & PageSize off intentionally 
filtered_iterator = page_iterator.search(
    "Contents[?contains(Key, `EVENT`)][]") 
for page in filtered_iterator: 
    # Do stuff. 
    pass 

なしページングで、本当に高価ですが、それは私に私の「EVENT」検索文字列を含むすべてのファイルのリストを与えるん。

具体的には、ののEVENT.jsonオブジェクトには、リクエストごとにすべてのオブジェクトを戻してフィルタするオーバーヘッドなしにboto3を使用してS3からオブジェクトを処理します。それは可能ですか？

EDIT：プレフィックスがphotos/のオブジェクトだけにリクエストを絞り込んでいます。これは、EVENTファイルを含む可能性のある他の「フォルダ」がバケットにあるためです。そうすれば、私はEVENTまたはEVENTを使用できなくなります。他のフォルダからのファイルによって応答が汚染される可能性があるため、jsonをプレフィックスとして使用します。

Answer 1

最も簡単な方法は、EVENTファイルがの代わりにphotos/*_EVENT.jsonのパターンに従うようにファイル名構造を再ハッシュすることです。次に、共通接頭辞photos/EVENTを使用できます。

私は、あなたが使用している高価な方法は実際にはそれを実行する唯一の方法だと思います。

Answer 2

botoの検索機能の1つにスクロールできるプレフィックスオプションがあります。これにより、スキャンするファイルの量が大幅に削減されます。しかし、文字列の途中でワイルドカードを使用して文字列を検索する必要がある場合は、バケット内のすべてのオブジェクトをスキャンしなければならないことがわかっていましたが、それらのオブジェクトをワイルドカードで検索する必要があります。

例：

bucket.search_function(prefix="string") 

でも、私は私の頭の上からのboto機能を呼び出すことはできません。