boto3でdynamoDbを完全にスキャン

Question

私のテーブルは250kレコードで約220MBです。私はこのデータをすべてPythonに変換しようとしています。私は、これがチャンクされたバッチプロセスである必要があることを理解していますが、バッチをどのように設定して、前のバッチ処理を中止するかはわかりません。

スキャンをフィルタリングする方法はありますか？私が読み込んだものから、読み込み後にフィルタリングが発生し、読み込みが1MBで終了するので、実際には新しいオブジェクトをスキャンすることはできません。

ご協力いただければ幸いです。

import boto3 
dynamodb = boto3.resource('dynamodb', 
    aws_session_token = aws_session_token, 
    aws_access_key_id = aws_access_key_id, 
    aws_secret_access_key = aws_secret_access_key, 
    region_name = region 
    ) 

table = dynamodb.Table('widgetsTableName') 

data = table.scan() 

Answer 1

Boto3が返された応答の一部として "LastEvaluatedKey"を取得することが分かります。これは、スキャンの開始点として使用することができます。

data= table.scan(
    ExclusiveStartKey=data['LastEvaluatedKey'] 
) 

返されたデータのみをExclusiveStartKey

Answer 2

boto3はあなたのためのすべての改ページの詳細を処理paginatorsを提供していますまで、私はこの問題を回避ループを構築することを計画します。 Hereはスキャンページングのドキュメントページです。基本的には、次のように使用します：

import boto3 

client = boto3.client('dynamodb') 
paginator = client.get_paginator('scan') 

for page in paginator.paginate(): 
    # do something 

Answer 3

@kungphuのようにdynamodbのフォーマットタイプを削除するコード。

import boto3 

from boto3.dynamodb.types import TypeDeserializer 
from boto3.dynamodb.transform import TransformationInjector 

client = boto3.client('dynamodb') 
paginator = client.get_paginator('query') 
service_model = client._service_model.operation_model('Query') 
trans = TransformationInjector(deserializer = TypeDeserializer()) 
for page in paginator.paginate(): 
    trans.inject_attribute_value_output(page, service_model) 

Answer 4

テーブルスキャンに関するAmazon DynamoDB documentationはあなたの質問に答えます。

要するに、回答でLastEvaluatedKeyを確認する必要があります。ここにあなたのコードを使用した例です。

ジョーダンフィリップスの答えのオフリフ

import boto3 
dynamodb = boto3.resource('dynamodb', 
          aws_session_token=aws_session_token, 
          aws_access_key_id=aws_access_key_id, 
          aws_secret_access_key=aws_secret_access_key, 
          region_name=region 
) 

table = dynamodb.Table('widgetsTableName') 

response = table.scan() 
data = response['Items'] 

while 'LastEvaluatedKey' in response: 
    response = table.scan(ExclusiveStartKey=response['LastEvaluatedKey']) 
    data.extend(response['Items']) 

Answer 5

、ここにあなたがページネーションとでFilterExpressionを渡すと思います方法は次のとおりです。

import boto3 

client = boto3.client('dynamodb') 
paginator = client.get_paginator('scan') 
operation_parameters = { 
    'TableName': 'foo', 
    'FilterExpression': 'bar > :x AND bar < :y', 
    'ExpressionAttributeValues': { 
    ':x': {'S': '2017-01-31T01:35'}, 
    ':y': {'S': '2017-01-31T02:08'}, 
    } 
} 

page_iterator = paginator.paginate(**operation_parameters) 
for page in page_iterator: 
    # do something