amazon-athena

3熱

1答えて

私は時間ごとに実行されるスパークバッチジョブを持っています。各実行は、S3に新しいデータを生成して格納し、ディレクトリの名前付けパターンはDATA/YEAR=?/MONTH=?/DATE=?/datafileです。 S3にデータをアップロードした後、Athenaを使用して調査します。さらに、データソースとしてAthenaに接続することで、それらをQuickSightに視覚化したいと思います。問題

0熱

1答えて

API経由でAthenaクエリからJSONを返します

私はstartQueryExecution（）でAthena APIを使用してS3の応答のCSVファイルを作成できます。しかし、JSONレスポンスを自分のアプリケーションに戻したいので、データをさらに処理することができます。私はAPIを介してstartQueryExecution（）を実行した後にJSON結果を返そうとしていますが、JSONレスポンスの結果をどのように取得できますか？私はAWS

0熱

3答えて

スパークアテナコネクタ

私はスパークでアテナを使用する必要がなく、JDBCドライバを使用した場合、スパークはPreparedStatementを使用していますし、それは私に例外を与える「com.amazonaws.athena.jdbc.NotImplementedException：メソッドのConnection.prepareStatementはまだ実装されていません」をあなたは私に火花のアテナを接続する方法を

1熱

2答えて

は、私がダウンプレフィックスと番号に来る構造を持つ名前で保存されたファイルの数千人と数千人を持っている：与えられたプレフィックスの A-0001 A-0002 A-0003 B-0001 B-0002 C-0001 C-0002 C-0003 C-0004 C-0005 新しいオブジェクトが変化する周波数で来るかもしれませんが、必要がありますない。古いオブジェクトは消えるかも

1熱

1答えて

AWSアテナが外部S3バケットにアクセスする役割を担うようにしました

自分のアカウントにアトーナテーブルを設定して、自分のアカウントのデータをクエリするはずです。私の友人はS3データへのアクセス権を持っていると想定できるIAMの役割を作成しました。 My AthenaはS3バケットにアクセスする権限がないと不平を言ってクエリを実行します。 AthenaがS3バケットに到達できるように役割を引き受ける方法はありますか？

1熱

1答えて

Boto3 Athenaがすべてのテーブルを表示していない

BOTO3 pythonを使用してAthenaテーブルのテーブル名のリストを取得しようとしています。これは私のコードです。私はpaginatorをする試みが正しいとは思わない。任意のヘルプが評価されます import boto3 client = boto3.client('glue') responseGetDatabases = client.get_databases() data

1熱

1答えて

Amazon Athenaで日付DDLを設定する方法

AmazonのAthenaでこのDDLを使用してテーブルを作成しようとしましたが、クエリの後にすべての日付値（transactiondateフィールド）がNULLであることがわかりました。ソースデータ形式は、単にmm/dd/yyyy、つまり08/01/2017です。アイデア？外部表wf2 CREATE（ transactiondate日付、 amount小数（10,0）、 descriptio

0熱

1答えて

AWS Athenaアクセスfrom Javascript sdk

不正なCognito IAMロールを使用してJavascript SDKからAthenaに接続しようとしていますが、AccessDenied Exceptionが発生しています。同じ設定で私はS3とdynamodbにアクセスすることができます。私は、未認証アクセスのためのプールの役割として、S3とAthenaの特権を提供しました。 Error: User: arn:aws:sts::11xxxx

0熱

2答えて

AWS Athenaの行を列にピボットするにはどうすればよいですか？

AWS Athenaの新機能で、行の一部をピボット列にピボットしようとしました。これは、このStackOverflow postの先頭の回答と似ています。しかし、私が試したとき：mismatched input '(' expecting {',', ')'} (service: amazonathena; status code: 400; error code: invalidrequest

1熱

1答えて

なぜQuickSightのためのAthena、QuickSightの直接クエリの場合S3

私は何かが不足しているかもしれませんが、私はクイックビューと直接S3上のクイックビューとアテナを接続する場合、私はどのようなメリットを理解することができません。これを理解するのを手伝ってください。