Googleアナリティクスデータ（Azure）

Question

誰かがGoogleアナリティクスデータをAzureに移行したことがありますか？私はそれを行う方法をいくつか見てきましたが、自分が何を得ているのか分かりません。 Googleアナリティクスのデータはかなり大きくなりつつあり、Googleストレージに保存してAzureからアクセスしたり、HDInsightやData Lakeのような場所に移動するのに最適かどうかは疑問です。私はいくつかの異なるデータストア、SQL Azure、Blob、およびテーブルストレージにまたがってデータを結合する必要があります。また、データアクセスを統一するためのソリューションとしてApache DrillとPrestoも検討していました。誰かがこの同じ問題に対処していて、共有する経験があるかどうかを調べるだけです。ありがとう！

Answer 1

はじめ

私はドリルでこれを行うの実現可能性についてはコメントすることができますので、私はプレストと経験を持っていません。また、Azureサービスを使用していないので、私のアドバイスは理論的です。ストレージプラグイン

ドリルを使用すると、異なるソースからのデータにしたい任意のSQLクエリを実行できるようになります

ドリルは、各データソースは、ストレージ・プラグインを持っていることを条件とします。ストレージプラグインは、Drillのコードの一部で、データソースとのインターフェイスをとることができます。 3つのデータソースでクエリを実行することに関心があるので、これらの3つのデータソースのそれぞれにStorageプラグインがあるかどうかを判断する必要があります。

SQL Azureの

私は、SQL Azureのは、Java用のJDBCドライバを持っていると仮定します。その場合は、these instructionsに従ってSQL Azureを使用するようにドリルを構成できます。

Azureブロブ

Azureブロブストレージは、ドリルは、ファイルシステムからデータを読み出すために使用するHadoopのファイルシステムAPIの実装を有しています。したがって、理論的にはhadoop-azure jarとその依存関係https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-azure/2.7.0をドリルのクラスパスに追加し、ドリルのDFSストレージプラグインを使用するように構成することができます。

さらに、Azure Blobのデータは、json、parquet、csv、またはhadoopシーケンスファイルのようなサポートされているファイル形式で保存する必要があります。

アズールテーブル

これはMicrosoftのカスタムNoSQLデータベースのようです。現在ドリルはそれをサポートしていません。

あなたはAzureのSQLとBLOBの両方でデータを照会するためにドリルを使用することができ、作業のビットと結論

はなく、Azureテーブル。