data-lake

2熱

2答えて

データ湖の店やサブディレクトリ内のディレクトリにあるすべてのファイルをリストする方法を知っていますか？それは、通常の環境でがそうであるように、明らか-recursive命令は動作しません私は $Quarentine = "C:\PSTest\QUARENTINE" $validate = "C:\PSTest\Files" get-childitem $validate -rec -af

-4熱

2答えて

データウェアハウス/データベース/データ湖のための馬

こんにちは天才（私は、Minkus 'と言ってまあ）少しの背景。私は現在、データウェアハウスを持っていない、小規模で非技術的な会社で働いています。すべてのデータは、複数のソースから手作業で取り出されます（FacebookやTwitterなどの異なるプラットフォーム、クライアント側のデータをExcelとしましょう）、サーバー上のすべてのExcelスプレッドシートに保存されます。私はこのデータを統

1熱

1答えて

AWS Data Lake DynamoとElasticSearch

AWSデータレイクの取り組み（メタデータ/カタログ）をサポートするためにDynamo/ElasticSearchをどのように使用すべきかを理解するのは本当に苦労しています。 Dynamoのソース用のzipアーカイブの個々のS3ロケーションと、ESで検索する追加のメタデータ/属性を記録するように見えます。それが正しければ、どうやってそれをサポートするのでしょうか？私は2つのペアを適切にペアにする方法

0熱

1答えて

すべてのファイルとディレクトリを取得する方法単一APIリクエストでAzure DataLakeのRest APIを使用するパス

以下の構造でファイルを作成する必要があります。私は再帰的メソッド呼び出しを使用します。だから私の申請プロセスは非常に遅かったです。すべてのフォルダが1つのapiリクエストを送信するため、同じ1つのファイルが1つのapiリクエストを取得するためです。私のデータエクスプローラの例では、3つのフォルダと4つのファイルがあります。私は7つのAPIリクエストを送信します。私はAPIが必要です。単一A

7熱

3答えて

Hadoop Vs Data Lake

新しい用語を聞いたデータ湖。私はグーグルでそれを得たデータレイクは、大規模なストレージリポジトリと処理エンジンです。データレイクとは、あらゆる種類のデータ、膨大な処理能力、事実上無限の並行タスクやジョブを処理する能力のために大量のストレージを提供します。データレイクという用語は、しばしばHadoop指向のオブジェクトストレージに関連付けられます。このようなシナリオでは、まず組織のデータがHado