hdfs（Azure blob storage）上のファイルのファイルエンコーディングを調べる方法は？

Question

私は混在したファイルエンコーディング（残念なことにAzureブロブストレージで）を持つhdfs上に100GBのファイルをたくさん持っています。どのようにして各ファイルのファイルエンコーディングを決定できますか？いくつかのdfsコマンドラインコマンドが理想的です。ありがとう。

Answer 1

ブロブストレージ内の各ファイルの先頭をローカルバッファに配管し、file unixユーティリティを適用することで、必要な結果が得られました。ここでは、コマンドは、個々のファイルに対して次のようになります。

hdfs dfs -cat wasb://container@account.blob.core.windows.net/path/to/file | head -n 10 > buffer; file -i buffer 

これはあなたのような何かを取得：

buffer: text/plain; charset=us-ascii 

Answer 2

あなたはhttps://azure.microsoft.com/en-us/documentation/articles/xplat-cli-install/

コマンドazure storage blob listを試すことができますし、azure storage blob showはcontentTypeの、ん。ContentLength、メタデータを含むすべての利用可能なブロブのプロパティを返します。

この情報にファイルエンコーディングが含まれていない場合、私はファイルごとにのように独自のmetadataを定義/設定する必要があると思います。その後、CLIツールを使用してそれを取得することができます。