2016-03-21 11 views
8

寄せ木細工のファイルの内容をコマンドラインから調べるにはどうすればよいですか?コマンドラインから寄木細工を検査する

私が今見る唯一のオプションは

$ hadoop fs -get my-path local-file 
$ parquet-tools head local-file | less 

である私は、parquet-tools版画ことlocal-file

  • を作成
    1. 回避がjsonではなく、型なしのテキストとしてファイルコンテンツを視聴

      したいと思います。

    簡単な方法はありますか?

  • 答えて

    3

    Hadoopディストリビューション用のparquet-tools.jarを構築して実行することをお勧めします。

    チェックアウトgithubのプロジェクト:https://github.com/Parquet/parquet-mr/tree/master/parquet-tools

    hadoop jar ./parquet-tools-<VERSION>.jar <command>

    +1

    homebrewでインストールする:brew install parquet-tools – ronhash

    +0

    私はここにJARをアップロードしました。プロジェクトgithubページにバグのあるビルド手順を記載する必要はありません。http://www102.zippyshare.com/v/EGBKrDuq/f ile.html –

    3

    デフォルトでparquet-toolsは一般にローカルファイルディレクトリを検索するので、hdfsを指すようにするには、ファイルパスの先頭にhdfs://を追加する必要があります。だからあなたの場合には、あなたがこの

    parquet-tools head hdfs://localhost/<hdfs-path> | less 
    

    ような何かを行うことができ、私は同じ問題を持っていたし、それは私のためにうまく働きました。最初にローカルでファイルをダウンロードする必要はありません。

    3

    parquet-toolsのコマンドは、cat--jsonオプションを使用して、ローカルコピーなしでJSON形式で表示することができます。

    {"name":"gil","age":48,"city":"london"} 
    {"name":"jane","age":30,"city":"new york"} 
    {"name":"jordan","age":18,"city":"toronto"} 
    

    免責事項:

    parquet-tools cat --json hdfs://localhost/tmp/save/part-r-00000-6a3ccfae-5eb9-4a88-8ce8-b11b2644d5de.gz.parquet 
    

    これは、JSON形式のデータを出力します。ここでは

    は一例で、これはClouderaのCDHでテストしたことができますMac上で5.12

    関連する問題