hadoopクラスタ環境で.gzファイルを抽出するには、ファイルをローカルにコピーせずにjavaコードを使用します(コードを使ってhadoopで直接抽出する)?hadoopクラスタ環境で.gzファイルを抽出するには?
0
A
答えて
0
"gunzip -k file.gz"は、.gzファイルを解凍するのに通常使用されます。元の.gzファイルも同じですが、探していたものですか?
+0
いいえ.... Javaでコードを抽出するには....コードでこれを行う必要があります....端末経由ではありません... –
0
は、あなたがこのように行うことができ、あなたの.gzファイルが1つのファイルを持って考えてみましょう:
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
Path inFile = new Path(argv[0]);
Path outFile = new Path(argv[1]);
FSDataInputStream in = fs.open(inFile);
org.apache.hadoop.io.compress.GzipCodec.GzipInputStream gis = new org.apache.hadoop.io.compress.GzipCodec.GzipInputStream(in);
FSDataOutputStream out = fs.create(outFile);
doCopy(gis, out);
public static void doCopy(FSDataInputStream is, FSDataOutputStream os) throws Exception {
int oneByte;
while ((oneByte = is.read()) != -1) {
os.write(oneByte);
}
os.close();
is.close();
}
0
あなたが必要な時はいつでも同じスクリプトをシェルスクリプトを作成して実行することができ、これを行うための他の方法。あなたのコードに端末コマンドを実装しようとすると、
あなたは、端末からそれを実行したい場合は、このコマンド
のgzip [-acdfhlLnNrtvV19] [-S接尾辞] [名前...] はgunzip [-acfhlLnNrtvV] [-S接尾辞] [名前を実行することができます...]
関連する問題
- 1. Hadoop環境でクラスタ名を見つける方法は?
- 2. クラスタ環境のシングルトン
- 3. クラスタ環境のsubclipse
- 4. クラスタ環境のスプリングスケジューラ
- 5. クラスタ環境でのHibernate ORM
- 6. HadoopのQA環境は何ですか?
- 7. "keypattern *" Redisの環境ではRedisのクラスタ
- 8. WSO2 ESB - クラスタ環境タスクスケジューリング
- 9. クラスタ環境のJavaバッチジョブ
- 10. DockerでHadoopを実行する(DEV環境とPROD環境の両方)
- 11. インストール時に環境変数msi(wxs)を抽出する
- 12. クラスタ環境での接続プール
- 13. クラスタ環境でユニークなTimeUUIDとCassandra
- 14. null参照インタフェースASP.Netクラスタ環境で
- 15. ローカルからhadoop環境へのhadoopサンプルjarのコピー方法は?
- 16. は、私はJavaベースのクラスタ環境でスケジュールされたジョブを管理するためにクォーツスケジューラを使用しているクラスタ環境
- 17. クラスタ化された環境のスケジューラ
- 18. Java EEクラスタ環境(Websphere)のアプリケーションスコープ変数?
- 19. Hadoop環境で複数のAWSキーを操作する
- 20. クラスタ環境でスプリングキャッシュを管理する方法
- 21. hadoop mapreduceジョブの入力用gzファイルについて
- 22. .gzファイルを複数の1GB圧縮ファイル(.gz)に分割する
- 23. クラスタ環境でゼロデイタイムデプロイメントを行うにはどうすればよいですか?
- 24. クラスタ環境でJMX経由でJMSQueueにアクセス
- 25. seaborn clustermapからクラスタを抽出する
- 26. WebSphereクラスタ環境でアクションメソッドが複数回呼び出されます
- 27. UbuntuマシンでCoreOSクラスタ環境を作成することは可能ですか?
- 28. Unix環境で失効したpidファイルを検出する
- 29. Hbase Hadoopクラスタ.. java.io.IOException:java.lang.NoSuchMethodExceptio
- 30. hadoopクラスタのトポロジ?
は、MapReduceのジョブへの入力として、このですか? –
@BinaryNerd No. –