Python：圧縮されていないファイル（.gz）を読み書きせずに読み込みます。

Question

大量の圧縮HDFファイルがあります。

file1.HDF.gz 
file2.HDF.gz 
file3.HDF.gz 
... 

私は、次のような方法

from pyhdf.SD import SD, SDC 
import os 

os.system('gunzip <file1.HDF.gz> file1.HDF') 
HDF = SD('file1.HDF') 

で圧縮されていないHDFファイルを読み込むと、ファイルごとにこれを繰り返すことができます。しかし、これは私が望むよりも時間がかかります。

私は、ほとんどの時間オーバーハングが圧縮されたファイルを新しい非圧縮バージョンに書き込むことから来ていると考えています。そして、ファイルの非圧縮バージョンをSDは1ステップで機能します。

私はこの考え方で正しいですか？もしそうなら、私がしたいことをする方法がありますか？

Answer 1

pyhdf package documentationによると、これは不可能です。

__init__(self, path, mode=1) 
    SD constructor. Initialize an SD interface on an HDF file, 
    creating the file if necessary. 

ファイルのようなオブジェクトをとるSDオブジェクトをインスタンス化する方法は他にありません。これは、外部インターフェイス（NCSA HDF）に準拠している可能性が高いためです。また、HDF形式では、大量のファイルを処理して、一度にメモリに格納することは実用的ではありません。

ファイルとして解凍するのが最も効果的です。

あなたはgzipのモジュール(docs)を使用し、Pythonで滞在を希望の場合：

import gzip 
import shutil 
with gzip.open('file1.HDF.gz', 'wb') as f_in, open('file1.HDF', 'rb') as f_out: 
    shutil.copyfileobj(f_in, f_out) 

Answer 2

サシャは、透明な圧縮をHDF正しいですあなたはHDFファイルが保存されている方法を制御することはできませんそれにもかかわらず場合は、それは、これらのファイルからデータを取得することができgzipのpython modulue (docs)を探している、gzippingよりも適切です。