、それは完全にファイルを解凍せずにパイソンを使用したGZ-圧縮されたテキストファイルから行を読みやすいですか?私は200mbのaroudのtext.gzファイルを持っています。私はそれを抽出すると、7.4ギガバイトになります。これは私が読まなければならない唯一のファイルではありません。プロセス全体については、10個のファイルを読み込む必要があります。これは逐次的な仕事になりますが、私は情報全体を超越することなくそれを行うことは賢明なことだと思います。私はそれが可能であることを知らない。どのようにそれはPythonを使用して行うことができますか?テキストファイルを1行ずつ読む必要があります。のpython:圧縮されたテキストファイル
32
から行を読み込む
A
答えて
12
あなたがgzip.GzipFileを使用してみましたか?引数はopen
に似ています。
38
あなたはpythonで標準のgzipモジュールを使用することができます。
gzip.open('myfile.gz')
このファイルを他のファイルとして開き、その行を読み込むだけです。
ここに詳細情報:gzip.GzipFileを使用してPython gzip module
22
:
import gzip
with gzip.open('input.gz','r') as f:
for line in f:
print('got line', line)
注:のpython3のためにあなたがバイナリ読書に'r'
デフォルトとして、'rt'
にオープンするファイルを指定する必要があり、またはそれ以外の場合はline.decode(...)
を使用します。
注:gzip.open(filename, mode)
は、gzip.GzipFile(filename, mode)
の別名です。 私は前者を好みます。これは、非圧縮ファイルを開くために使用されるwith open(...) as f:
に似ています。
関連する問題
- 1. 7zで圧縮されたテキストファイルの読み込み方法は?
- 2. 圧縮されたAPIレスポンス
- 3. 時間圧縮されたオーディオアーカイブの損失圧縮の戦略
- 4. 圧縮された(圧縮された)フォルダが無効ですJava
- 5. Pythonで圧縮されたファイルから1行ずつ読む
- 6. 圧縮されたSpring MVC応答をjqueryで圧縮解除しました
- 7. 無効なエントリ圧縮されたサイズ
- 8. Subversionで圧縮されたxmlファイル
- 9. C - 圧縮解除されたHTTPレスポンス
- 10. HTTPリクエストを圧縮してメモリに圧縮されたバッファをロードせずに圧縮する方法
- 11. 圧縮されたサウンドファイルを非圧縮ファイルに変換する方法
- 12. zipfile - python:圧縮されたフォルダ内のファイルのメタデータを取得する方法
- 13. 圧縮または
- 14. apache圧縮圧縮されていない.jsファイルと.cssファイルを圧縮解除しますか?
- 15. データ圧縮と画像圧縮の差
- 16. メモリ内のPythonオブジェクトを圧縮する
- 17. Python/Numpy圧縮メソッドの問題
- 18. C# - 圧縮された名前の変更操作、またはGZipStreamなしの圧縮
- 19. pythonでHTTPレスポンスで返されたgzip圧縮データをデコードするには?
- 20. Python - 圧縮されたファイルタイプを特定して解凍するメカニズム
- 21. Pythonで圧縮SQLダンプをPostgresqlにインポート
- 22. 圧縮スパース列(CSC)または圧縮スパース行(CSR)スパース行列?
- 23. 圧縮されたカーネルイメージからのuname情報の取得
- 24. ビットマップデータの圧縮
- 25. ウェブページの圧縮
- 26. node.jsの圧縮
- 27. NTFS圧縮を使用して圧縮されたSQLバックアップを7zipにするのは悪いですか?
- 28. ソケットを介して送信されたデータの圧縮
- 29. 暗号化されたSQLiteの圧縮iOS用FTS3データベース
- 30. gzipで圧縮されたHTTP応答の解凍
out of curiosityこれはファイル全体をメモリにロードしますか?それとも、必要に応じて線を読み込むのに十分なスマートなのでしょうか? –
@Sachin_rukこれは、ファイルを開く直前のファイルをロードしません。ファイルから実際にデータを読み込むには、一度に1行ずつ読み込むために '' 'f.readline()' 'を実行する必要があります。または '' f.readlines(N) ''ここで、 '' N''は読みたい行の数です。 – Tom