進行状況を表示するCSVの長さを取得

Question

大量の行を含む多数のCSVファイルを処理しています。私の目標は、データを1行ずつ取り出し、Pythonを使用してデータベースに書き込むことです。しかし、大量のデータがあるので、どのくらいのデータが書き込まれたかを追跡したいと思います。このために、私はファイルの量を数え、ファイルが完成するたびにファイルを追加し続けます。

私はCSVファイルと同様のことを行い、私の行と合計行数を表示したいとします（たとえば、Currently on row 1 of X）。私は容易に彼が現在の行を1つから始めることによって得ることができます：currentRow += 1しかし、私は行を読むの時間がかかるプロセスに行くことで合計を得る方法が不明です。さらに

私のCSVファイルは、すべて私は現在このようにZIPファイルのモジュールを使用してそれらを読んでいるzipアーカイブに格納されているため：

#The Zip archive and the csv files share the same name 
with zipArchive.open(fileName[:-4] + '.csv', 'r') as csvFile: 
    lines = (line.decode('ascii') for line in csvFile) 
    currentRow = 1 

    for row in csv.reader(lines): 
     print(row) 
     currentRow += 1 

私はすぐにCSVファイルの総行数を取得する方法上の任意のアイデアを？

Answer 1

進捗状況を表示したい場合は、tqdmを試してみてください。

from tqdm import tqdm 

with zipArchive.open(fileName[:-4] + '.csv', 'r') as csvFile: 
    lines = [line.decode('ascii') for line in csvFile] 
    currentRow = 1 

    for row in tqdm(csv.reader(lines), total=len(lines)): 
     print(row) 
     currentRow += 1 

これにより、実質的に手間をかけずに洗練されたプログレスバーが得られるはずです。

Answer 2

ファイル内の行を数えたり、行を数えたりすることはできません。

ファイルが非常に大きく、row_count = sum(1 for row in file_handle)の行数をカウントするのが実用的でなく、ファイル全体をメモリに読み込むのが非スターターである場合は、別の方法が必要な場合があります。

ファイルの長さをバイト単位で取得するのは簡単です（How to check file size in python?）。次に、各行の長さ（バイト単位）を読み取ると、「4927397の現在のバイト13927（2.8％）」と報告することができます。Zipfile.getinfo(name).file_sizeは、zipに格納されているファイルの場合、圧縮されていないファイル。