正規表現を使用してCSVファイルから最後の行を含む「文字列」を削除する

Question

私はPythonを初めて使用しています。私は何千ものCSVファイルを持っています。そこには、数値データが記録された後に来るテキストのグループがあり、テキストで始まるすべての行を削除したいと思います。たとえば、

col 1 col 2 col 3 
-------------------- 
10  20  30 
-------------------- 
45  34  56 
-------------------- 
Start 8837sec 9items 
-------------------- 
Total 6342sec 755items 

すべてのcsvファイルのテキストは、「開始」列1で始まるのが良いことです。私は後で "スタート"と言う行を含め、すべての行を削除することをお勧めします。

import csv, os, re, sys 


fileList = [] 

pattern = [r"\b(Start).*", r"\b(Total).*"] 

for file in files: 
    fullname = os.path.join(cwd, file) 

    if not os.path.isdir(fullname) and not os.path.islink(fullname): 
     fileList.append(fullname) 


for file in fileList: 
    try: 
     ifile = open(file, "r") 
    except IOError: 
     sys.stderr.write("File %s not found! Please check the filename." %(file)) 
     sys.exit() 
    else: 
     with ifile: 
      reader = csv.reader(ifile) 
      writer = csv.writer(ifile) 
      rowList = []  
      for row in reader: 
       rowList.append((", ".join(row))) 

     for pattern in word_pattern: 
      if not (re.match(pattern, rowList) 
       writer.writerow(elem) 

このスクリプトを実行した後、それは私に空白のcsvファイルを与える：ここで

は、私がこれまで持っているものです。どのようなアイデアを変更するか？

Answer 1

これにはCSVリーダーは必要ありません。単にオフセットを見つけてファイルを切り詰めることができます。ファイルをバイナリモードで開き、複数行の正規表現を使用してテキスト内のパターンを見つけ、そのインデックスを使用します。

import os 
import re 

# multiline, ascii only regex matches Start or Total at start of line 
start_tag_finder = re.compile(rb'(?am)\nStart|\nTotal').search 

for filename in files: # TODO: I'm not sure where "files" comes from... 
    # NOTE: no need to join cwd, relative paths do that automatically 
    if not os.path.isdir(filename) and not os.path.islink(filename): 
     with open(filename, 'rb+') as f: 
      # NOTE: you can cap file size if you'd like 
      if os.stat(filename).st_size > 1000000: 
       print(filename, "overflowed 10M size limit") 
       continue 
      search = start_tag_finder(f.read()) 
      if search: 
       f.truncate(search.start()) 

Answer 2

私はあなたが一緒にあなたのfileListを取得した後、すべてのためにこれをしようと：

for file in fileList: 
    keepRows = [] 
    open(file, 'r') as oFile: 
    for row in oFile: 
     if row[0] != "Start": 
      keepRows += row 
     else: 
      oFile.close() 
    with open(file, 'wb+') as nFile: 
    writer = csv.writer(nFile, delimiter=',') 
    writer.writerow([keepRows]) 

これは、元のファイルを開き、あなたが望んでいる行を取得し、それを閉じ、w+でそれを開きます。これにより、ファイル名が保持されたまま上書きされますが、切り捨てによってファイルが消去され、クリアされたファイルの各行に保存したい各行が書き込まれます。

また、あなたは各CSV行うための新しいファイルを作成することができます。これはappendあるので、

for file in fileList: 
    keepRows = [] 
    with open(file, 'r') as oFile, open('new_file.csv', 'a') as nFile: 
    for row in oFile: 
     if row[0] != "Start": 
      keepRows += row 
     else: 
      oFile.close() 
    for row in keepRows: 
     nFile.write(row) 

をaとのオープニングは、次の行のたびにカーソルを置きます。 .writerowメソッドの前にユーザーが反復可能である理由は、objectの場合、はkeepRowsで、appendの場合はiterablesが不要でグループ内の各項目を独自の列に書き込んで次の行と同じことを行う。

EDIT：binary file modeと.writer()ための更新構文。