テキストファイルの最後の行を効率的に見つける

Question

特定のデータを取得するために、非常に大きな（数百メガバイトの）テキストファイルから最後の行を抽出する必要があります。現在、ファイルが空になるまで、すべての行を循環させるためにPythonを使用しています。最後に返された行を処理しますが、これを行うためのより効率的な方法があると確信しています。

pythonを使用してテキストファイルの最後の行だけを取得する最も良い方法は何ですか？

Answer 1

lines = file.readlines() 
fileHandle.close() 
last_line = lines[-1] 

Answer 2

すべての行をループする必要はありません。ファイルをリストに読み込んで最後の行にインデックスを付けるだけですか？

私は、この例が見つかりました：

http://www.daniweb.com/software-development/python/threads/121557

Answer 3

ないまっすぐ進む道、おそらくはるかに高速、簡単なPython実装より：

line = subprocess.check_output(['tail', '-1', filename]) 

Answer 4

は負のオフセットを使用してファイルのseekメソッドを使用しますファイルの最後からブロックを読み取るにはwhence=os.SEEK_ENDを使用します。最後の行末の文字をブロックで検索し、その後のすべての文字を取得します。行末がない場合は、さらに遠くまでバックアップし、プロセスを繰り返します。これは、標準入力またはソケットのような、seekをサポートしていないものに動作しないこと

は

def last_line(in_file, block_size=1024, ignore_ending_newline=False): 
    suffix = "" 
    in_file.seek(0, os.SEEK_END) 
    in_file_length = in_file.tell() 
    seek_offset = 0 

    while(-seek_offset < in_file_length): 
     # Read from end. 
     seek_offset -= block_size 
     if -seek_offset > in_file_length: 
      # Limit if we ran out of file (can't seek backward from start). 
      block_size -= -seek_offset - in_file_length 
      if block_size == 0: 
       break 
      seek_offset = -in_file_length 
     in_file.seek(seek_offset, os.SEEK_END) 
     buf = in_file.read(block_size) 

     # Search for line end. 
     if ignore_ending_newline and seek_offset == -block_size and buf[-1] == '\n': 
      buf = buf[:-1] 
     pos = buf.rfind('\n') 
     if pos != -1: 
      # Found line end. 
      return buf[pos+1:] + suffix 

     suffix = buf + suffix 

    # One-line file. 
    return suffix 

注意。そのような場合は、（tailコマンドのように）全部読んだままになってしまいます。

Answer 5

あなたがラインの最大の長さを知っている場合、あなたは

def getLastLine(fname, maxLineLength=80): 
    fp=file(fname, "rb") 
    fp.seek(-maxLineLength-1, 2) # 2 means "from the end of the file" 
    return fp.readlines()[-1] 

を行うことができます。これは、私のWindowsマシン上で動作します。しかし、バイナリモードでテキストファイルを開くと、他のプラットフォームで何が起きるのか分かりません。 seek（）を使用する場合はバイナリモードが必要です。

Answer 6

ファイルの最後から100バイトほどを探してください。改行を読み込んで検索します。ここに改行がない場合は、100バイトくらいをもう一度検索してください。泡立ち、すすぎ、繰り返します。最終的に改行が見つかります。最後の行は改行の直後に始まります。

ベストケースのシナリオでは、100バイトの読み取りを1回しか行いません。

Answer 7

最大の行の長さを選ぶことができれば、読み込みを開始する前に、ファイルの最後まで検索することができます。

myfile.seek(-max_line_length, os.SEEK_END) 
line = myfile.readlines()[-1] 

Answer 8

あなたはその後、mmapにファイルをロードmmap.rfind使用することができます（文字列[、開始[エンド]]）ファイルの2番目の最後のEOL文字を見つけるには？ファイル内のその点を探すことは、私が思う最後の行を指摘するはずです。

Answer 9

ここでの非効率性は、実際にはPythonによるものではなく、ファイルの読み込みの性質によるものです。最後の行を見つける唯一の方法は、ファイルを読み込み、行末を見つけることです。ただし、シーク操作を使用してファイル内の任意のバイトオフセットにスキップすることができます。最後の行の終わりが検出されるまでは、そのため、ファイルの終わりに非常に近く開始し、必要に応じてますます大きなチャンクをつかむことができます。

from os import SEEK_END 

def get_last_line(file): 
    CHUNK_SIZE = 1024 # Would be good to make this the chunk size of the filesystem 

    last_line = "" 

    while True: 
    # We grab chunks from the end of the file towards the beginning until we 
    # get a new line 
    file.seek(-len(last_line) - CHUNK_SIZE, SEEK_END) 
    chunk = file.read(CHUNK_SIZE) 

    if not chunk: 
     # The whole file is one big line 
     return last_line 

    if not last_line and chunk.endswith('\n'): 
     # Ignore the trailing newline at the end of the file (but include it 
     # in the output). 
     last_line = '\n' 
     chunk = chunk[:-1] 

    nl_pos = chunk.rfind('\n') 
    # What's being searched for will have to be modified if you are searching 
    # files with non-unix line endings. 

    last_line = chunk[nl_pos + 1:] + last_line 

    if nl_pos == -1: 
     # The whole chunk is part of the last line. 
     continue 

    return last_line 

Answer 10

ここでは、わずかに異なる解決策です。複数行ではなく、最後の行に焦点を当て、一定のブロックサイズではなく、動的（倍増）ブロックサイズを持っています。詳細はコメントを参照してください。

# Get last line of a text file using seek method. Works with non-constant block size. 
# IDK if that speed things up, but it's good enough for us, 
# especially with constant line lengths in the file (provided by len_guess), 
# in which case the block size doubling is not performed much if at all. Currently, 
# we're using this on a textfile format with constant line lengths. 
# Requires that the file is opened up in binary mode. No nonzero end-rel seeks in text mode. 
REL_FILE_END = 2 
def lastTextFileLine(file, len_guess=1): 
    file.seek(-1, REL_FILE_END)  # 1 => go back to position 0; -1 => 1 char back from end of file 
    text = file.read(1) 
    tot_sz = 1    # store total size so we know where to seek to next rel file end 
    if text != b'\n':  # if newline is the last character, we want the text right before it 
     file.seek(0, REL_FILE_END) # else, consider the text all the way at the end (after last newline) 
     tot_sz = 0 
    blocks = []   # For storing succesive search blocks, so that we don't end up searching in the already searched 
    j = file.tell()   # j = end pos 
    not_done = True 
    block_sz = len_guess 
    while not_done: 
     if j < block_sz: # in case our block doubling takes us past the start of the file (here j also = length of file remainder) 
      block_sz = j 
      not_done = False 
     tot_sz += block_sz 
     file.seek(-tot_sz, REL_FILE_END)   # Yes, seek() works with negative numbers for seeking backward from file end 
     text = file.read(block_sz) 
     i = text.rfind(b'\n') 
     if i != -1: 
      text = text[i+1:].join(reversed(blocks)) 
      return str(text) 
     else: 
      blocks.append(text) 
      block_sz <<= 1 # double block size (converge with open ended binary search-like strategy) 
      j = j - block_sz  # if this doesn't work, try using tmp j1 = file.tell() above 
    return str(b''.join(reversed(blocks)))  # if newline was never found, return everything read 

これは、クラスLastTextFileLineでラップし、行の移動平均を追跡するのが理想的です。これはあなたに良いlen_guessを与えるでしょう。 f.readlinesで

Answer 11

は/ usr/binに/ pythonのラインのための

数= 0

F =オープン（ 'last_line1'、 'R'）

を（）：！

line = line.strip() 

count = count + 1 

print line 

印刷回数

f.close（）

h.readlinesのラインのための（ 'last_line1'、 'R'）

オープン= 0

H =（）

COUNT1：

line = line.strip() 

count1 = count1 + 1 

if count1 == count: 

    print line   #------------------------- this is the last line 

h.close（）

Answer 12

with open('output.txt', 'r') as f: 
    lines = f.read().splitlines() 
    last_line = lines[-1] 
    print last_line