デルファイの多くのファイルの最初の行を効率的に読み取るには

Question

私のプログラムで読み込まれた.ged接尾辞付きのテキストファイルを検索する "ファイル検索"機能があります。

私は標準関数は、FindFirst/FindNextのメソッドを使用しており、これは非常に迅速に動作します：私はこのようになりますエクスプローラのようなウィンドウで見出された結果を表示します。上記の584ファイルが数秒で​​見つけられて表示されます。

ここでは、これらのファイルに含まれる「ソース」と「バージョン」を示す2つの列をディスプレイに追加します。この情報は、のように見えるの行に、各ファイルの最初の10行以内に通常発見された：

1 SOUR FTM 
2 VERS Family Tree Maker (20.0.0.368) 

は今、私は非常に迅速に自分自身をこれを解析する問題がない、それは私が求めているものではありません。

私が助けが必要なのは、これらのファイルから最初の10行ほどを読み込んで解析する方法です。

私はStringList.LoadFromFileを実行しようとしましたが、1 MB以上の大きなファイルをロードするには時間がかかります。

私は最初の10行程度しか必要ないので、どうすればそれらを得るのがベストでしょうか？

私はDelphi 2009を使用しています。私の入力ファイルはUnicodeかもしれないし、そうでないかもしれないので、これはどんなエンコーディングでも動作する必要があります。正常に動作おかげアントニオ、

私はこれをやってしまった：

---

フォロー

var 
    CurFileStream: TStream; 
    Buffer: TBytes; 
    Value: string; 
    Encoding: TEncoding; 

try 
    CurFileStream := TFileStream.Create(folder + FileName, fmOpenRead); 
    SetLength(Buffer, 256); 
    CurFileStream.Read(Buffer[0], 256); 
    TEncoding.GetBufferEncoding(Buffer, Encoding); 
    Value := Encoding.GetString(Buffer); 
    ... 
    (parse through Value to get what I want) 
    ... 
finally 
    CurFileStream.Free; 
end; 

Answer 1

使用TFileStreamと必要なバイトのReadメソッド読んで番号を指定します。次に、ファイルの先頭にも格納されているビットマップ情報を読み取る例を示します。

http://www.delphidabbler.com/tips/19

Answer 2

ジャストブロックは（TStringListの組み込み機能を使用していない）を読み取るためにあなた自身をファイルを開き、ファイルの最初のブロックを読み、次にあなたが例えばstrings.SetTextとSTRINGLISTにそのブロックを読み込むことができます（）（ブロック関数を使用している場合）または単純にstrings.LoadFromStream（）を使用してストリームを使用してブロックをロードします。

私は個人的にはFileRead/FileWriteブロック関数に行き、ブロックをバッファにロードします。 similair winapi関数を使用することもできますが、それは理由がないだけのコードです。

OSは、ほとんどのプラットフォーム/ファイルシステムで512バイト以上のブロックを読み込みます。最初に512バイトを読み込むことができます（そして、10行すべてが得られることを望みます。十分な）。これは100または200バイトを読み取るほど（実際的に）速くなります。

文字列オブジェクトの行数が10行未満であることがわかったら、次の512バイトブロックを読み込み、再度解析してみてください。 （1024ブロック、2048ブロック、多くのシステムでは、ファイルシステムのクラスタサイズが一般的に512バイトよりも大きいので、おそらく512ブロックほど高速になります）。

PS。また、WinAPIファイル関数（CreateFileなど）でスレッドや非同期機能を使用すると、残りのアプリケーションが動作している間に、そのデータをファイルから非同期に読み込むことができます。具体的には、大きなディレクトリの読み取り中にインターフェイスがフリーズすることはありません。

実際の読み取り速度を上げずに、ファイルのリストが直接ロードされ、残りの情報が数ミリ秒後に表示されるため、情報の読み込みが高速になります。

これは、他の方法を試したが、追加の追加が必要と思われる場合にのみ実行してください。

Answer 3

時々oldschoolのパスカルスタイルはそれほど悪くありません。 非ooファイルへのアクセスはこれ以上普及していないようですが、ReadLn(F,xxx)はあなたのような状況ではかなりうまく動作します。

以下のコードは、TDictionaryに情報（ファイル名、ソース、バージョン）を読み込んで、簡単に検索できるようにしたり、バーチャルモードでlistviewを使用したり、ondata 。

警告：以下のコードは、ユニコードでは動作しません。

program Project101; 
{$APPTYPE CONSOLE} 

uses 
    IoUtils, Generics.Collections, SysUtils; 

type 
    TFileInfo=record 
    FileName, 
    Source, 
    Version:String; 
    end; 

function LoadFileInfo(var aFileInfo:TFileInfo):Boolean; 
var 
    F:TextFile; 
begin 
    Result := False; 
    AssignFile(F,aFileInfo.FileName); 
    {$I-} 
    Reset(F); 
    {$I+} 
    if IOResult = 0 then 
    begin 
    ReadLn(F,aFileInfo.Source); 
    ReadLn(F,aFileInfo.Version); 
    CloseFile(F); 
    Exit(True) 
    end 
    else 
    WriteLn('Could not open ', aFileInfo.FileName); 
end; 

var 
    FileInfo:TFileInfo; 
    Files:TDictionary<string,TFileInfo>; 
    S:String; 
begin 
    Files := TDictionary<string,TFileInfo>.Create; 
    try 
    for S in TDirectory.GetFiles('h:\WINDOWS\system32','*.xml') do 
    begin 
     WriteLn(S); 
     FileInfo.FileName := S; 
     if LoadFileInfo(FileInfo) then 
     Files.Add(S,FileInfo); 
    end; 

    // showing file information... 
    for FileInfo in Files.Values do 
     WriteLn(FileInfo.Source, ' ',FileInfo.Version); 
    finally 
    Files.Free 
    end; 
    WriteLn; 
    WriteLn('Done. Press any key to quit . . .'); 
    ReadLn; 
end. 

Answer 4

あなたは、このようなTFileStreamなどの任意TStreamオブジェクトから個々の行を、読み取るためにTStreamReaderを使用することができます。より高速なファイルI/Oの場合は、TCustomMemoryStreamのメモリマップビューを使用できます。

Answer 5

私は最初の答えを削除しました。上記のレミーの最初の提案を使用して、私は組み込みのものでもう一度試しました。私がここで気に入らないのは、2つのオブジェクトを作成して解放する必要があるということです。私はこれを包むために私自身のクラスになるだろうと思う：

var 
    fs:TFileStream; 
    tr:TTextReader; 
    filename:String; 
begin 
    filename := 'c:\temp\textFileUtf8.txt'; 
    fs := TFileStream.Create(filename, fmOpenRead); 
    tr := TStreamReader.Create(fs); 
    try 
     Memo1.Lines.Add(tr.ReadLine); 

    finally 
    tr.Free; 
    fs.Free; 
    end; 
end; 

誰もが私が前にここに持っていたものに興味があるならば、それはユニコードのファイルで作業していないという問題がありました。