1 GBのファイルサイズの行を読み込んで見つけてください

Question

特定の行を検索するには1 GBを超えるテキストファイルを読む必要があります。これは、Perl、PHPまたはJavaで記述する必要があります。このメソッドは、サーバーをロードすべきではありません。

どうすればいいですか？

Answer 1

"正しい仕事のための正しいツール"の姿勢を持ち、新しいツールを学ぶのに気を使うことができれば、perl、awk、sedさえあれば、まさにこの種の仕事のための非常に良いツールです。それ以外の場合、完全な言語があれば、Javaもこの仕事をすることができます。しかし、BufferedReaderのようなバッファされたクラスを使用してください。さもなければ、これは非常に遅くなります。 Perlで

例：

use strict; 
use warnings; 

open INFILE, "<infile" or die; 
open OUTFILE, ">outfile" or die; 
while(<INFILE>) { 
    $_=~s/source-regex/replace-with/g; 
    print OUTFILE; 
} 

私はワンライナーは動作しますが、もう少し複雑であるだろう。 Perlで

Answer 2

ここではあまり多くはありませんが、BufferedReaderを作成して、一度に1行ずつ読み込み、探している行があるかどうかを確認してください。

Answer 3

：ワンライナーとして

use strict; 
use warnings; 

my $line = 'what to be searched'; 
open my $fh, '<', '/path/to/the/file' or die "unable to open file: $!"; 
while(<$fh>) { 
    chomp; 
    if ($_ eq $line) { 
     print "found $line at line $.\n"; 
     last; 
    } 
} 

Answer 4

：スクリプトとして

perl -nwe 'print if /source-regex/' input.txt > output.txt 

：

use strict; 
use warnings; 

while (<>) { 
    print if /source-regex/; 
} 

使用法：perl script.pl input.txt > output.txt

最適化する方法があります。これ、しかしあなたが与えた情報でそれ以上のことはできません。検索には時間がかかり、正規表現によっては遅くなることがあります。

あなたはセキュリティ上の懸念を持っている場合は、開いている明示的なファイルは安全です：

open my $input, '<', shift or die $!; 
while (<$input>) { 
...