Perl SQLファイルの書き込みが遅れた

Question

SQLからデータを取得する単純なperlスクリプトです。 データを読み取り、ファイルOUTFILEに書き込み、10000行ごとに画面にデータを印刷します。

私は好奇心が強いですが、画面上のデータの印刷が非常に早く（30秒で）終了しますが、ファイルへのデータの取り込みと書き込みは非常に遅く終了します（30分後）。

データ量は大きくありません。出力ファイルのサイズは100Mバイト未満です。

while (my ($a,$b) = $curSqlEid->fetchrow_array()) 
{ 
    printf OUTFILE ("%s,%d\n", $a,$b); 
    $counter ++; 
    if($counter % 10000 == 0){ 
     printf ("%s,%d\n", $a,$b); 
    } 
} 
$curSqlEid->finish(); 
$dbh->disconnect(); 
close(OUTFILE); 

Answer 1

あなたはバッファリングに苦しんでいます。

STDERR以外のハンドルはデフォルトでバッファリングされ、ほとんどのハンドルはブロックバッファリングを使用します。これは、システムに何かを送る前に書くべきデータの8KB *があるまでPerlが待つことを意味します。

STDOUTは特別です。ターミナルに接続されているとき（そしてそのときだけ）、それは異なる種類のバッファリング、つまりラインバッファリングを使用します。ラインバッファリングを使用すると、書き込むデータに改行が発生するたびにデータがフラッシュされます。

あなたは解決策がバッファリングをオフにすることです

$ perl -e'print "abc"; print "def"; sleep 5; print "\n"; sleep 5;' 
[ 5 seconds pass ] 
abcdef 
[ 5 seconds pass ] 

$ perl -e'print "abc"; print "def"; sleep 5; print "\n"; sleep 5;' | cat 
[ 10 seconds pass ] 
abcdef 

を実行することで、これを見ることができます。

use IO::Handle qw(); # Not needed on Perl 5.14 or later 
OUTFILE->autoflush(1); 

* — 8キロバイトのデフォルトです。それはconfigured when Perl is compiledにすることができます。以前は5.14までは設定できない4KBでした。

Answer 2

スクリプトが実行されてコンソールに表示されているときに出力ファイルのサイズが0と表示されていると思います。それで行かないでください。ファイルサイズは、スクリプトが終了した後にのみ表示されます。これは出力バッファリングによるものです。

とにかく、遅延は30分ほどにはなりません。スクリプトが完了すると、出力ファイルのデータが表示されます。

Answer 3

私はいろいろ試しましたが、最後の結論は、pythonとperlは基本的にDBからのデータフローを処理しているということです。 perlのように見えますが、データをDBから転送しながら行単位でデータを扱うことは可能です。しかし、Pythonでは、データをサーバーからダウンロードして処理するまで待つ必要があります。