sedとawkからの冗長な進捗の印刷

Question

プログラムsedとawkは通常、静かに作業します。これらのプログラムに自分が行っていることを述べる方法はありますか？

sed -e '...' input.txt | pv > output.txt 

あなたが使用することができます：あなたは、ファイルへのsedまたはawkの出力をリダイレクトする（の代わりに、その場でファイルを変更する）あなたは（「パイプビューア」）ショットをpvを与えることができている場合は

Answer 1

pv -lを使用して、書き込まれた行の進捗状況を報告します。進行状況はstderrに、実際のデータはstdinからstdoutに変わります。

Answer 2

あなたは常にデフォルトはそれぞれの行を印刷することで、けれどもあなたは、それぞれの行を印刷する「P」CMDを使用して、SED付きすなわち

awk '{ 
     print "#dbg:$0="$0 
     # do more stuff 
     print $1 
     # or make it conditional 
     if ($0 ~ /specialRegEx/){ 
       print "#dbg:$0="$0 
     } 
     }' infile 

、入力レコードを印刷するのawkを伝えることができます。何かのように

私はこれが役立ちます。

Answer 3

これは（SEDのために）あなたのために働くかもしれない：

sed -i 's/foo/bar/;w /dev/stdout' files* 

Answer 4

あなたがLinux上である場合は、/proc/<pid>/fdinfoに調べることで、大容量ファイルを処理しているプロセスの進捗状況を表示することができます。開いているファイルディスクリプタごとにエントリがあります。エントリをキャッチすると、ファイルディスクリプタの読み書き位置が表示されます。あなたはファイルに1123456バイトであることがわかります。開いているファイルのパス名は別の領域にあります：/proc/<pid>/fd、シンボリックリンクとして表されます。

私はそれを見る前に、通常straceをプロセスに添付します：strace -p <pid>。これを使用して、プロセスがどのシステムコールを行っているかを見ることができます。ファイルの読み書き、メモリ割り当てはbrkまたはmmapです。

Answer 5

sedの出力をファイルにパイプしていると仮定して、tailコマンド（別のターミナルで）を使用してファイルの終わりを常に調べることができます。あなたが進歩を見ることができるように。

tail -f output_from_sed.txt 

Answer 6

これはあなたが探しているものと正確ではないかもしれませんが、他の人を助けるかもしれません。 FWIW：
gawk -W dump-variables=/tmp/awk.log
は、スクリプトの最後の変数値をログファイルにダンプします。

Answer 7

これはpotongの答えに基づいています。次のコードは、 'll'を 'zz'に置き換え、バックアップファイルを作成し、新しいテキストを表示し、その変更をファイルに書き込みます。

$ echo hello > test 
$ sed -e 's/ll/zz/;w /dev/stdout' -i .backup test 
hezzo 
$ cat test 
hezzo 
$ cat test.backup 
hello 

Answer 8

「右」、ここで答えです

pv myfile.txt | sed ... 

エドゥアルドIvanecの答えは接戦だったが、実際の配管を行うには、パイプビューア（PV）を使用することによって、あなたはあなたの進歩が何であるかを知ってもらいます（M /秒、合計データなどのような大きな統計を含むパーセンテージとして）。catよう

pv作品（ファイルを読み込み、stdoutに直接エクスポートする、または内の配管の場合には、それはstdinとstdoutの間のブリッジです）。

重要なことに、pvは「透過パイプ処理」であるため、stdoutは中継データで占有されています。したがって進捗報告はstderrによって報告されます。