サブプロセス出力をCまたはPythonでpopenでバッファリングすることをバイパスします

Question

私は、すべてのオペレーティングシステムに適用可能なpopen（および関連するすべての関数）に関する一般的な質問を、PythonスクリプトまたはいくつかのCコードを記述し、コンソール（勝つかlinux）、私はすぐにプロセスからの出力を見ることができます。しかし、パイプにリダイレクトされたstdoutを持つフォークされたプロセスと同じ実行可能プログラムを実行すると、出力は親プロセスが読むことができるパイプに書き込まれる前に、通常4096バイトまでのどこかでバッファリングされます。

次のPythonスクリプトは、1024バイトのチャンクで出力を生成します

import os, sys, time 

if __name__ == "__main__": 
    dye = '@'*1024 
    for i in range (0,8): 
     print dye 
     time.sleep(1) 

前のスクリプトを実行し、それがバイト

によってパイプ、バイトに来るとすぐに出力を読み込みます次のPythonスクリプト

import os, sys, subprocess, time, thread 

if __name__ == "__main__": 
    execArgs = ["c:\\python25\\python.exe", "C:\\Scripts\\PythonScratch\\byte_stream.py"] 

    p = subprocess.Popen(execArgs, bufsize=0, stdout=subprocess.PIPE) 
    while p.returncode == None: 
     data = p.stdout.read(1) 
     sys.stdout.write(data) 
     p.poll() 

オペレーティングシステムのパスを調整します。この設定で実行すると、popenコマンドのバッファサイズが0に設定されているにもかかわらず、出力は1024のチャンクではなく、4096のチャンクで表示されます（これはデフォルトです）。誰も私にこの動作を変更する方法を教えてもらえますか？オペレーティングシステムがフォークされたプロセスの出力をコンソールから実行したときと同じように扱うようにする方法はありますか？バッファリングせずに？

Answer 1

一般的に、標準のCランタイムライブラリ（これは、すべてのシステムのすべてのプログラムのほぼすべてのプログラムの代わりに実行されます;-)は、stdoutが端末であるかどうかを検出します。そうでない場合は、出力をバッファリングします（これは、バッファリングされていない出力と比較して、非常に効率的です）。

書き込みを行っているプログラムを制御している場合は、（別の回答として）連続的にstdoutをフラッシュするか、（可能であればもっとエレガントに）stdoutを強制的にバッファリングしないでください。 -uコマンドラインフラグでのPythonを実行することによって：

-u  : unbuffered binary stdout and stderr (also PYTHONUNBUFFERED=x) 
     see man page for details on internal buffering relating to '-u' 

（何manページを追加することはstdinとバイナリモード[S]との問題への言及です）。

書いているプログラムに触れたくない、または触れたくない場合は、読んでいるプログラムの-uなどが助けになることはほとんどありません（最も重要なバッファリングは作者の標準出力で起こります）読者の標準にあるものではない）。代わりに、pty標準ライブラリモジュールまたは上位レベルのサードパーティのpexpectモジュール（または、Windowsの場合は、そのプログラムが別のプログラムに書き込まれているにもかかわらず）を書き留めていると信じるように作家を欺くことですポートwexpect）。

Answer 2

これは間違いなく、WindowsとLinuxの両方に適用され、popen()とfopen()です。出力バッファを4096バイトより前に送出する場合は、fflush()（C言語）またはsys.stdout.flush()（Python）を使用してください。