python forループの1回の繰り返しによるパイプ出力

Question

forループの各インスタンスは、後で処理するために別のスクリプトで取り込む必要があるバイナリファイルの内容を吐き出します。たとえば、次のように

script1.py

filename = glob.glob('*.txt') 
for i in range(len(filename)): 
    with open(filename[i], 'rb') as g: 
     sys.stdout.write(g.read()) 

script2.py

from subprocess import call 
script = "cat > test.fil" 
call(script,shell=True) 

コマンド：私は、このコマンドを実行すると

python script1.py | python script2.py 

、それが完了するすべての反復を待ち出力をscript2.pyにパイプする前に。私はこれをバッチ式にしたいと思います。たとえば、あるバイナリファイルのデータがstdoutにプッシュされたら、script2.pyを起動します。

script2.pyはscript1.pyから呼び出せません。両方のスクリプトは異なるドッカーコンテナで実行する必要があります。ドッカーコンテナ内にドッカーを設置することを避ける方がよいでしょう。

Answer 1

sys.stdoutがパイプに接続されている場合、デフォルトではバッファリングされます。あなたは、出力をフラッシュするsys.stdout.flush()を呼び出す必要があります：

sys.stdout.write(g.read()) 
sys.stdout.flush() 

あなたの2番目のスクリプトも、それを読むために、猫を喚起するために、代わりにシェルを想起させるの、標準入力を直接読むことができました。あなたが書いたように、あなたは3つのプロセス（python、シェル、cat）を実行しています。無関係なノートで

import shutil 
import sys 
with open('test.fil', 'w') as f: 
    shutil.copyfileobj(sys.stdin, f) 

、あなたは唯一のインデックスにlistを番号を使用しようとしているとき、数値rangeでforループを使用する必要はありません。 forループがlist要素に直接反復処理することができます

filenames = glob.glob('*.txt') 
for filename in filenames: 
    with open(filename, 'rb') as g: 
     ...