コンソール上のファイルを直接処理する方法（StringIOを使用する場合と使用しない場合）

Question

私はgtfファイルを読んでから、それを編集して（サブプロセス、grep、awkを使って）、パンダに読み込みます。

私はヘッダー情報（#で示される）を持つファイル名を持っていますので、まずgrepして削除する必要があります。私はPythonでそれを行うことができますが、より効率的な処理を行うためにパイプラインにgrepを導入したいと思います。

import subprocess 
from io import StringIO 

gtf_file = open('chr2_only.gtf', 'r').read() 
gtf_update = subprocess.Popen(["grep '^#' " + StringIO(gtf_file)], shell=True) 

と

gtf_update = subprocess.Popen(["grep '^#' " + gtf_file], shell=True) 

をこれらのコードの両方が、それがあった第一の試みのために、エラーをスロー：

Traceback (most recent call last): 
    File "/home/everestial007/PycharmProjects/stitcher/pHASE-Stitcher-Markov/markov_final_test/phase_to_vcf.py", line 39, in <module> gtf_update = subprocess.Popen(["grep '^#' " + StringIO(gtf_file)], shell=True) 
TypeError: Can't convert '_io.StringIO' object to str implicitly 

しかし、私はやってみました

、もし私がfilenを指定したらAME直接それが動作：

gtf_update = subprocess.Popen(["grep '^#' chr2_only.gtf"], shell=True) 

を、出力は次のとおりです。

<subprocess.Popen object at 0x7fc12e5ea588> 
#!genome-build v.1.0 
#!genome-version JGI8X 
#!genome-date 2008-12 
#!genome-build-accession GCA_000004255.1 
#!genebuild-last-updated 2008-12 

誰かがこのような問題のための様々な例を提供してください、ともなぜ私はエラーを取得しています、なぜ/どのように説明してもらえコンソール/メモリにロードされたファイルに対してサブプロセスを直接実行することは可能でしょうか？

は、私はまた、call, check_call, check_output, etc.とsubprocessを使用してみましたが、私はこれらのように、いくつかの異なるエラーメッセージを得ている：ここで

OSError: [Errno 7] Argument list too long 

と

Subprocess in Python: File Name too long 

Answer 1

は、あなたがすることができます可能な解決策でありますgrepに文字列を送ります。基本的には、Popenコンストラクタで、stdinとstdoutを介して呼び出されたプログラムと通信することを宣言します。その後、通信を介して入力を送信し、通信からの戻り値として出力を受け取ります。

#!/usr/bin/python 

import subprocess 

gtf_file = open('chr2_only.gtf', 'r').read() 
gtf_update = subprocess.Popen(["grep '^#' "], shell=True, stdin=subprocess.PIPE, stdout=subprocess.PIPE) 

# stdout, stderr (but latter is empty) 
gtf_filtered, _ = gtf_update.communicate(gtf_file) 

print gtf_filtered 

shell=Trueを使用しないことをおすすめします。したがって、popenのラインが

gtf_update = subprocess.Popen(["grep", '^#'], shell=False, stdin=subprocess.PIPE, stdout=subprocess.PIPE) 

根拠として記述する必要がありますあなたは、単一の実行可能ファイルに引数を解析するためにシェルを必要としないことです。したがって、不要なオーバーヘッドを回避できます。少なくともセキュリティ上の観点からは、ユーザーからの入力に応じて（ファイル名が|のように）、引数が安全でない可能性がある場合は、セキュリティの観点からも優れています。

パフォーマンスの観点からは、grepでファイルを直接読み取るのは、最初にpythonでファイルを読み取り、grepに送信するよりも速いことに注意してください。