Pythonコードが関数内で高速に動作するのはなぜですか？

Question

def main(): 
    for i in xrange(10**8): 
     pass 
main() 

Pythonでコードのこの部分は、で実行され（注：タイミングはLinuxでBASHにおける時間関数を用いて行われる。）

real 0m1.841s 
user 0m1.828s 
sys  0m0.012s 

しかし、forループ機能内に配置されていない場合、

for i in xrange(10**8): 
    pass 

それははるかに長い時間のために実行されます。

real 0m4.543s 
user 0m4.524s 
sys  0m0.012s 

なぜこれがあります？関数の内部

Answer 1

なぜかなぜグローバル変数よりもローカル変数を保存する方が速いですか。これはCPython実装の詳細です。

CPythonは、インタプリタが実行するバイトコードにコンパイルされていることに注意してください。関数がコンパイルされると、ローカル変数は固定サイズの配列（ではなく、 a dict）に格納され、変数名はインデックスに割り当てられます。これは、関数にローカル変数を動的に追加できないために可能です。その後、ローカル変数を検索することは、文字通りリストへのポインタ検索であり、PyObjectのrefcountの増加は簡単です。

これは、グローバル検索（LOAD_GLOBAL）と対照的です。これは、ハッシュを含む真の検索結果であるdictです。ちなみに、これをグローバルにしたいのであれば、global iを指定する必要があります。スコープ内の変数に割り当てることができない場合は、コンパイラはSTORE_FASTを発行します。

ところで、グローバルルックアップはまだかなり最適化されています。属性の参照foo.barは、となります。実際にはです。

ここでは、ローカル変数の効率が小さいillustrationです。

Answer 2

は、バイトコードがトップレベルで

2   0 SETUP_LOOP    20 (to 23) 
       3 LOAD_GLOBAL    0 (xrange) 
       6 LOAD_CONST    3 (100000000) 
       9 CALL_FUNCTION   1 
      12 GET_ITER    
     >> 13 FOR_ITER     6 (to 22) 
      16 STORE_FAST    0 (i) 

    3   19 JUMP_ABSOLUTE   13 
     >> 22 POP_BLOCK   
     >> 23 LOAD_CONST    0 (None) 
      26 RETURN_VALUE   

で、バイトコードは差がSTORE_FASTがSTORE_NAMEよりも（！）高速であるということである

1   0 SETUP_LOOP    20 (to 23) 
       3 LOAD_NAME    0 (xrange) 
       6 LOAD_CONST    3 (100000000) 
       9 CALL_FUNCTION   1 
      12 GET_ITER    
     >> 13 FOR_ITER     6 (to 22) 
      16 STORE_NAME    1 (i) 

    2   19 JUMP_ABSOLUTE   13 
     >> 22 POP_BLOCK   
     >> 23 LOAD_CONST    2 (None) 
      26 RETURN_VALUE   

です。これは、関数内ではiがローカルですが、トップレベルではグローバルであるためです。

バイトコードを調べるには、dis moduleを使用してください。私は直接関数を逆アセンブルすることができましたが、私はcompile builtinを使用しなければならなかったトップレベルコードを逆アセンブルしました。

Answer 3

ローカル/グローバル変数のストア時間以外に、オペコードの予測は、機能を高速化します。

他の答えが説明するように、関数はループ内でSTORE_FASTオペコードを使用します。ここで関数のループのためのバイトコードは、次のとおり

>> 13 FOR_ITER     6 (to 22) # get next value from iterator 
     16 STORE_FAST    0 (x)  # set local variable 
     19 JUMP_ABSOLUTE   13   # back to FOR_ITER 

通常

プログラムが実行されたとき、Pythonはスタックを追跡し、各オペコードが実行された後のスタックフレーム上の他のチェックを予備、各オペコード次々に実行します。オペコード予測は、あるケースでは、Pythonが次のオペコードに直接ジャンプできるため、このオーバーヘッドの一部を回避することを意味します。

この場合、PythonはFOR_ITER（ループの先頭）を見るたびに、実行する次のオペコードであるSTORE_FASTを「予測」します。 Pythonは次のオペコードを覗いて予測が正しければ、それはまったくSTORE_FASTにジャンプします。これにより、2つのオペコードを1つのオペコードに絞り込む効果があります。

一方、オペコードがSTORE_NAMEでグローバルレベルのループで使用されています。 Pythonはではなく、はこのオペコードを見ると同様の予測をします。その代わりに、ループが実行される速度に明白な意味を持つ評価ループの先頭に戻る必要があります。いくつかのオペコードは、このようにすることが可能となってペアで来る傾向にある

：この最適化に関するいくつかの技術的な詳細を与えることを

は、ここceval.cファイル（Pythonの仮想マシンの「エンジン」）からの引用です は、最初のコードが実行されたときに2番目のコードを予測します。たとえば、 GET_ITERの後には、多くの場合、FOR_ITERが続きます。 FOR_ITERは、多くの場合、 であり、その後にはSTORE_FASTまたはUNPACK_SEQUENCEとなります。

予測の検証では、レジスタの高速高速テストである が定数に対して変わります。ペアリングが良好だった場合、 プロセッサ自身の内部分岐予測は、 の成功確率が高く、次のオペコード にほぼゼロオーバヘッドで遷移します。予測が成功すると、eval-loop に2つの予期しない分岐、HAS_ARGテストと スイッチケースが含まれています。プロセッサの内部分岐予測と組み合わせると、 成功したPREDICTは、2つのオペコードを のように実行する効果があります。これらは、ボディを結合した単一の新しいオペコードです。私たちは予測しオペコードの先頭にジャンプすなわちPREDICT機能がif (*next_instr == op) goto PRED_##opに展開

case FOR_ITER:       // the FOR_ITER opcode case 
    v = TOP(); 
    x = (*v->ob_type->tp_iternext)(v); // x is the next value from iterator 
    if (x != NULL) {      
     PUSH(x);      // put x on top of the stack 
     PREDICT(STORE_FAST);   // predict STORE_FAST will follow - success! 
     PREDICT(UNPACK_SEQUENCE);  // this and everything below is skipped 
     continue; 
    } 
    // error-checking and more code for when the iterator ends normally          

：私たちはSTORE_FASTの予測が行われた正確FOR_ITERオペコードのソースコードに見ることができます

。この場合、ここでジャンプします：

PREDICTED_WITH_ARG(STORE_FAST); 
case STORE_FAST: 
    v = POP();      // pop x back off the stack 
    SETLOCAL(oparg, v);   // set it as the new local variable 
    goto fast_next_opcode; 

ローカル変数が設定され、次のオペコードが実行されます。 Pythonは、終わりに達するまでイテレートを継続し、毎回成功した予測を行います。

Python wiki pageには、CPythonの仮想マシンがどのように機能するかについての詳細があります。