高性能アレイの平均

Question

パフォーマンスのボトルネックがあります。私は大きな配列（250行& 130万列）の列方向平均を計算しています。私はそのアプリケーションで100万回以上を行います。

Pythonで私のテストケース：

import numpy as np 
big_array = np.random.random((250, 1300000)) 
%timeit mean = big_array.mean(axis = 0) # ~400 milliseconds 

numpyのは、シングルコア上で実行されている、私のマシン上で約400ミリ秒かかります。私はさまざまな言語（Cython、R、Julia、Torch）でいくつかの他のマトリックスライブラリを試しましたが、JuliaだけがNumpyを打ち負かすのに約250ミリ秒かかっていました。

このタスクでは、パフォーマンスの大幅な向上の証拠は誰でも得ることができますか？おそらく、これはGPUに適したタスクですか？

編集：私のアプリケーションは明らかにメモリが制約されており、大規模な配列の要素に繰り返しアクセスするのではなく、1回だけアクセスすることでパフォーマンスが飛躍的に向上します。 （下のコメントを参照してください）

Answer 1

私が間違っていないと、JuliaはデフォルトでCメモリレイアウトを使用するnumpyではなく、メモリ内でFortranの順序を使用します。あなたは平均が連続したメモリに沿って起こっているように、同じレイアウトに接着するように物事を並べ替えるのであれば、あなたはより良いパフォーマンスを得る：

In [1]: import numpy as np 

In [2]: big_array = np.random.random((250, 1300000)) 

In [4]: big_array_f = np.asfortranarray(big_array) 

In [5]: %timeit mean = big_array.mean(axis = 0) 
1 loop, best of 3: 319 ms per loop 

In [6]: %timeit mean = big_array_f.mean(axis = 0) 
1 loop, best of 3: 205 ms per loop 

それとも、単にあなたの寸法を変更し、他の軸上の平均値を取ることができます。

In [10]: big_array = np.random.random((1300000, 250)) 

In [11]: %timeit mean = big_array.mean(axis = 1) 
1 loop, best of 3: 205 ms per loop