行列の乗算のような演算で 'コードの最適化'を避けるには？

Question

2つのアルゴリズムAlg_x、Alg_yの実行時間を比較する必要があります。しかしながら、Alg_xは多くの行列乗算を含み、Alg_yは多くの要素単位の演算（例えば、2つの数/ベクトルの総和および累積）を含む。理論的には、Alg_xとAlg_yの実行時間は同じです。しかし、Matlabでは行列乗算が特別に設計され、最適化されているため、Alg_xはAlg_yよりもはるかに高速に実行できます。

次に、私の問題は、実行時間を公正に比較し、理論上の時間の複雑さを反映するために、どのように「コード最適化」を終了するかです。

%%%%% X = randn(1000,2000); 

Alg_x

tic; 
temp = X*X'; 
toc 

Alg_y

[d,n] = size(X); 
temp = zeros(d,d); 
tic; 
for i =1:n 
    x = X(:,i); 
    temp = temp+x*x'; 
end 
toc 

Alg_xがはるかに速く実行中に上記2つの符号は、同一の出力を有します。さらに、Alg_yは、削除した後もずっと速く実行されます。x = X（：、i）; temp = temp + x * x ';だから、Alg_yの実行速度を遅くするのはという繰り返しの場合はだと思います。

私はこのような誤植を閉じて避けたいと思っています。以下は、は私がCUDA、C++、C＃、およびJavaでいくつかのベンチマークを作り、検証およびマトリックス生成のためのMATLABを使用していますWhy is MATLAB so fast in matrix multiplication?

から抽出されたものです。しかし、私がMATLABを掛け合わせると、2048x2048とさらに大きな行列さえもほぼ即座に乗算されます。

   1024x1024 2048x2048 4096x4096 
      --------- --------- --------- 
CUDA C (ms)  43.11  391.05  3407.99 
C++ (ms)  6137.10 64369.29 551390.93 
C# (ms)  10509.00 300684.00 2527250.00 
Java (ms)  9149.90 92562.28 838357.94 
MATLAB (ms)  75.01  423.10  3133.90 

CUDAだけが競争力がありますが、私は少なくともC++はいくらか近くにあり、60倍も遅くないと考えました。

私の質問は - MATLABはどうしていますか？

C++コード：

float temp = 0; 
timer.start(); 
for(int j = 0; j < rozmer; j++) 
{ 
    for (int k = 0; k < rozmer; k++) 
    { 
     temp = 0; 
     for (int m = 0; m < rozmer; m++) 
     { 
      temp = temp + matice1[j][m] * matice2[m][k]; 
     } 
     matice3[j][k] = temp; 
    } 
} 
timer.stop(); 

編集： また、私はC＃の結果について考えて何を知りません。アルゴリズムはC++やJavaとまったく同じですが、1024から巨大なジャンプ2048がありますか？

EDIT2： 更新MATLABおよび4096×4096の結果

Answer 1

私は、「どのようにMATLABが速いということをしているのですか？」あなたの質問に答えています。

MATLABは、行列乗算にIntel MKLを使用します。
これは、すべてのコアとそのベクトル処理ユニット（SSE/AVX）を活用して高度に最適化されたコードです。
さらにCPUのキャッシュレイアウトに合わせて最適化されています。

あなたのコードはそうしないので、テーブルに多くの利益をもたらします。

MATLABでMKLを無効にする方法があるかもしれません。
これまでのところ、私はそれを置き換える方法しか見ていませんでした。