0
Azureで実行してベンチマークするプログラムがあります。 Amazon EC2ですでにこのプログラムをテストしており、可能な限りハードウェアのミラーリングを試みたいと思っています。 EC2では、アクセスしているデータをSSDに格納しました。私たちは、Azureのブロブにデータを持っています。ローカルドライブを使用してAzure HDInsightでSparkプログラムを実行
我々はHDInsightクラスターを作るとき、我々は単にクラスタにBLOBからデータをコピーしないと、それは(私たちのクラスタがSSDに接収されて?)SSDになります
は早くSSDとしてブロブを使用しています。現時点でベストプラクティスには興味がありませんが、EC2データに対してベンチマークを行っています。 –
ベンチマークはしていませんが、ローカルディスクが高速かもしれません。あなたがHDFSでそれを持っていれば両方のベンチマークが容易になるでしょう –
HDInsightクラスタ上のローカルHDFSの宛先アドレスはhdfs:// mycluster/ – maxiluk