2016-04-03 11 views
0

Azureで実行してベンチマークするプログラムがあります。 Amazon EC2ですでにこのプログラムをテストしており、可能な限りハードウェアのミラーリングを試みたいと思っています。 EC2では、アクセスしているデータをSSDに格納しました。私たちは、Azureのブロブにデータを持っています。ローカルドライブを使用してAzure HDInsightでSparkプログラムを実行

我々はHDInsightクラスターを作るとき、我々は単にクラスタにBLOBからデータをコピーしないと、それは(私たちのクラスタがSSDに接収されて?)SSDになります

答えて

0

はい。 hadoopコマンドラインから

を使用し、blobストレージからローカルHDFSにデータを移動します。

FYI-推奨されるアーキテクチャは、HDFSではなくBlobストレージ/ Data Lakeを使用することです。

参考文献: https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-use-blob-storage/

+0

は早くSSDとしてブロブを使用しています。現時点でベストプラクティスには興味がありませんが、EC2データに対してベンチマークを行っています。 –

+0

ベンチマークはしていませんが、ローカルディスクが高速かもしれません。あなたがHDFSでそれを持っていれば両方のベンチマークが容易になるでしょう –

+0

HDInsightクラスタ上のローカルHDFSの宛先アドレスはhdfs:// mycluster/ – maxiluk

関連する問題