2011-09-02 28 views
9

私は​​3210に従っています。これは、仮想マシン環境のセットアップ(チュートリアルのモジュール3)を得るのに最適です。しかし、今私はHDFSセクション(モジュール2)に困惑しており、Windows固有のチュートリアルがあれば簡単かもしれないと思います。私はthis oneに従ってみましたが、いくつかのステップは正しくはありませんでした。私は私のWindows 7マシンでうまくいく良いチュートリアルを見つけようとしていましたが、ちょっと立ち往生しています。これに行く良い場所はありますか? HadoopはLinuxユーザーに非常に適しているようですが、残念ながらWindows 7の仕事用ラップトップを使用しなければなりません。この作業を行うことはできますか?Windows 7マシンでHadoop開発用のオンラインチュートリアルはありますか?

答えて

7

ヤフーの開発者ネットワーク上のHadoopのチュートリアルは時代遅れと問題があります。ステップの半分は私のためにはまったく機能しませんでした(Windows 7のVMware Playerでイメージを実行していました)、残りの半分はあいまいでした。 Javaのコード例は記述が悪く、コンパイルもできませんでした。とにかく、古いHadoop API用に書かれています。

私はこのチュートリアルをあきらめて、代わりにCloudera Demo VMイメージを使用しました。これは、Hadoop、Pig、Hive、HBaseなどであらかじめ設定されています。私はすぐに仕事をしていましたが、HadoopジョブとPigスクリプトのコンパイルと実行に問題はありませんでした。

メインサポートページ(https://ccp.cloudera.com/display/SUPPORT/Clouderaの+ Hadoop + Demo + VM)のCloudera Demo VMダウンロードはすべて64ビットです。私がいたようにあなたは、32ビット版を探しているなら、あなたはここで1を得ることができます:https://downloads.cloudera.com/cloudera-demo-0.3.7.vmwarevm.tar.bz2

この1つはGnomeデスクトップでのUbuntu 10.10上で実行されているClouderaのディストリビューション(CDH3u0)の少し古いバージョンを持っています。私はHadoopジョブをコンパイルするためにEclipseをインストールしましたが、Hadoopプラグインのインストールを気にしませんでした。問題はあると聞いています。初めて、ClouderaのディストリビューションをCDH3u3に間違ってアップデートする間違いをしました。これは私のHadoop設定を混乱させました。私はそれを適切に再構成する方法を知らなかったので、私はちょうど元のイメージから始めました。

豚が実行して取得するには、あなたが最初にJAVA_HOME変数を設定する必要があります:Hadoopのに精通したJava開発者の友人はClouderaのディストリビューションに私を指摘する前export JAVA_HOME=/usr/lib/jvm/java-6-sun

は、残念ながら、私はその古いYDNチュートリアルで時間のトンを無駄に。

1

私はHadoopを今でも学びたいと思っています。私は仮想ボックス(http://www.virtualbox.org/)をダウンロードし、いくつかのLinuxイメージを読み込んでチュートリアルを開始しました。

clouderaからあらかじめ作成されたハープセットアップイメージを取得することもできます。私は、このアプローチはあなたのプライムマシンをインストールして設定するよりはるかに優れていると思います。イベントに問題があると、メインマシンは影響を受けません(仮想Linuxイメージの古いコピーに戻すか、もう一度やり直してください)。

幸運を祈る!

+0

ありがとうございました。私はVirtualBoxを通じてそれをやろうとします。 – Steph

1

Windows上でHadoopを開発することは可能ですが、難しくなります。 Cygwinをインストールする必要があり、すべての環境変数を正しく取得するのは難しい場合があります。 Windowsでの開発を開始するには、vmware playerをインストールして、Clouderaによってあらかじめ設定された仮想マシンを実行することをお勧めします。これは単純に、Windowsシステムを再起動したり再インストールしたりせずに、LinuxでHadoop開発を行うことを意味し、cygwinでのインストールの問題はありません。

https://ccp.cloudera.com/display/SUPPORT/Cloudera%27s+Hadoop+Demo+VM

+0

リンクが古くなり、404エラーが発生します。 – Simulant

1

私は長年にわたりヤフーのチュートリアルに対して頭を叩いています。 Eclipseプラグインはもはや維持されず、かなり信頼性がありません。うまくいけば、クロウデラの画像がそのトリックをやります。

2

私は完全にハーフープに新しく、正直なところ、クロウダチュートリアルと情報は完全に役に立たないことがわかりました。 IBMのものにショットをつけてください、彼らは非常に役立つ、彼らは初心者のために非常にフレンドリーです。ほぼすべてのコアのhadoopアプリケーションと、IBMのディストリビューションに特有のアプリケーションについては、ステップバイステップの説明が必要です。

ここにダウンロードリンクがあります。 -

https://www14.software.ibm.com/webapp/iwm/web/preLogin.do?source=swg-ibmibqsevmw&S_TACT=109HF38W&S_CMP=109HF

あなたはアカウントを作成する必要がありますが、それは自由だし、その時間はかかりません。

今は複数のリンクを投稿することはできませんが、チュートリアルをオンラインで見つけるのはかなり簡単ですし、VM内にも存在します。

また、私が立ち往生したときに私が質問したフォーラムがあり、IBMの誰かがいつも1時間から1時間以内に私を助けてくれました。しかし、あなたがGoogleの "IBM InfoSphere BigInsights Forum"の場合は、最初のヒットです。

Good Luck!

0

"Hadoop Fundamentals I - Version 2"をhttp://bigdatauniversity.comに書き終えました。 IBM BigBisunessInsight VMWareイメージが付属しており、非常にうまく動作します。

イメージには、ローカルモード1とクラスタモード1が含まれています。 8GBのRAMを搭載したWindows 8ワークステーションの複数ノードクラスタをシミュレートすることができます。

この情報は役に立ちましたか?:

関連する問題