2016-08-22 13 views
8

私は複数の大きなデータツールを評価しています。そのうちの1つは当然インパラです。
クラスタノードでプロセスを手動で起動してImpalaクラスタを開始したいと考えています。私は現在Spark、H2O、Presto、Daskのためにバイナリを取得し、ノードにコピーし、configを編集し、シェルからノード上のサービスを開始したいと思います。これは非常にうまく動作します。アップグレードするのは簡単です。必要に応じて、より大きな/別のクラスターに簡単に移動できます。残念ながら、シェルから必要なサービス(Catalog Server、StateStore、デーモン)を開始するための適切な方法でリソースを見つけることはできません。
私はそれが明白な仕事だと仮定しますが、適切な例を見つけることができないので、Impalaのバイナリを呼び出すシェルからImpalaクラスタを起動するにはどうすればよいですか?移植可能なバイナリからimpalaクラスタを実行しています

+1

何公式Apacheのサイト上で* "インパラの起動" *セクションについてはどうですか? http://www.cloudera.com/documentation/enterprise/latest/topics/impala_processes.html#starting_via_cmdline –

+0

免責条項:スタンドアロンインストールや手動による起動を試みることは決してありませんでした。 Cloudera Managerは全部を管理しています。(そして、クラッシュするたびに自動的にデーモンを再起動します。それは面白い経験ですが、約20年で恐ろしいUnixのSEGVの不具合は見られませんでした。 !)* –

+0

@SamsonScharfrichterこれは私の質問には関係していないようです。明確でない場合は、Spark、H2O、PrestoまたはDaskの実行例を追加できます。ダウンロードしたアンパックバイナリに対するシェルコマンド。インストールやOSレベルのサービスはありません。私はCloudera Manager *によってまともな仕事に同意しますが、さまざまな環境でさまざまなバージョンを実行し、インパラ/ CDHを再インストールしてアップグレードする必要があります。 – jangorecki

答えて

2

....私は、クラスタノードで手動でプロセスを開始することでImpalaクラスタを起動したいと思います..... Impalaのバイナリを呼び出すシェルから、どのようにImpalaクラスタを起動できますか?

私は、これはあなたが探しているものだと思い: http://www.cloudera.com/documentation/enterprise/5-5-x/topics/impala_processes.html#starting_via_cmdline

アップデート1:

あなたは、このリンクからのみ、必要な情報を選択することもできます。http://doc.mapr.com/plugins/servlet/mobile#content/view/28869628

それは手順を持っていますgithubからimpalaをビルドして、maprで実行する。

アップデート2:

これらのリンクをチェックし、インパラを構築するには: https://github.com/cloudera/Impala/wiki/Build-prerequisites https://github.com/cloudera/Impala/wiki/How-to-build-Impala https://cwiki.apache.org/confluence/display/IMPALA/Building+Impala

アップデート3:

:ポータビリティに関する専門家の提案については

はと連絡を取ってください

インパラの開発者:[email protected] ator.apache.org

http://impala.apache.org/community.html

時間があることから考えると、あなたは容易に利用可能なLinuxの本番環境用のバイナリをビルドするために検討することができます。

状況にいくつかのより便利なリンク:

https://cwiki.apache.org/confluence/display/IMPALA/Tips+for+Faster+Impala+Builds https://cwiki.apache.org/confluence/display/IMPALA/Building+native-toolchain+from+scratch+and+using+with+Impala

+0

マルコのおかげで、今は洞察力のある答えですが、実用的ではありません。ソースからのインパラの構築がパフォーマンスに影響する可能性はありますか?要点は、簡単に再現可能なベンチマーク[db-benchmark](https://github.com/h2oai/db-benchmark)にインパラを追加することです。したがって、CDHまたはソースからのビルドでは、探している。 – jangorecki

+1

@jangorecki:私は個人的にソースからビルドを試みていませんが、パフォーマンスには影響しないと考えています(クラスタ構成、リソース、負荷に大きく関係しているため)。私はあなたが達成しようとしている普遍的な移植性は、マシン固有のコンパイラがそれぞれのバイナリを作成することを必要とするC++コンポーネントが存在するため、実用的ではないと思います。 – Marco99

+1

@jangorecki:万が一、普遍的な移植性を達成するための他のインプットがありますか?あなたがした場合は共有してください。 – Marco99

関連する問題