hadoop

1熱

1答えて

私はthisを経由して見ましたが、それらは私をあまり助けてくれませんでした。私はYarnを既存のクラスタで動作させようとしています。これまでは、リソースアロケータとしてsparkスタンドアロンマネージャを使用しており、期待通りに動作していました。これは私たちのアーキテクチャの基本的な概要です。白いボックスのすべてがドッカーのコンテナで動作します。 ./pyspark --master yarn

0熱

1答えて

Apache Pigでcsvファイルを読み込む際にエラーが発生しました

hdfsモードでapache pigの次のコマンドを使用してデータをロードしようとしました： test = LOAD /user/swap/done2.csv PigStorage（ '、'）as（ID ：long、国：chararray、運送業者：float、ClickDate：chararray、デバイス：chararray、OS：chararray、ユーザI：chararray、出版社ID：

0熱

1答えて

SparkでHadoop Credential providerを使用してOracleデータベースに接続する方法は？

私はSparkとOracleだけでなく、SqoopとOracle間の安全な接続を確立しようとしています。私の研究の後、私は2つの異なるセットアップのための2つの異なるオプションを見つけました。パスワードがspark.jdbc.b64password、さらにを使用して暗号化されているOracleにスパークを接続それはスパークコードで復号し、JDBC URLで使用されています。 Hadoop資格プロ

0熱

1答えて

YARNがコンテナを殺すと検出する

私はJavaでMR2ジョブを持っています。コンテナ内のコンテナキルを検出して処理することは可能ですか？私は Runtime.getRuntime().addShutdownHook(new Hooker(this)); ようなコードを使用しようとしたが、フッカークラスのインスタンスからのログは見つからなかったがありました。このコンテナのJavaヒープダンプを取得することは可能でしょうか？

1熱

2答えて

hadoop .xmlファイルを編集するノードはどれですか？

hadoop.xml設定ファイル（例：hdfs-site.xml）を編集するときに、hadoopクラスタのどのノードをファイルの編集に使用する必要がありますか？つまり多くのノードのクラスタには、.xmlファイルと.propertiesファイルを含むhadoopフォルダがあり、ファイルの '設定'は設定を変更するために編集する必要があります。 docsを見てもわかりません。例：私はhadoopにh

0熱

2答えて

WindowsのUbuntuでBashでHadoopの権限が拒否されました

HDFSサービスを使用するためにHadoopをインストールしようとしています。私は、Windows（ないVM）上のUbuntu上のBashでそれをやっている： https://www.microsoft.com/fr-fr/store/p/ubuntu/9nblggh4msv6 私は（Hadoopのインストールのための最もチュートリアルには本当に似ている）この1だっ続くチュートリアル： https

0熱

1答えて

Impala外部テーブルの場所/ URI

Cloudera Impalaを使用してCREATE TABLE X LIKE PARQUET構文を使用して作成された外部（管理されていない）テーブルのアプリケーションの問題をトラブルシューティングしています。私は外部テーブルのパーティションを構成するファイルの場所を決定しようとしていますが、これを行う方法を決定することが難しい、またはこれを説明するドキュメントを見つけることができません。私がな

0熱

1答えて

リモート展開によるHadoop Key-Valueストア

私のアプリケーションは、Kerberos keytabを使用した糸クラスターモードのspark-submitと、このガイドのプリンシパル（https://spark.apache.org/docs/latest/running-on-yarn.html）を経由してリモートからPCから起動されます。この方法の利点は、自分のバージョンのスパークがどのクラスタにもあることです。 HADOOP_CONF_

0熱

1答えて

hdfs namenode -formateコマンド中にubuntuにhadoopをインストール中にエラーが発生しました

hdfs namenode -formatにしようとしましたが、javaは許可を拒否しました！あなたはHadoopのユーザーとして名前ノードを開始ドント場合

1熱

1答えて

HDFSの変更を維持するための編集ログが必要な理由

HDFSの変更を書き留めておくメディエーターが必要なのはなぜですか。変更を直接FSimageに書き込むことができないのはなぜですか？なぜ我々はその中間にメディエーターが必要なのか？親切に助けてください