hadoop2

0熱

1答えて

Beeline CLIを使用してHiveServer2に接続しています。私は、接続するには、次のコマンドを使用しています： beeline -u jdbc:hive2://myhost.abc.com:10000/default -n myuser -w pass_sa -e "show tables;" 接続が成功したと私は私のパスワードは私がパスワードファイルを使用して暗号化されたパスワードを

-1熱

1答えて

エラーを解決する方法：値reduceByKeyはorg.apache.spark.rdd.RDD [（Int、Int）]のメンバーではありませんか？

私はapache sparkを学習しており、scala端末上で小さなプログラムを実行しようとしています。私は、次のコマンドを使用して、DFS、糸や履歴サーバを開始しました： start-dfs.sh start-yarn.sh mr-jobhistory-deamon.sh start historyserver 、その後、Scalaのターミナルで、私は次のコマンドを書かれている： va

0熱

1答えて

Webページからファイルを直接ダウンロードしてローカルファイルを使用せずにHDFSに直接ファイルを配置する方法は？

私は助けが必要です。私は、Pythonコードを使用してWebページからファイルをダウンロードし、ローカルファイルシステムに配置してから、putコマンドを使用してHDFSに転送してから操作を実行します。しかし、ファイルサイズが非常に大きく、ローカルファイルシステムへのダウンロードが適切な手順でない場合があります。ですから、ファイルをローカルファイルシステムを使用せずにHDFSに直接ダウンロードした

0熱

1答えて

異なるS3バケットにrddを同時に保存する方法

計算されたrddを別の場所に保存する方法を知りたい。計算なしで通知するためにも同様に拡張します。 rdd = <do some action> 私はrdd.saveAstextFile("s3://<location1>")がlocation1、に保存されますが、私はlocation2に保存したい場合も、どのようにそれを行うには知っていますか？ persist/cache（私の理解ではマス

0熱

1答えて

メモリ構成

メモリ構成に関する質問がありました。 Spark、Cassandra、Hadoop、Thrift、Yarnの3ノードクラスタを実行しています。私はファイルをhdfsに保存したいので、hadoopをロードしました。私は私のクエリを実行するときに私はメモリが不足していることを発見しています。私は4GB未満で実行するようにcassandraを制限する方法を見つけ出すことができました。このようなハープの設

0熱

1答えて

YARNがコンテナを殺すと検出する

私はJavaでMR2ジョブを持っています。コンテナ内のコンテナキルを検出して処理することは可能ですか？私は Runtime.getRuntime().addShutdownHook(new Hooker(this)); ようなコードを使用しようとしたが、フッカークラスのインスタンスからのログは見つからなかったがありました。このコンテナのJavaヒープダンプを取得することは可能でしょうか？

1熱

1答えて

HDFSの変更を維持するための編集ログが必要な理由

HDFSの変更を書き留めておくメディエーターが必要なのはなぜですか。変更を直接FSimageに書き込むことができないのはなぜですか？なぜ我々はその中間にメディエーターが必要なのか？親切に助けてください

0熱

1答えて

Oozie 4.3.0ビルドはHadoopの2.9.0

に失敗した私はこのようなコマンドでビルドを実行した ./mkdistro.sh -DskipTests -D hadoop.version=2.3.0 -P uber -P hadoop-2 しかし、すべてのエラーメッセージで失敗しました： [ERROR] COMPILATION ERROR : [INFO] ------------------------------------------

0熱

2答えて

出力内のヘッダーを削除します

私はハイブテーブルを照会し、出力結果を変数として保存するためにbeeline cliを試行しています。真っすぐコマンドを使用する：このコマンドを使用 beeline -u connection_string -n user_name -w password_file \ -e "select count(*) from db.table_name" 、私は、現在の出力結果を得る：私は必要な

0熱

1答えて

Hadoop fs -lsは、hdfsボリュームのファイルではなく、現在の作業ディレクトリのファイルを出力します。

OpenSuse Tumbleweed 20170703でHadoop 2.8.2で単一の擬似分散ノード（localhost）をセットアップしました。Javaバージョンは1.8.0_151です。一般的に、それは正しく設定されているようです。私はエラーなしなどとnamenodeの書式を設定でき私がしようとしたときしかし、現在の作業ディレクトリからhadoop fs -ls、ファイル/ディレクトリが