hadoop

0熱

1答えて

MapReduceアーキテクチャを使用してHadoopフレームワークに基づくJavaクローラを実装し、HBaseにコンテンツを挿入したいと考えています。私はこの2つのチュートリアルを結合しよう： Basic web crawler example MapReduce tutorial しかし、私は概念を理解することはできません。ページからリンクを抽出するロジックを置く場所はどこですか？マッパーの

0熱

1答えて

Hadoop PIG（ネストされたJson）

私はユーザーによる評価の映画のリストを持っています。 {"_id":59607,"title":"King Corn (2007)", "genres":["Documentary"], "ratings":[ {"userId":1860,"rating":3}, {"userId":9970,"rating":3.5}, {"userId":

0熱

1答えて

HBaseTestingUtility - ログレベルを変更する

HBaseTestingUtilityを使用して、HBase関連のコードをユニットテストします。問題は、ユニットテストを実行している間に、出力にトンのorg.apache.hadoop.* DEBUGメッセージが入力されることです。しかし、何の成功 - HBaseTestingUtility utility = new HBaseTestingUtility(); utility.startMi

0熱

1答えて

spark.writeStreamの結果をハイブに保存するにはどうすればよいですか？

spark.readStreamを使用して、カフカからデータを読み込み、結果のデータフレームで爆発を実行しています。私はHiveテーブルに爆発の結果を保存しようとしていますが、私はその解決策を見つけることができません。 val query = tradelines.writeStream.outputMode("append") .format("memory")

0熱

1答えて

ワーカーマシン上のディスクを増やした場合の青写真/ ambariクラスタを更新する方法

我々は、各労働者が5枚のディスクを持っている3マスター機、2カフカさんと3台の労働者のマシンとambariクラスタを持っているとして： /dev/sdb 200G 477M 200G 3% /gr/sdb /dev/sdc 200G 183M 200G 1% /gr/sdc /dev/sdd 200G 283M 200G 2% /gr/sdd /dev/sde

0熱

1答えて

のNutchとHBaseの設定エラー

私はNutchのとHBaseのは、このドッキングウィンドウの画像に基づいて作業を取得しようとしています：https://hub.docker.com/r/cogfor/nutch/ 私はURLのファイルを注入しようとする例外取得しています：私は InjectorJob: starting at 2017-12-19 20:49:45 InjectorJob: Injecting urlDir:

0熱

2答えて

hdfsディレクトリへの読み書き権限を変更できません

hdfsの場所にテキストファイルをコピーしようとしています。私はアクセスの問題に直面しているので、アクセス権を変更しようとしました。しかし、私はエラーの下に直面し、同じを変更することはできませんよ： [email protected]:~$ hadoop fs -put test.txt /user put: Permission denied: user=chaithu, access=W

-4熱

1答えて

リモートのhadoop jarファイルを参照するには？

他のコンピュータ（Ubuntu）でhadoop jarファイルを利用する方法をteamviewerを使用して追加する方法.Windowsでjavaプログラムを実行する。

0熱

2答えて

Scalaを使用してファイルをローカルからHDFSに移動するときのエラー

ローカルディレクトリに存在するファイル名を含むScalaリスト：fileNamesがあります。例：スカラ座を使用してHDFSにローカルから、ファイル名：私は、リストからファイルを移動しようとしています fileNames(2) res0: String = file:///tmp/audits/xx_user.log 。これを行うために、私は以下の手順に従った。 import org.ap

1熱

1答えて

Hiveクエリの結果をテキストファイルに書き込むときにNULLが '\ N'として表示されます

Hiveの[ディレクトリに書き込む]機能を使用して、Hiveクエリの結果をダウンロードしようとしています。いくつかの列では、私のクエリはNULLの値を返していますが、生成されたファイルでは、これは\Nに置き換えられています。これはHiveの予想される動作ですか？生成されたファイルをBigqueryテーブルにアップロードする必要があります。ファイル内で\Nを受け取った後に、\NをNULLまたは空の