hadoop

0熱

1答えて

私が記載されているポイントのIBM article related to Hadoopと1の読み取りを持っていたに近いデータがのHadoop分散ファイルシステムは、多くの目標がありました。データに近い処理ロジックではなく、それは言葉の遊びのように私に聞こえる処理ロジックに近いデータ：ここで最も注目すべきいくつかのです。データに近い処理ロジックと処理ロジックに近いデータには違いがありますか？

0熱

1答えて

ハイブでのインデックス作成の仕組みは？

インデックスは、テーブルの特定の列のポインタに過ぎません。インデックスを作成するとは、テーブルの特定の列にポインタを作成することです。ある列が表内で索引付けされていて、その特定の列のデータがどのように指し示されているかは、その特定の列が照会されたときですか？

-1熱

1答えて

Apache ambariのインストール

私はambariのサーバー+エージェントをインストールしようとしています。私はアンバリについて疑問があります。アンバリをインストールしようとしました。いつもホートンワークとのリンクを取得します私はウブヌ16.0で私自身のhadoopクラスタを持っていることに疑いがあります。 AmbariはHDPのみで動作するのですか、それともカスタム構築されたクラスタでも動作させることは可能ですか？か、

0熱

1答えて

Hadoop Mapreduce、map reduce出力でマッパーに入力されたtxtファイルを書き直すにはどうすればよいですか？

k-meansアルゴリズムを実行するmap reduceプログラムを作成しようとしています。私はmap reduceを使うのが反復アルゴリズムを実行する最善の方法ではないことを知っています。私はマッパークラスとレデューサークラスを作成しました。マッパーコードで入力ファイルを読みました。 map reduceが完了したら、結果を同じ入力ファイルに保存します。どのように出力ファイルをマッパーから入

0熱

1答えて

CACHE_THROUGHでalluxioにデータを書き込むことができません

map reduceを使用してalluxioにデータを書き込もうとしています。私は、alluxio.Itに書いているhdfsに関するデータを約11ギガバイト持っています。これは、MUST_CACHE書込みタイプ（alluxio.user.file.writetype.defaultのデフォルト値）でうまく動作しています。しかし、私はそれが次の例外で失敗している、CACHE_THROUGHを使用し

0熱

1答えて

Zeppelin do CDH 'by the book'を追加するには？

多くのツールがありますが、Cloudera Managerを使用してインストールすることはできますが、Zeppelinはリストに載っていません。 Cloudera CDHスタックにZeppelinを添加する最良の方法は何ですか？私はインターネットでいくつかのドキュメントを見つけましたが、少しマニュアルです。私は管理されたソリューションを探しています。

-1熱

1答えて

hdfsからzipファイルを読み込み、spark javaを使用して抽出します。

hdfs：// localhost：8020/sample.zipにzipファイルがあります。 &を読んでhdfs：// localhost：8020/sampleというディレクトリに解凍する必要があります。以下のコードはジップロックに働くかもしれないは

0熱

1答えて

エラー：スキームなしファイルシステム：HDFS（ドッカー）

私はエラーが発生します：hadoop fs -ls 私は構成が同じであるように、私のローカルマシンの/etc/hadoop/confディレクトリをマウントするボリューム午前を実行しようとするとドッカーコンテナにNo FileSystem for scheme: hdfs。ローカルマシン上でhadooop fs -lsコマンドを実行しても問題はありません。同様の回答は、ホスト/ドッカーの問題に対処

0熱

1答えて

Hbaseテーブル入力形式のFlink DataSet API - 複数行の読み込み

2熱

2答えて

HDFSフォルダ内にいくつかのavroファイルがあるかどうかを確認するにはどうすればよいですか？

私は上記のコードはfalseとなり与えHDFSフォルダ/ユーザー/データ/ output_files内のいくつかのアブロファイル/ file_2017-10-18 scala> val hdfsLoc ="/user/data/output_files/file_2017-10-18/*.avro" hdfsLoc: String = /user/data/output_files/file_2