hdfs

0熱

1答えて

VPC内の4つのノード（3つのスレーブ）、すべての個々のEC2にHadoopクラスタを設定しています。おおよそ次の手順を実行する（代わりにHadoop 2.8.1をインストール）： $ hdfs namenode -format 17/09/26 07:05:34 INFO namenode.NameNode: STARTUP_MSG: /***************************

0熱

1答えて

ハイアベイラビリティを持つNamenodeと飼育係ベースのリーダー選択

私はApache Hadoopのドキュメントとclouderaのドキュメントで2種類のことを読んでいます。 Clouderaのに基づいては、我々は、プライマリとセカンダリの名前ノードを定義することにより：すなわち、高可用性モードで名前ノードを設定する必要がありますが、Hadoopのドキュメントに基づいて、これは自動的に飼育係で世話をしなければならないし、それが利用可能datanodes間で名前ノ

0熱

1答えて

Apache Sparkの単語で始まる複数のhdfsディレクトリを削除するには

私はdstream.saveAsObjectFiles("/temObj")を使用してスパークストリーミングでオブジェクトファイルを保持しています。これはhdfsに複数のファイルを表示します。 temObj-1506338844000 temObj-1506338848000 temObj-1506338852000 temObj-1506338856000 temObj-15063388

1熱

2答えて

HDFSでPathから絶対パスを取得する方法

私はHDFSをかなり新しくして、次の問題に直面しました。org.apache.hadoop.fs.PathにはgetAbsolutePathのようなメソッドがありません。Stringを返します。 toStringの方法は適切に文書化されていないため、信頼性はありますか？

1熱

1答えて

HDFS APIでローカルファイルシステムを指定する方法は？

HDFS APIを使用してローカルファイルシステムにアクセスしたいと考えています。私は、次があります。 String filename; //... Path p = new Path(filename); p.getFileSystem(new Configuration()).create(p); 問題は、私が同じマシン上にHDFSのノードを持っていると私はp.getFileSyst

0熱

1答えて

クラスタへのスパークリモート実行が失敗しました - HDFS接続が8020で拒否されました

YARN上で実行されているSpark Clusterから外部のマシンからspark-submitリモートジョブを送信する際に問題が発生しています。私のコア-site.xmlの中 Exception in thread "main" java.net.ConnectionException: Call from remote.dev.local/192.168.10.65 to target.dev

0熱

1答えて

Apache Kafkaをファイルウォッチのシステムとして使用できますか？

ソースパスとコピー先パスがHDFSにあります.OutStreamはソースパスにファイルを置きます。コピー元ファイルソースパスからデスティネーションパス。ここでは、シェルスクリプトを使用しています。しかし私はその間にカフカを使いたいと思っています。私はそれについて研究し、HDFSシンクコネクタだけを見つけました。 HDFSのソースコネクタはありません。私の質問はここでカフカを使用することができ

0熱

1答えて

hdfsファイルのタイムスタンプをミリ秒レベルに見つける方法

HDFSのファイルのタイムスタンプをミリ秒レベルにする方法はありますか？例えば： Linuxでは、私たちはフルタイム以下の$ lsのようなスタンプ--full-時間合計4 -rw-rは得ることができます - R - 。 1 bigdatauser hadoop 0 2017-09-15 01：09：25.068425282 -0400 newfile1.txt -rwxrwxrwx。 1つの

0熱

1答えて

Ambariでブラウザからhdfs-site.xmlとcore-site.xmlにアクセスできるようにするにはどうすればよいですか？

私がインストールするサービスはセットアップ時にこれらのファイルを取得する必要があるので、url経由でアクセスできるようにするにはhdfs-site.xmlとcore-site.xmlファイルが必要です。私はAmbariを使って自分のhdfsとhadoop/stackを管理しています。

0熱

1答えて

HDFSでのパーツファイルの命名規則

HiveでINSERT INTOコマンドを実行すると、実行結果によってHDFSに複数のパーツファイルが作成されます。 part - * - *****または000000_0,000001_0など、その他これらのパーツファイルの命名を制御する設定/設定はありますか？私が扱っているクラスタは、000000_0、000001_0、000000_1などを作成します。これらのファイルを選択して必要に応じ