webhdfs

3熱

1答えて

HDFSでいくつかの実験を行うために、単一ノードのHadoopクラスタをセットアップしました。 Webアクセスを使ってみれば、私は専用のフォルダを作成し、コマンドラインを使ってそれをローカルシステムからコピーしました。それはすべてWeb UIに登場しました。その後、私はWebHDFS経由でアクセスします。たとえば： curl -i "http://127.0.0.1:50075/webhdfs/

0熱

3答えて

hadoopのデータノードのディスクスペースを知っていますか？

各データノードのディスク容量またはクラスタ全体のディスク容量を知る方法やコマンドはありますか？私は、コマンドに dfs -du -h/ を試みたが、私が多くのディレクトリのためにそれを実行する権限を持っていないので、実際のディスクスペースを得ることができないようです。

0熱

1答えて

Hadoop WebHDFSでOAuth2を有効にする方法

Hadoopバージョン2.8.2を実行していて、WebHDFSクライアントアプリケーションのOAuth 2クライアント資格認可フローを設定しようとしています。私はここに書かれたガイダンスに従った：WebHDFS REST API。このページでOAuth2を検索して、WebHDFS用のOAuth 2の設定に関するセクションを見つけてください。ここで私はHDFS-site.xmlのに追加のOAuth

1熱

1答えて

NodeJSのタールパッキングからwebhdfsへのエラー

現在、私のサービスが実行されていないときに、データ用の長期記憶域としてhadoopを使用するノードアプリケーションを構築しています。予想される転送量と、処理時間の最小化が望まれるため、データはディスクに書き込まれるのではなく、代わりに直接私が意図したものにパイプされます。 \nodejs_host\node_modules\webhdfs\lib\webhdfs.js:588 src.u

0熱

1答えて

は、Java APIを使用してリモートHDFSにローカルファイルをアップロードするが、私は1ノードhdp2.5クラスタにファイルをアップロードするには、この非常に簡単なアップロード方法を持っている

をlocalhostに接続します Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("webhdfs://hdsfhost:50070", conf); fs.copyFromLocalFile(false, true, new Path(localFilePath), new Pa

0熱

1答えて

C＃HDFSファイルのアップロードタイムアウト

私は、Microsoft.Research.Peloponnese.WebHdfsを使用してHDFSにファイルを書き込みます。しかし、これを使ってファイルをアップロードするには100秒のタイムアウトがあるようです。私はこのタイムアウトを変更する方法を見つけませんでした。 using (var hdfs = new WebHdfsClient(user, port)) { using (

1熱

2答えて

Azure HDInsightのwebHDFS URLは何ですか？

ここには紺色です。通常のストレージアカウント上に新しいストレージインスタンスを持つ新しいHDInsightインスタンスのスピンアップが完了しました。私はwebHDFSのURLが何であるか/私がどこでそれを取得できるのか、どのように私がアクセスできるのか不思議です。私はAzure Data Lakeストレージを使用していません。（私はいくつかのデータ湖のリンクに紺碧の関連リードを発見したほぼすべ

1熱

1答えて

HDFS内のファイルの行数を検索して、QCファイル内のカウントと比較します。

データファイルとqcファイルがHDFSにロードされており、QCファイル内のカウントとデータファイルの行数を比較します。このために、私は、QCファイルのカウント部分を抽出し、データファイルのためにwc -lを実行するシェルスクリプトを書いた。 QAファイルの場合：： qccount=$(webhdfs -cat hdfs://${CLUSTER_NAME}$hdfs_src_path/$dire

3熱

1答えて

ドッカーkerberos webhdfs認証：無許可

私は春のアプリを持っています。メソッドの1つはwebhdfsを使ってhdfsからファイルを読み込みます。アイデアで試してみると、うまくいきます。しかし、私がプロジェクトをビルドし、バーチャルマシンにローカルまたはhdfsに接続されたサーバー上にドッカーイメージを展開した後、私は取得します。私のローカルマシン上 AuthenticationException: Unauthorized 私はre

2熱

1答えて

WEBHDFS REST APIを使用してWindowsサーバ/ローカルフォルダ/デスクトップからHDFSにファイルをコピー/移動する

WEBHDFS REST APIコールを使用すると、Windowsマシン（WindowsサーバまたはWindowsのローカルフォルダまたはデスクトップ）からHadoop- HDFSファイルシステム？はいの場合、サンプルコマンドの情報はありますか？私は試してみたところ、 Windows - >（ftpを使って） - > Linuxディレクトリ - >（webhdfsを使って） - > HDFSと