hdfs

0熱

1答えて

オンデマンドHDFSのデータをGoogle Cloud Storageに安全に転送するにはどうすればよいですか？

私は、オンデマンドのHDFSインストールで多数のデータを持っています。私はその一部をGoogle Cloud（Cloud Storage）に移行したいと思っていますが、いくつか懸念があります：実際にデータを移動するにはどうすればよいですか？私は公共のインターネットクラウドストレージへの私のHDFSストアからデータを安全に移動するための最良の方法は何の上に移動する心配？

0熱

2答えて

HDFS内の/ tmpフォルダにアクセスできない

ローカルマシン上でnode、datanode、およびmrという名前のサービスを開始し、すべてのサービスが実行されています。次に、jpsコマンドの結果を示します。 kv:~ karan.verma$ jps 4499 SecondaryNameNode 420 4676 NodeManager 4741 JobHistoryServer 5125 Jps 4406 DataNode 4

0熱

2答えて

S3内のFileUtil.copyMerge（）

DataFrameをHDFSにtextという形式でロードしました。以下のコードを使用しています。 finalDataFrameはDataFrame finalDataFrame.repartition(1).rdd.saveAsTextFile(targetFile) 私は提供されるファイル名とディレクトリの下に作成されたディレクトリは、ファイルが作成されたことがわかっ上記のコードを実行した後

0熱

1答えて

以下の説明は、クラスから引き出されるHadoopのソースコードを1として連続的

HDFSにストリームデータを更新するために使用されるのHadoop -put対のHadoop -appendToFileの違いは何である - がappendToFile "Appends the contents of all the given local files to the given dst file. The dst file will be created if it does

4熱

1答えて

Hadoop 2.7.4リソースを使用して糸を設定する

これは、tutorialに従って、hadoop 2.7.4を設定しました。 DataNode、NameNode、およびSecondaryNameNodeが正しく動作しています。しかし、私は糸を実行すると、ノードマネージャは、次のようなメッセージでダウンした org.apache.hadoop.yarn.exceptions.YarnRuntimeException： org.apache.had

1熱

1答えて

Hadoop Hortonworksサーバーがダウンしました

私はMacBookにHortonworks Hadoopシステムをインストールしました。すべてがうまくいっていて、サーバーは機能していましたが、電源を切ってもう一度オンにします。バーチャルボックスを今日試して、Hadoopに接続しようとしました。私は非常に多くのサーバーが動作していないことを知りました（MapReduce、Hive Yarn ..）。愚かな質問かもしれませんが、私はとても新しいで

0熱

1答えて

Flinkはhdfsからデータを読み取る

私はFlinkの新入生で、hdfsからデータを読み取る方法は不思議です。誰かが私にいくつかのアドバイスや簡単な例を与えることができますか？皆さん、ありがとうございました。

-1熱

2答えて

いくつかのファイルをHIVEテーブルにロードしてください

私は1つのHIVEテーブルに非常に多くのファイルを分析しようとしています。主要な洞察力、私はjsonファイルで作業しており、テーブル構造は次のとおりです。 CREATE EXTERNAL TABLE test1 ( STATIONS ARRAY<STRING>, SCHEMESUSPENDED STRING, TIMELOAD TIMESTAMP ) ROW FORMAT SERDE '

1熱

1答えて

追加を使用し、最後にsqoopインポートステートメントで変更しました

sqoopを使用して、Oracleデータベースからデータを抽出します。HDFS。人々はSQLテーブルに定期的に新しい行を更新したり追加したりしていました。私はsqoopインクリメンタルインポート--appendと--last modifiedオプションを知っています。私の質問は、同じインポートステートメントで両方のオプションを使用できるかどうかです。例えば、 sqoop --increment

0熱

1答えて

HDFS再発のエラー：複製されていないブロック

毎日、Hadoopクラスタは、「複製禁止ブロック」があると報告しています。これはCloudera Managerによって管理されます。私は問題を修正するコマンドが実行されている ! Under-Replicated Blocks Concerning: 767 under replicated blocks in the cluster. 3,115 total blocks in the clu