ハイブクエリBlockMissingException

Question

TEZとMapReduceの両方の実行エンジンに問題があります。どちらも許可に関連しているように見えますが、私の人生のために、私は失われています。私はTEZを通してそれを実行すると

私はこのメッセージが表示されます。

org.apache.hadoop.hdfs.BlockMissingException： BP-300459168-127.0.1.1-1478287363661：blk_1073741961_1140 ファイルブロックを取得できませんでした=を/ tmp /ハイブ/ hiveuser/_tez_session_dir/03029ffd-a9c2-43de-8532-1e1f322ec0cd/

-core.jar hcatalog-ハイブHDFS内のファイルのパーミッションを見てみるとしかし、彼らは正しい表示されます。

drwx ------ - hiveuserのHadoopの0 2016年11月11日9時54/TMP /ハイブ/ hiveuser/_tez_session_dir/03029ffd-a9c2-43de-8532-1e1f322ec0cd

drwx ----- - - hiveuserのHadoopの0 2016年11月11日9時54 /tmp/hive/hiveuser/_tez_session_dir/03029ffd-a9c2-43de-8532-1e1f322ec0cd/.tez

-rw-R - r--の3 hiveuserのHadoopのMapReduceの上259706 2016年11月11日9時54分/tmp/hive/hiveuser/_tez_session_dir/03029ffd-a9c2-43de-8532-1e1f322ec0cd/hive-hcatalog-core.jar

メッセージは、この

012であります

取得できませんでしブロック： BP-300459168-127.0.1.1-1478287363661：blk_1073741825_1001 ファイル=/HDP /アプリケーション/ 2.5.0.0-1245/MapReduceの/ mapreduce.tar.gz

ファイルのパーミッションR - - 1つ

-rにr--の3 hdfsuserのHadoopの51232019 2016年11月4日午前16時40分/hdp/apps/2.5.0.0-1245/mapreduce/mapreduce.tar.gz

誰でも私がそこにないことを教えてください。お願いします？

Answer 1

を削除fsckを実行し

hadoop dfsadmin -safemode leave 

をセーフモードを残して、私は最終的に出て、これを考え出し、解決策を投稿する私の優しいだろうと思っています。あなたが最終的にそれを得るとき、あなたは "うん、それはとても分かりました"と思う人のひとりです。 1つの重要な点は、Hiveに問題がある場合は、必ず糸ログもチェックしてください！

私の解決策は、他の多くの問題が、すべてのノードがホストファイル内の他のすべてのノードのIPアドレスを持つようにすることでした。これにより、アンバリは正しいIPをすべてホスト名でピックアップします。 vimの/ etc/hostsの

$し、ファイルは次のように探して出てきた：セーフモードで

127.0.0.1  localhost 
#127.0.1.1  ambarihost.com ambarihost 
# Assigning static IP here so ambari gets it right 
192.168.0.20 ambarihost.com ambarihost 

#Other hadoop nodes 
192.168.0.21 kafkahost.com kafkahost 
192.168.0.22 hdfshost.com hdfshost 

Answer 2

1）タイプhadoop fsck HDFS_FILE特定のhdfsファイルが正常であるかどうかを確認します。そうでない場合、特定のファイルが破損しています。破損したファイルを削除し、そのjarファイルをコピーしようとすると、コマンドの下

2を試してみてください）のHadoop dfsadminを入力失われたブロックの値かどうかを確認-report：0

3）名前のノードのWeb UIの起動の進捗状況を確認する - >セーフモード100％は他の が失われたブロックに