豚//スパークジョブは、Pythonモジュールに

Question

を見ていない私はその中で私のHadoopクラスタと定期的な問題を持って時折機能コードは、適切な場所にあるのpythonモジュールを見て停止します。私は、同じ問題に直面しているかもしれない人からのヒントを探しています。

私が最初にプログラミングを始めてコードが動作しなくなったとき、私はここで質問をした。誰かが私に就寝するようにと言った。そして朝、それはうまくいくはずだ。何かを変えてしまった」とコメントしています。

私はコードを何回か実行していますが、私は眠りにつきます。午前中にもう一度実行しようとすると失敗します。 CTRL + Cで仕事を殺したり、CTRL + Zを使うこともあります。しかし、これはリソースを消費するだけで、それ以外の問題は発生しません。コードは引き続き実行されます。 私はまだコードが動作した直後にこの問題を見ています。これは通常、午前10時前にコードが動作した後に作業に入る午前中に発生します。クラスタを再起動すると通常問題が解決されます

現在、クラスタが何らかの理由で再起動するかどうか、またはその一部が失敗しているかどうかを確認していますが、Ambariの画面には緑色が表示されます。自動化されたメンテナンスがあるかどうか分からない。

まだ象の本を通っていて、申し訳ありませんが、このトピックがXXXXページに明白に記載されていれば、私はそのページにまだ作成していません。

私はすべてのエラーログを見て、私は見るだけで意味のあるものは標準エラー出力にあります。

File "/data5/hadoop/yarn/local/usercache/melvyn/appcache/application_1470668235545_0029/container_e80_1470668235545_0029_01_000002/format_text.py", line 3, in <module> 

    from formatting_functions import * 

ImportError: No module named formatting_functions 

Answer 1

だから我々は問題を解決しました。この問題は私たちのセットアップに特有です。私たちはすべてのdatanodes nfsをマウントしています。場合によってはノードに障害が発生し、誰かがそれを戻して再マウントする必要があります。 $のpath_to_mntは、ノードの一つのために無効だったので、そう豚は、ライブラリを見つけることができませんでした「

pig -Dmapred.child.env="PYTHONPATH=$path_to_mnt$hdfs_library_path" ... 

：

このスクリプトは次のようにライブラリへのパスを指定します。