スパークストリーミングジョブでkafkaProducerをインポートできません

Question

HDFSディレクトリを追跡する単純なspark streamingジョブがあり、新しく追加されたファイルを読み込んでKafkaに送信します。

スパークジョブを送信するときに機能しないため、次の例外がスローされます。ここ

ImportError: cannot import name KafkaProducer

ジョブのコードは、エラーがクリアされている（http://pastebin.com/mpKkMkph）

あります。スクリプトはkafkaProducerをインポートできません。問題は、python shellから問題なくインポートできることです。

Answer 1

最後に私は問題を解決することができましたが、解決策は非常に奇妙で、何が起こったのかについては何の説明もありません。

私はこのコマンドを実行しますcat my_script.py > new_script.py私は新しいファイルを使用してジョブを提出しました。

すべてのことがうまくいきましたが、上記のように私はこの問題については何も説明していません。

ここで注意しなければならないもう1つのことは、通常のcpコマンドを使用してファイルをコピーしても機能しませんでした。他のファイルへの内容はcatのみです。

私がこの問題をPythonスクリプトで直面するのは2度目ですが、誰もがそれをイラスト化してくれることを願っています。