ログがなくてもジョブが永久にハングする

Question

Python SDKでは、extra_packageオプションを使用してカスタムParDoを使用すると、ジョブが永久にハングしているように見えます。ここで

は、例えばジョブIDである：私はそれがextra_packageオプションに関連しているようだということに気づい

... 2016-12-22_09_26_08-4077318648651073003

明示的なログやエラーがスローされませんので、私は実際にトリガすることなく、このオプションを使用する場合ParDo（コードコメント）、どちらも動作しません。 単純な出力スキーマと変換ステップのない最初のBqクエリが機能します。

誰かに起こりましたか？

P.S：私はDataFlow 0.4.3バージョンを使用しています。私はvenv内部でテストし、thylongとJKFFによって決定されるようにDirectPipelineRunner

Answer 1

で動作するようです：

extra_packageは、データフローのパッケージとのバイナリ互換性がありませんでした。ルートディレクトリのrequirements.txtとextra_package内のrequirements.txtが異なるため、DataFlowコンテナ内のexec.goが何度も失敗しました。修正するために、私たちは同じフリーズされた依存関係を持つvenvを再作成しました。