2017-10-31 6 views
0

我々は成功し、ここでの手順を使用して、それらをインストールsetup.pyを書いたGoogle Dataflow非Python依存関係 - 別のsetup.py?

(私たちはMSSQL DBにアクセスするためのODBCドライバが必要です)私たちのデータフロープロセスにインストール非Pythonの依存性を必要とする:https://cloud.google.com/dataflow/pipelines/dependencies-python#non-python-dependencies

私たちはパッケージのオリジナルのsetup.pyを保持したい(余分な依存関係をインストールしない)。 Dataflowインストールに別のsetup.pyを使用する方法はありますか?

我々は試してみました:setup_dataflow.pyそれを呼び出す

  • を、しかし、データフローは、それがsetup.pyと呼ばれるように必要な旨のエラーが発生しました。
  • 、ステップhereに続き、ルートパスへの子パス内でsetup.pyを使用します。私たちは、

    我々は(私はこれを識別するための任意の信頼性の高い環境変数を見つけることができませんでしたが)それはデータフロー環境にインストールされていますかどうかを識別するためにsetup.pyif文を試みることができるよう

で成功しませんでしたアドバイス/提案はありますか?

ありがとうございました

+0

ジョブをDataFlowにスケジュールするにはどうすればよいですか? –

+0

現在、コマンドラインから(標準の例に似て) – Maximilian

答えて

0

現在のところ、これを行う便利な方法はありません。

+- dataflow_pipeline 
++- setup.py 
+- original_pipeline 
++- setup.py 
++- pipeline.py 

dataflow_pipeline/setup.pyは、単にoriginal_packageをインポートし、余分な依存関係を追加します。次の2つの異なるパッケージ、そのようなものを持つことができます。

これは理想的ではありませんが、うまくいくはずです。

+0

'original_pipeline'はどのようにインストールされますか?ビルドして 'extra_package'として出荷しますか? – Maximilian

関連する問題