2017-11-07 4 views
0

私は、データフローと通常の環境の両方で使用されるライブラリにいくつかのconfigを使用したいと思っています。コードはGoogle Dataflowで実行されていることをどのようにして知ることができますか?

コードがデータフローで実行されていることを確認する方法はありますか?例えば、環境変数を見ることができませんでした。 Google Dataflow non-python dependencies - separate setup.py?

答えて

0

は、これは良い答えではありませんが、それは我々が現時点でできる最善のことがあります

if 'harness' in os.environ.get('HOSTNAME', ''): 
0

一つのオプションに

準フォローアップは、パイプラインランナー情報が含まれているPipelineOptionsを、使用することです。ビームのドキュメントに記載されているように、「あなたが選んだランナーにパイプラインを実行すると、PipelineOptionsのコピーがあなたのコードで利用可能になります。たとえば、DoFnのコンテキストからPipelineOptionsを読むことができます。

PipelineOptionsについて

より:https://beam.apache.org/documentation/programming-guide/#configuring-pipeline-options

+0

あなたはデータフローのオプションにアクセスする方法は? – Maximilian

+0

DoPnでgetPipelineOptionsを使うことができます:https://beam.apache.org/documentation/sdks/javadoc/0.5.0/org/apache/beam/sdk/transforms/DoFn.Context.html#getPipelineOptions-- –

+0

ありがとう。どのようにPythonでそれを行うかの任意のアイデア? https://cloud.google.com/dataflow/pipelines/specifying-exec-paramsでご利用いただけないようです。しかし、多くの場合、コードはDataFlowドキュメントに含まれていません。 – Maximilian

関連する問題