私は、データフローと通常の環境の両方で使用されるライブラリにいくつかのconfigを使用したいと思っています。コードはGoogle Dataflowで実行されていることをどのようにして知ることができますか?
コードがデータフローで実行されていることを確認する方法はありますか?例えば、環境変数を見ることができませんでした。 Google Dataflow non-python dependencies - separate setup.py?
私は、データフローと通常の環境の両方で使用されるライブラリにいくつかのconfigを使用したいと思っています。コードはGoogle Dataflowで実行されていることをどのようにして知ることができますか?
コードがデータフローで実行されていることを確認する方法はありますか?例えば、環境変数を見ることができませんでした。 Google Dataflow non-python dependencies - separate setup.py?
は、これは良い答えではありませんが、それは我々が現時点でできる最善のことがあります
if 'harness' in os.environ.get('HOSTNAME', ''):
一つのオプションに
準フォローアップは、パイプラインランナー情報が含まれているPipelineOptionsを、使用することです。ビームのドキュメントに記載されているように、「あなたが選んだランナーにパイプラインを実行すると、PipelineOptionsのコピーがあなたのコードで利用可能になります。たとえば、DoFnのコンテキストからPipelineOptionsを読むことができます。
PipelineOptionsについてより:https://beam.apache.org/documentation/programming-guide/#configuring-pipeline-options
あなたはデータフローのオプションにアクセスする方法は? – Maximilian
DoPnでgetPipelineOptionsを使うことができます:https://beam.apache.org/documentation/sdks/javadoc/0.5.0/org/apache/beam/sdk/transforms/DoFn.Context.html#getPipelineOptions-- –
ありがとう。どのようにPythonでそれを行うかの任意のアイデア? https://cloud.google.com/dataflow/pipelines/specifying-exec-paramsでご利用いただけないようです。しかし、多くの場合、コードはDataFlowドキュメントに含まれていません。 – Maximilian