Google Cloud Dataflow Python --maxNumWorkers

Question

Apache BeamのPython SDKを使用して構築されたデータフローパイプラインの作業者数を増やそうとしています。文書番号：--maxNumWorkers=フラグを設定すると、ただし、このフラグをパイプラインオプションに追加すると、動作していないように見えます。私はhereと記載されている実行パラメータオプションを振り返り、maxNumWorkersがPythonの "他のクラウドパイプラインオプションを指定する"の中にリストされていないことに気付きました。これはJava SDKにあります。これはPythonパッケージの既知の制限ですか？ pythonパイプラインオプション内でmaxNumWorkersを設定することを検討していない他のオプションはありますか？

注：私は--num_workers=100を指定することができ、これは、クォータの問題ではないことを確認しているが、それはすぐに見えます100

Answer 1

に労働者の数を設定すると、これは（私は信じて）自動スケーリングアルゴリズムを使用することはありませんPythonのように、オプションは--max_num_workersです。