python sdkでカスタムシンクを作成します。私はAWS S3にデータを保存しようとしています。 S3に接続するには、いくつかの資格情報、秘密鍵が必要ですが、セキュリティ上の理由からコードに設定するのは良いことではありません。私は環境変数を環境変数としてDataflowワーカーに届けるようにしたいと考えています。 どうすればいいですか?環境変数をPythonの環境変数としてDataflowワーカーに届ける方法
1
A
答えて
0
一般に、ハードコードしたくない情報を労働者に送信する場合は、PipelineOptions
を使用してください。Creating Custom Optionsを参照してください。その後、パイプラインを構築するときは、PipelineOptions
オブジェクトからパラメータを抽出し、トランスフォームに入力してください(例:DoFn
またはシンク)。
ただし、資格情報と同じように機密性の高いものについては、コマンドライン引数で機密情報を渡すことは良い考えではないかもしれません。より安全な方法をお勧めします.GCSのファイルに信任状を入れて、ファイルの名前をPipelineOption
として渡します。 GcsIOを使用して、資格情報が必要なときはいつでも、プログラムでGCSからファイルを読み込みます。
関連する問題
- 1. 環境変数を光源とする環境変数
- 2. WindowsのPython環境変数?
- 3. 環境変数?
- 4. Python Config Parser環境変数
- 5. Rails環境変数
- 6. WinDbg環境変数
- 7. 環境変数テラフォームスクリプト
- 8. Monodroid環境変数
- 9. Eclipse環境変数
- 10. アトムテキストエディタ環境変数
- 11. netbeans環境変数
- 12. 環境変数は、別の環境変数を参照しています
- 13. kornシェルと環境変数
- 14. 環境変数とPHP
- 15. Process.Start()とPATH環境変数
- 16. SaltStackマクロと環境変数
- 17. 環境変数としてのMavenプロパティ
- 18. Jenkinsグローバル環境変数とノードシステム変数
- 19. PythonのAWS Elastic Beanstalk環境変数
- 20. getFilesDir()に環境変数としてアクセスする方法は?
- 21. JS/Coffeescriptの環境変数
- 22. のlog4j - アクセス環境変数
- 23. アンドロイドのデバッグ環境変数
- 24. Dockerの環境変数
- 25. Tomcatの環境変数
- 26. Paperclipの環境変数
- 27. の設定環境変数
- 28. GruntのNodeJS環境変数
- 29. バッチスクリプトマシンの環境変数
- 30. フロントエンドの環境変数