DoFnのHTTPクライアント

Question

DataFlow上で実行されているApache BeamパイプラインのDoFnを通じてPOSTリクエストを行いたいと思います。

このため、私は、PoolingHttpClientConnectionManagerで設定されたHttpClosableClientをインスタンス化するクライアントを作成しました。

しかし、私は処理する各要素のクライアントをインスタンス化します。

すべての要素で使用される永続的なクライアントを設定するにはどうすればよいですか？

また、並列HTTPリクエストと高速HTTPリクエストには、別のクラスを使用する必要がありますか？

Answer 1

クライアントをメンバ変数に配置し、@Setupメソッドを使用して開き、@Teardownを使用して閉じることができます。 BeamのほとんどすべてのIOの実装は、このパターンを使用します。 JdbcIOを参照してください。