Dataflow/Beam with Pythonのサンプル

Question

PCollectionの項目のサンプルをDataflow/BeamのPython SDKを使用して取得しようとしています。

記載されていませんが、Sample.FixedSizeGlobally(n)が存在します。

テスト、それは、単一の項目でPCollectionを返すためにようだ：サンプルとサンプルを含むリストではなく、PCollection。あれは正しいですか？

これは、単一アイテムPCollectionをアイテムのPCollectionに変換する最良の方法ですか？

| Sample.FixedSizeGlobally(sample_size) 
| beam.FlatMap(lambda x: x) 

Answer 1

現在、はいです。 Sample.FixedSizeGlobally()トランスフォームは、単一のリスト要素を持つPCollectionを返します。 、しかし、その間に - ）： - ：あなたが言ったようにあなたは、単一の要素のPCollectionにそれを回すことができ

Sample.FixedSizeGlobally(sample_size) 
| beam.FlatMap(lambda x: x) 

我々はPC-PC変換を追加することを確認しますと、私たちはまた、ビームにあなたの貢献を歓迎しますそれが私たちの持っているものです。