2017-12-16 12 views
0

java初心者はこちらです。私は、Apache BeamパイプラインでParseJsonsを使用して文字列PCollectionをオブジェクトPCollectionに解析する方法を理解することに苦労しています。Apache Beam/Google DataflowでParseJsonsを使用するには?

私は最初にjson構造に一致するクラスを定義し、ParseJsonsを使用してjson文字列をそのクラスのオブジェクトにマップする必要があると理解します。

ただし、ParseJsonsのドキュメントはわかりやすく表示されています。 Apache Beamを使って実際に変換を実行する方法がわかりません。誰かが私に、行区切りのjson文字列を解析する方法の素早く汚れた例を教えてもらえますか?

私が行った試みの1つですが、残念ながら構文が正しくありません。

class Product { 
    private String name = null; 
    private String url = null; 
} 

p.apply("ReadLines", TextIO.read().from(options.getInputFile())) 
.apply(new ParseJsons.of(Product)) 
.apply("WriteCounts", TextIO.write().to(options.getOutput())); 
+0

常にあなたが取得している完全なエラーメッセージを記載してください。 – jkff

答えて

0

私は、あなたがしたいと思う:

PCollectoion<Product> = 
    p.apply("ReadLines", TextIO.read().from(options.getInputFile())) 
    .apply(new ParseJsons.of(Product.class)) 
    .setCoder(SerializableCoder.of(MyPojo.class)); 
関連する問題