PubSubから読み込んでGoogle Cloud Storageに書き込むデータフロージョブ

Question

PubSubトピックに固定数の文字列（テストに使用された800,000個の1KB）を配置し、次のApache Beam（2.1.0）ジョブをデータフロー、正確に一度のセマンティクスは期待どおりに保持されます。 （データフローのコンソールに示すように）、そして、再び出力ファイルをキックオフ同じジョブが実行された場合は、すべての要素の前に排水

import org.apache.beam.sdk.options.Description; 
import org.apache.beam.sdk.options.PipelineOptions; 

public interface PubSubToGsPipelineOptions extends PipelineOptions { 
    @Description("PubSub subscription") 
    String getInput(); 
    void setInput(String input); 

    @Description("Google Cloud Storage output path") 
    String getOutput(); 
    void setOutput(String output); 
} 

が読み込まれ

import org.apache.beam.sdk.Pipeline; 
import org.apache.beam.sdk.io.TextIO; 
import org.apache.beam.sdk.io.gcp.pubsub.PubsubIO; 
import org.apache.beam.sdk.options.PipelineOptionsFactory; 
import org.apache.beam.sdk.transforms.windowing.FixedWindows; 
import org.apache.beam.sdk.transforms.windowing.Window; 
import org.joda.time.Duration; 

public class PubSubToGsSimpleJob { 

    public static void main(String[] args) { 
     PubSubToGsPipelineOptions options = PipelineOptionsFactory.fromArgs(args).withValidation() 
       .as(PubSubToGsPipelineOptions.class); 
     Pipeline p = Pipeline.create(options); 

     p.apply(PubsubIO.readStrings().fromSubscription(options.getInput())) 
       .apply(Window.into(FixedWindows.of(Duration.standardMinutes(1)))) 
       .apply(TextIO.write().withWindowedWrites().withNumShards(1).to(options.getOutput())); 
     p.run(); 
    } 

} 

PipelineOptions実装の下にPubSubトピックに公開された元のデータセットよりも少ないレコードしか持っていません。これは、排水とジョブの交換は、が少なくとも1回セマンティクスを持つべきであると述べているので、奇妙に思われるデータ損失を引き起こす可能性があることを示唆している。このパイプラインは、ジョブを排水して交換するときに、少なくとも一度セマンティクス（またはより正確で一度セマンティクス）を達成するように設計する必要がありますか？

Answer 1

私は、ドレインと交換のジョブが残りのウィンドウで上書きされる前にウィンドウが部分的に書き込まれている可能性があります。このログ行の排水されたジョブと交換ジョブからワーカーログを確認することができますin WriteFiles。 Beam HEADを使用すると、最終的な宛先が上書きされたときにも記録されます。

概念的に排水されたジョブと置換ジョブは全く異なるパイプラインです。同じ出力場所を使用することは、他の無関係の2つのジョブに対して同じ出力場所を使用することと同じです。別の方法として、2番目のジョブに異なる出力パスを使用して、両方のディレクトリにすべてのレコードが存在することを確認することができます。