ログスタッシュでオフセットを取得するには？

Question

同じタイムスタンプでログをソートするには、オフセットが必要です。誰もがlogstashの各イベントでオフセットを取得する方法を知っていますか？

ここでは、元のログファイルに表示されたログを並べ替えることを目的としています。

Answer 1

これは解決しにくい問題ではありません。

1. イベントがイベント自体にエンコード
2. 時間を摂取させた正確な時刻：Logstashを活用することができる2つの日付があります。

ここでは、取り込み時間をフィールドに隠すことをおすすめします。ログファイルを連続して読み込む場合、同じ秒のイベントがわずかに異なるタイミングで取り込まれるため、取り込み時間順にログが並べ替えられます。 @timestampは、イベントでエンコードされた時刻に設定されるだろう、とingest_timestampを摂取したタイムスタンプに設定されます。この場合、

filter { 
    mutate { 
    add_field => { "ingest_timestamp" => "%{@timestamp}" } 
    } 
    grok { some things } 
    date { 
    match = [ "SYSLOGTIMESTAMP", ISO8601 ] 
    } 
} 

：あなたのフィルタストリームは、このようなものを見ることができます。最初に@timestampを注文し、次にingest_timestampを注文して、イベントをログファイルに到着した可能性のある順に並べ替えます。