LogstashとKafkaのメッセージの優先順位付け

Question

logstashから異なるソースからの異なるログをkafkaに供給します。カフカの消費者が他のメッセージよりももっと興味を持つような特定のセット（または何らかのフォーマット）のメッセージがあります。どのようにメッセージの優先順位付けをするのですか？

1つの考えは、kafka - 1）high_priority_topic 2）low_priority_topicで2つのトピックを作成し、logstashでfilterを使用して関心のあるメッセージをhigh_priority_topicに、残りのメッセージをotherにプッシュすることです。これは可能ですか？

これについて推奨する方法はありますか？

Answer 1

tagを使用するか、logstashで入力すると、high_priorityとlow_priorityを区別し、2つのカフカ出力があります。

[type] == "high_priority" 

はそれが

"high_priority" in [tags] 

ようになりタギング使用して次のようになりCONDITIONALを入力使用

if CONDITIONAL { 
    kafka { 
    topic => "high_priority_topic" 
    ... 
    } 
} 
else { 
    kafka { 
    topic => "low_priority_topic" 
    ... 
    } 
}