ファイルビートに複数の出力を設定することはできますか？

Question

アプリケーションの1つでは、logstashを使用してアプリケーションログを解析し、elasticsearchにインデックスを付けます。私たちの単純なアーキテクチャは、ログファイル---> filebeat ---> logstash -----> elasticsearchです。

複数のログファイルの例（apachelogs、passengerlogs、アプリケーションログなど）を有効にすると、logstashはデータのボリュームを解析できないため、elasticsearchにログがありません。 logstashで膨大な量のデータを処理する方法はありますか？またはログタイプに基づいてfilebeatからログを受信する複数のlogstashサーバーを持つことはできますか？例えば、アプリケーションログは出力logstash-1とapachelogsをlogstash-2に送信します。

ありがとうございます。

Answer 1

現在、Filebeatで同じ出力タイプを複数回定義することはできません。

しかし、あなたが望むものを達成するためのいくつかのオプションがあります：

• あなたが複数Logstashにあなたのイベントを配布するfilebeatにロードバランスオプションを使用することができます。 https://www.elastic.co/guide/en/beats/filebeat/current/logstash-output.html#loadbalance、デフォルトでは、ビートはランダムなホストを選び、それに固執します。

• kafkaのようなキューを使用し、logstashでkafka入力を使用すると、必要に応じてLSを追加できます。