Filebeatは指定されたアプリケーションログの代わりにすべてのログを処理しています

Question

ログを抽出してlogstash（別のELKサーバー）に発行するためにファイルビートを（Chefを介して）設定したアプリサーバーと、キバナ。

/opt/app_logs/*.logからのみログを処理するようにfilebeatを設定しましたが、/ etc/filebeat設定ディレクトリにfilebeat.fullがあるため、ほかの場所からログを読み取っているようです。 ymlなどのymlファイルが自動的に生成され、これらのファイルはすべて他の場所にあるように見えます。そのため、logstash.logではlogstashサービスのメモリが数分で切れています。他のymlファイルをどのように自動生成できないのですか？ このファイルを削除しようとしましたが、プロスペクターから/ var/logのすべてのパスをコメントアウトしようとしましたが、filebeat自体は起動していません。

filebeat.ymlファイル：

filebeat: 
    prospectors: [] 
    registry_file: "/var/lib/filebeat/registry" 
    config_dir: "/etc/filebeat" 
output: 
    logstash: 
    hosts: 
    - elk_host:5044 
    index: logstash-filebeat 
shipper: 
    name: serverA 
    tags: 
    - A 
logging: 
    to_files: 'true' 
    files: 
    path: "/var/log/filebeat" 
    name: filebeat_log 
    rotateeverybytes: '10485760' 
    level: info 
prospectors: 
- paths: 
    - "/opt/app_logs/*.log" 
    encoding: plain 
    input_type: log 
    ignore_older: 24h 

Answer 1

ご使用の構成の主な問題は、Filebeatのためにあなたが二回定義されたprospectorsリストを持っている2つ目は、正しい場所にない1.2.3ということです。

config_dirを/etc/filebeatと定義しています。 config_dirは、設定ファイルを探す追加のディレクトリを指定するために使用されます。これは、/etc/filebeatに設定するべきではありません。なぜなら、これがメインの設定ファイルを配置する場所であるからです。使用方法については、https://stackoverflow.com/a/39987501/503798を参照してください。

第3の問題は、to_filesとrotateeverybytesに文字列型を使用したことです。ブール型と整数型でなければなりません。

ここでは、configがFilebeat 1.xを探す方法を示します。

filebeat: 
    registry_file: "/var/lib/filebeat/registry" 
    config_dir: "/etc/filebeat/conf.d" 
    prospectors: 
    - paths: 
    - "/opt/app_logs/*.log" 
    encoding: plain 
    input_type: log 
    ignore_older: 24h 
output: 
    logstash: 
    hosts: 
    - elk_host:5044 
    index: logstash-filebeat 
shipper: 
    name: serverA 
    tags: 
    - A 
logging: 
    to_files: true 
    files: 
    path: "/var/log/filebeat" 
    name: filebeat_log 
    rotateeverybytes: 10485760 
    level: info 

私は非常にそれがfilebeat -configtestを使用して、より良いコンフィギュレーションの検証を持っているので、あなたがFilebeat 5.xのにアップグレードすることをお勧めします。