いくつかのメトリックを使用してログファイルを監視するエクスポータ+ Prometheus + Grafana

Question

エラー、成功ステータスなどの非常に異なるログファイルを監視する必要があります。 Prometheus + GrafanaはOKです。私はすでにnode_exporterやmysql_exporterなどのさまざまな輸出業者と一緒に使っています。新しいGrafana 4.xでも警告があります。

しかし、ログファイルを "オンザフライ"で分析し、そこからメトリクスを抽出するのに適したエクスポータ/プログラムを見つけるにはかなりの問題があります。

は、これまで私が試した：

• mtail（https://github.com/google/mtail） - 作品が、既存のバージョン簡単に複数のファイルを監視することはできません - 一般的には、いくつかの特定のログファイルに特定のmtailプログラム（分析のための領収書）をバインド+ Iすることはできませんがログファイル名をタグに簡単に追加できない
• grok_exporter（https://github.com/fstab/grok_exporter） - しかし、私は限られた情報しか抽出できません+ 1つのインスタンスは1つのログファイルしか監視できないため、より多くのポートでより多くのインスタンスをエクスポートし、それらはプロメテウスで - それは失敗の多くの新しい点を作る
• fluentdのプロメテウス輸出国（https://github.com/kazegusuri/fluent-plugin-prometheus） - 作品が、私は非常にシンプルな指標を抽出することができますし、私は、ログファイルから

を行（複数可）のいずれかの先進的な正規表現の分析を行うことができないように見えるここにいずれかが本当に持っています"いくつかの輸出業者" + Prometheus + Grafanaを使用して、ログファイルから高度な測定基準を監視するソリューションを実行していますか？あるいは、輸出業者の代わりに、プロメテウスプッシュゲートウェイを使用して結果を得ることができるいくつかのプログラム。ありがとう。

Answer 1

Telegrafをご覧ください。入力プラグインlogparserとtailを使用してテーリングログをサポートしています。 prometheusエンドポイントとしてメトリックをエクスポートするには、prometheus_client出力プラグインを使用します。また、フライアグリゲーションに応募することもできます。 grok_exporterやmtailよりも複数のログファイルを設定する方が簡単だとわかりました

Answer 2

これは現在、プロメテウスにログデータを取得するための3つの回答です。

また、プロメテウスの測定基準を直接公開するためにログを生成しているものを調べることもできます。