pythonでサーバーログを取得して分析する方法に関するアイデアはありますか？

Question

まず、このデスクトップアプリケーションは、実際にはPythonを学ぶための口実とGUIの仕組みを提供することです。

私のクライアントが、どれだけ多くの帯域幅を通過しているのか、起こったのか、訪問者がどこにいるのかを視覚化するのを手伝っています。これらのすべては、グラフまたは最も便利なもので表示されます。 （路面を下ろして、私はCPU/memの使い方を追加したい）

私は、アプリケーションがsftp経由で接続して、指定されたログをダウンロードしてから、必要な情報をフィルタリングするのが最も簡単な方法だと思っていた。

私が使用して考えていた：

Python 2.6 
Pyside 
Paramiko 

でスタートします。私はsftpの部分のためにねじれを見ていたが、おそらく今のところそれを簡単に保つのが良い選択になるだろう。

これが正しいようですか？ sftpを使用しようとしていますか？または、ログをクライアントにプッシュするために私のサイトのサブドメインと対話しようとする必要がありますか？ （つまり、app.mysite.com）

ログを解析する正規表現はどうですか？

Answer 1

sftpまたはrsyncに公開すると、ログを取得するのに妥当な方法のようです。それらの構文解析に関しては、正規表現はほとんどの人が使用する傾向があります。しかし、他のアプローチもあります。例えば：

• Parse Apache logs to SQLite database
• Using pyparsing to parse logs。これは、異なる種類のログファイルを解析していますが、アプローチはまだ興味深いです。
• Parsing Apache access logs with Python。著者は実際には​​モジュールで利用可能な小さなパーサーを作成しました。

あなたはアイデアを得ます。