私たちは、バッジを使用して追跡する、ユーザーの大きな拡張ネットワークを持っています。総トラフィックは、月間6000万回のインプレッション数に達しています。私たちは現在、Amazon S3ログとSplunkに依存する単純なログベースの代替方法に、かなり遅いデータベースベースのロギングソリューション（PHPで乱雑にカスタマイズされたもの）を切り替えることを検討しています。Amazon S3ログをSplunkで監視していますか？
他の分析タスクでSplunkを使用した後、私は本当にそれが好きです。しかし、システムのS3のようなソースを設定する方法は明確ではありません。リモートソースにはUniversal Forwarderがインストールされている必要がありますが、これはオプションではありません。
これに関するご意見はありますか？
非常に遅い回答ですが、私は同じことを探していて、あなたが望むものを実行するSplunkアプリを見つけました。http://apps.splunk.com/app/1137/。私はまだそれを試していない。
同様に遅い追加：そのアプリは拡張性がありません。 1,000個以上のオブジェクトを読み取ることができないバグがあります（切り捨てられたリストを処理するコードはありません）。また、他にもいくつかの欠陥があり、インデクサの間で負荷を分散するための適切な方法がないようです。 – bstempi
j-son前処理されたデータをdocumentdbデータベースに記録することをお勧めします。たとえば、あなたのシナリオに合ったazure queuesまたはsimmilarサービスバスメッセージング技術をazure documentdbと組み合わせて使用します。 私はあなたのデータベースに基づいたアプローチを維持し、スケーラビリティが簡単なドキュメントベースのDBになるように修正します。
私はAWS Marketplaceのhttp://www.insight4storage.com/を使用して、AWS S3のストレージ使用量の合計をプレフィックス、バケット、またはストレージクラス別に追跡します。加えて、プレフィックスとバケットごとに以前のバージョンのストレージを表示します。 UIデータとWebサービスAPIに加えて、ユースケースに適したスプランクフォーマットログとしてS3データを保存する設定があります。
私の唯一の質問は、どのようにログがS3に到達しているかです。あなたはX分/時間後にそこにローリングしていますか？もしそうなら、歴史的な非リアルタイムビューに限定されます。もしできれば、それをテストすることに興味がありますか？もしそうなら、pingしてください。 –