大量のデータを記録する設計に取り組んでいます。データのサイズは1Kb〜10Kb程度ですが、大容量でも10000 1時間あたりの最悪ケースを考慮すると、データは10000 * 10 * 60 * 60Bまたは360Mbのようにログに記録できます。ログのローテーションを使用してしきい値を超えないようにすることができます。この数を減らすための他の選択肢。圧縮を試みることができますが、ログの可読性をあきらめる必要があります。または、データごとにメタデータを保持することしかできません。他の手法を試すことができますか、長所と短所?大容量データのログに関する考慮事項
0
A
答えて
0
数年前のスマートな時計製品でも同様の問題がありました。デバイス上のRAMには、我々は、以下の技術に頼っ(組み込みシステム用の典型的な)本当に低かったので: - サイズがしきい値を超えて成長するたび永続的なファイルシステムにデータを書き込み - 保存システムを提出する
- これはも、あなたはあなたの時間とログサイズの予測関係を持っていると言っているので、時間に基づいて行うことができます
クラウドへのアップロード - デバイス上のストレージが問題になる場合 - あなたにも、ログを投稿し検討することができますクラウドサーバへのデータ
ログデータの最適化 - これは難しいことがあります - サイクルごとにできるだけ少ないログを記録してください。つまり、テキストではなくデータポイントだけをキャプチャするフォーマットを定義してください。これは、ログの解釈にも少しパーサーが必要であることを意味します。これは考慮する必要があります。 例は、場所ベースのログの場合はこれを考慮します: -
Lat:100.23; Lon:23.87;高さ:233;タイムスタンプ:1875340
これは、ウェルに削減することができます - ここで、このような高容量で
[100.23,23.87,233,1875340]
これらの小さなビット、すべての大規模な貯蓄
が提供されます最高の!
関連する問題
- 1. setuidラッパーに関する考慮事項
- 2. Javaポータルアーキテクチャーに関する考慮事項
- 3. パラレル化に関する考慮事項
- 4. Rackspace:SQL Serverの最大サーバーメモリに関する考慮事項
- 5. パフォーマンスに関する考慮事項のためのJavadocタグ
- 6. 長期実行PHPスクリプトのメモリに関する考慮事項
- 7. JDBCとJavaのキャッシュに関する考慮事項
- 8. SQL Azureのパフォーマンスに関する考慮事項
- 9. XSLTのパフォーマンスに関する考慮事項
- 10. スマートクライアントアプリケーションの同期フレームワークに関する考慮事項
- 11. SharePoint 2003から2007へのアップグレードに関する考慮事項
- 12. トラフィックが多いASP.NET MVCのコーディングに関する考慮事項
- 13. JQuery Datatablesと.NET WebAPIのパフォーマンスに関する考慮事項
- 14. OOGenericsのデザインに関する考慮事項
- 15. client_idのOAuth2セキュリティに関する考慮事項
- 16. ClickOnceデプロイされたアプリケーションのプリズムアーキテクチャに関する考慮事項
- 17. MySQLのメモリに関する考慮事項
- 18. マルチサーバー展開のASP.netソリューションに関する考慮事項
- 19. CSS3移行パフォーマンスに関する考慮事項
- 20. NUI/touchインターフェイスに関する一般的な考慮事項
- 21. Fiware:Cepheusのセキュリティ上の考慮事項?
- 22. MSSQL手順 - パフォーマンスの考慮事項大規模なテーブル
- 23. フルテキストインデックスデザインの考慮事項(SQL Server 2008)
- 24. ASP.NET MVC 3 - セキュリティアーキテクチャの考慮事項
- 25. EF&.EDMXパフォーマンスの考慮事項
- 26. Teradataビュー/サブクエリスプールの考慮事項
- 27. MVC FormsAuthenticationタイムアウト - AJAXの考慮事項
- 28. 設計上の考慮事項
- 29. JavaScriptのパスワードジェネレータのセキュリティに関する考慮事項は何ですか?
- 30. Amazon WebServicesのTomcatのJ2EE webappの設計に関する考慮事項