2017-06-11 3 views
0

大量のデータを記録する設計に取り組んでいます。データのサイズは1Kb〜10Kb程度ですが、大容量でも10000 1時間あたりの最悪ケースを考慮すると、データは10000 * 10 * 60 * 60Bまたは360Mbのようにログに記録できます。ログのローテーションを使用してしきい値を超えないようにすることができます。この数を減らすための他の選択肢。圧縮を試みることができますが、ログの可読性をあきらめる必要があります。または、データごとにメタデータを保持することしかできません。他の手法を試すことができますか、長所と短所?大容量データのログに関する考慮事項

答えて

0

数年前のスマートな時計製品でも同様の問題がありました。デバイス上のRAMには、我々は、以下の技術に頼っ(組み込みシステム用の典型的な)本当に低かったので: - サイズがしきい値を超えて成長するたび永続的なファイルシステムにデータを書き込み - 保存システムを提出する

  1. - これはも、あなたはあなたの時間とログサイズの予測関係を持っていると言っているので、時間に基づいて行うことができます

  2. クラウドへのアップロード - デバイス上のストレージが問題になる場合 - あなたにも、ログを投稿し検討することができますクラウドサーバへのデータ

  3. ログデータの最適化 - これは難しいことがあります - サイクルごとにできるだけ少ないログを記録してください。つまり、テキストではなくデータポイントだけをキャプチャするフォーマットを定義してください。これは、ログの解釈にも少しパーサーが必要であることを意味します。これは考慮する必要があります。 例は、場所ベースのログの場合はこれを考慮します: -
    Lat:100.23; Lon:23.87;高さ:233;タイムスタンプ:1875340
    これは、ウェルに削減することができます - ここで、このような高容量で
    [100.23,23.87,233,1875340]
    これらの小さなビット、すべての大規模な貯蓄

が提供されます最高の!

関連する問題