大量のテレメトリの処理

Question

私は大量のテレメトリデータを読み込むプロジェクトを持っています。遠隔測定は「チャネル」から成り、チャネルはしばしば単一のセンサからの値である。例えば、温度センサ。

各読み取りがから成る：
A：測定値
B：チャンネルID
C：測定

の時間は、我々は、（500ヘルツまで、テレメトリーかなり高い割合を受け取ります1秒につき500サンプル）、各チャンネルにつき1Hz程度の低さです。同時チャンネル数は通常約150です。

各チャンネルのレートは正確であるとは限りません。

私は、データを処理して後で値を表示するためのコレクション/アルゴリズムを探しています。ディスプレイはグラフと数値の読み取り値で構成されています。

通常、データは順次受信されますが、より長い期間の停止が発生する可能性があります。また、停電の欠落データは後で受信することができます。

ストーリーが短いので、データを構成できるコレクションが必要です。
A：Value（時間）のように1つの読み取り値に時間通りにアクセスできる必要があります。
B：時刻aから時刻bまで順番に値を読み取ることができなければなりません。
C：新しい値を最後か中間に挿入します。

私はskiplist（http://en.wikipedia.org/wiki/Skiplist）を使用して実装しました。それはすべての要件を満たしているようだが、それはたくさんの記憶を食べる。 My initial calculationsは、測定値の5〜10倍の間のどこかに示した。実際それはそれより高いです。

また、値をデータベースに追加してそこから読み取ることも考えられましたが、遅いと思われます.SQLサーバーに多くの値を高速に挿入することはできません。

だから、これを行うことができるコレクション/アルゴリズムに関する考えはありますか？

Answer 1

これにはHDF5を使用することができます。

この形式のテレメトリアプリケーションは、hereと記載されています。