デバイスからたくさんのtimeseriesを保存したいと思います。また、これらの時系列データは検証されなければならず、オペレータによって変更され、他のシステムにエクスポートされなければならない。時系列の穴が見つかるはずです。日時は、シリアルナンバーと日付範囲でフィルタリングされたUIに表示する必要があります。Hadoopでtimeseriesを保存して処理する
このシナリオでは、hadoop、hbase、opentsdb、sparkの使用について考えました。
あなたはどう思いますか？ Sparkはopentsdbに簡単に接続できますか？
OpenTSDB
おかげで時系列データを大量に保存するための本当に素晴らしいです。内部的には、HBaseによって支えられています。つまり、HBaseの限界を乗り切るためには、パフォーマンスを上げる必要があります。その結果、時系列の表現は高度に最適化され、解読が容易ではない。 AFAIKでは、OpenTSDBからSparkにデータをフェッチできる既成のコネクタはありません。
次のGitHubプロジェクトは、いくつかのガイダンスをご提供するかもしれない：
あなたが時系列であなたを助けるのlibsを探している場合は、spark-tsを見ている - それは行方不明のために便利な機能が含まれていますデータ代用も同様です。
には、同じタイムスタンプの値変更の履歴を維持するために、かなりユニークなversioning機能があります。メトリック単位で有効にすると、データベースは、監査証跡またはデータ調整のための値変更のソース、ステータスおよび時刻を追跡します。
Network APIを使用してSparkアプリケーションからデータをストリーミングするお客様は、通常、ダウンストリームレポート用のメタデータ（aksシリーズタグ）が豊富になります。
ATSDからREST APIまたはSQLでデータをクエリできます。
免責事項：私はAxibaseで働いています。
Warp 10には、Spark/Pig/FlinkからWarp10InputFormatを介してWarp 10に保存された時系列データとアクセスデータを操作するために使用できるWarpScript言語が用意されています。
ワープ10はwww.warp10.ioでオープンソースと提供されています
免責事項：私はCityzenデータのCTO、ワープのメーカーだよ10.