2016-11-30 13 views
1

私は現在、データ分析を実行するためにContextBrokerに格納したい2つの大きなデータセット(約200GB)を持っています。今のところ私はMongoDBContextBrokerをセットアップすることができました。 ContextBrokerのデータを保持するために、ONCHANGEサブスクリプションのCygnusもインストールしました。 CKANを使用して、FIWAREプラットフォームに外部データセットを格納することはできますか、それとも別のものを使用する必要がありますか?ContextBrokerにデータセットをインポートする

EDIT1:これらのデータセットは、一連のイベントでオブジェクトを含むとtimestampedgeo-locatedあるjsonファイルのセットです。

EDIT2は:データの小さなサンプルを要求したとして、私が参照している:

{"track":[ 
{"time":"2015-11-16T00:45:29.016","midpoint":{"x":70.66,"y":188.90},"realworld":{"x":-7.49,"y":22.96},"RDCoordinate":{"x":161582.09,"y":383031.34},"UTM-WGS84":{"Latitude":51.4363489,"Longitude":5.4818640}}, 
{"time":"2015-11-16T00:45:29.022","midpoint":{"x":66.85,"y":189.61},"realworld":{"x":-7.53,"y":22.92},"RDCoordinate":{"x":161582.16,"y":383031.34},"UTM-WGS84":{"Latitude":51.4363489,"Longitude":5.4818649}}, 
{"time":"2015-11-16T00:45:29.029","midpoint":{"x":61.66,"y":189.92},"realworld":{"x":-7.60,"y":22.90},"RDCoordinate":{"x":161582.22,"y":383031.31},"UTM-WGS84":{"Latitude":51.4363486,"Longitude":5.4818658}}, 
{"time":"2015-11-16T00:45:29.082","midpoint":{"x":56.16,"y":190.47},"realworld":{"x":-7.66,"y":22.87},"RDCoordinate":{"x":161582.28,"y":383031.28},"UTM-WGS84":{"Latitude":51.4363483,"Longitude":5.4818667}}, 
{"time":"2015-11-16T00:45:29.090","midpoint":{"x":50.74,"y":191.64},"realworld":{"x":-7.71,"y":22.80},"RDCoordinate":{"x":161582.38,"y":383031.28},"UTM-WGS84":{"Latitude":51.4363483,"Longitude":5.4818681}}, 
{"time":"2015-11-16T00:45:29.112","midpoint":{"x":45.58,"y":192.07},"realworld":{"x":-7.78,"y":22.78},"RDCoordinate":{"x":161582.44,"y":383031.25},"UTM-WGS84":{"Latitude":51.4363480,"Longitude":5.4818690}}, 
{"time":"2015-11-16T00:45:29.151","midpoint":{"x":41.80,"y":193.42},"realworld":{"x":-7.80,"y":22.69},"RDCoordinate":{"x":161582.52,"y":383031.31},"UTM-WGS84":{"Latitude":51.4363486,"Longitude":5.4818701}}, 
{"time":"2015-11-16T00:45:29.197","midpoint":{"x":36.27,"y":194.43},"realworld":{"x":-7.86,"y":22.63},"RDCoordinate":{"x":161582.59,"y":383031.31},"UTM-WGS84":{"Latitude":51.4363486,"Longitude":5.4818712}} 
]} 
+0

データセットの見た目を整えるために質問を編集できますか?つまり、コンテキスト情報の「スナップショット」、過去のイベントシーケンスなどに対応しています。Thx! – fgalan

+0

(Edit1を探した後)参照するJSONオブジェクトの1つまたは2つのサンプルを追加するように編集できますか? – fgalan

答えて

0

働かはオリオンConextで次のようにタイプEventの実体として各項目をモデル化することができブローカー:

{ 
    "id": "Item1", 
    "type": "Event", 
    "time": { 
     "value": "2015-11-16T00:45:29.016", 
     "type": "DateTime" 
    }, 
    "midpoint": { 
     "value": { 
      "x": 70.66, 
      "y": 188.90 
     }, 
     "type": "Object" 
    }, 
    "realworld": { 
     "value": { 
      "x": -7.49, 
      "y": 22.96 
     }, 
     "type": "Object" 
    }, 
    "RDCoordinate": { 
     "value": { 
      "x": 161582.09, 
      "y": 383031.34 
     }, 
     "type": "Object" 
    }, 
    "UTM-WGS84": { 
     "value": "51.4363489, 5.4818640", 
     "type": "geo:point" 
    } 
} 

(上記そのエンティティを作成するPOST /v2/entities動作のためのペイロードとして使用することができます)。

このモデルでは

timemidpointrealworldRDCoordinateUTM-WG84は、エンティティの属性です。 timeUTM-WG84のための特別な属性タイプ注:

  • timeは(NSGIv2 specification documentに「特別な属性の種類」を参照してください)日付を指定するNGSIv2標準的な方法である、DateTimeを使用しています。より高い精度(例:2015-11-16T00:45:29.016Z)を得るために、タイムゾーンを含めることをお勧めします。

  • UTM-WG84NSGIv2 specification documentの「エンティティの地理空間特性」を参照)エンティティの点の位置を指定するNGSIv2のstandarの方法である、geo:pointを使用します。

+0

こんにちは。あなたの返信ありがとう!これは本当に私が探しているようですが、これはすべてのデータを挿入するために多くの作業が必要になります。これを自動的に行うかどうかは可能ですか? –

+0

JSONファイル内の各データ行を処理し、対応するcreate entityコマンドをOrionに送信するスクリプトは、それほど困難ではありません(POST/v2/op /を使用して同じバッチ内の複数のエンティティを "パッケージ" APPEND actionTypeを使用して「更新」)。 – fgalan

関連する問題