2017-01-17 5 views
1

私は、ランダムセンサーからのデータを数分間で記録したCSVファイルを持っています。 今私はCSVファイルから私のpyhtonコードにそのデータをセンサー自体から直接データを受信して​​いたかのようにストリームしたいと思います。 (コードは2つの異なるセンサー/ csvファイルから読み込み、平均化するためのコードです) 誰かがApache Sparkを使用してデータをストリーミングすることを提案しましたが、私にとってはそれほど複雑すぎると感じています。簡単な解決策があるかもしれませんか?CSVファイルからのPythonへのリアルタイムデータストリーム

+0

あなたは行ごとにそれを読むことができませんか? (オプションで、1行の読み込みの間に少しの遅延を加えます) – Olian04

+0

センサーインターフェイスをモックしたいのですか、それともデータだけを気にしますか?読み込み間に遅延が必要ですか?必要な場合に遅延を計算できるように、データにタイムスタンプが付きますか? –

+0

@ Olian04おそらく私はそれを行うことができます。私はプログラミングにはかなり新しいですし、これらすべてのことについて全く考えていません。私は愚かなことを謝る。しかし、私はそれを実際の効果を与えるためにラインを読むことの間にいくつかの時間の遅延を与えなければならないでしょうか? –

答えて

0

これを実現するには、Pythonでtail -fのようなものを使用できます。これはあなたが望むことをするはずです。 http://lethain.com/tailing-in-python/

+0

私は仮想シリアルデバイスを作成し、それを介してデータを送信することは可能ですか?私は最終的にそれはどうしたらどうやってセンサーにインターフェースするのかということを意味します。 –

+0

アイデアは、おそらく?あなたはそれをひっくり返して、センサーと直接的にPythonインターフェイスを持ち、PythonプロセスにCSVデータを保存させたくなければ、csvファイルを読み込むよりも複雑に思えます。 – acushner

2
あなたはまた、小さなチャンクに大きなcsvファイルを読むためにパンダのread_csv()関数を使用することができ

、基本的なコードは下に書かれている:このリンクは、これがどのように機能するかを説明し

import pandas as pd 
chunksize = 100 
for chunk in pd.read_csv('myfile.csv', chunksize=chunksize): 
    print(chunk) 

http://pandas.pydata.org/pandas-docs/stable/io.html#io-chunking

関連する問題