私は、ランダムセンサーからのデータを数分間で記録したCSVファイルを持っています。 今私はCSVファイルから私のpyhtonコードにそのデータをセンサー自体から直接データを受信していたかのようにストリームしたいと思います。 (コードは2つの異なるセンサー/ csvファイルから読み込み、平均化するためのコードです) 誰かがApache Sparkを使用してデータをストリーミングすることを提案しましたが、私にとってはそれほど複雑すぎると感じています。簡単な解決策があるかもしれませんか?CSVファイルからのPythonへのリアルタイムデータストリーム
1
A
答えて
0
これを実現するには、Pythonでtail -f
のようなものを使用できます。これはあなたが望むことをするはずです。 http://lethain.com/tailing-in-python/
+0
私は仮想シリアルデバイスを作成し、それを介してデータを送信することは可能ですか?私は最終的にそれはどうしたらどうやってセンサーにインターフェースするのかということを意味します。 –
+0
アイデアは、おそらく?あなたはそれをひっくり返して、センサーと直接的にPythonインターフェイスを持ち、PythonプロセスにCSVデータを保存させたくなければ、csvファイルを読み込むよりも複雑に思えます。 – acushner
2
あなたはまた、小さなチャンクに大きなcsvファイルを読むためにパンダのread_csv()関数を使用することができ
、基本的なコードは下に書かれている:このリンクは、これがどのように機能するかを説明し
import pandas as pd
chunksize = 100
for chunk in pd.read_csv('myfile.csv', chunksize=chunksize):
print(chunk)
: http://pandas.pydata.org/pandas-docs/stable/io.html#io-chunking
関連する問題
- 1. JSONファイルからCSVファイルへ
- 2. csvからjsonへのpythonの変換
- 3. JSONからCSVファイルへRuby
- 4. Pythonデータフレームからcsvへのインデックスエラー
- 5. インデックスCSVからPythonへのElasticSearch
- 6. Python 3.5からcsvへのエクスポート
- 7. csvファイルへのパイピングデータのPython書込み
- 8. クラウドストレージからビッグクエリへのCSVファイルのロード
- 9. PythonでCSVからCSVへの列のコピー
- 10. RからCSVファイルへのエクスポートchainladder
- 11. SSISパッケージからCSVファイルへの出力 -
- 12. Python辞書からCSV行と列へ
- 13. CSVファイルからC++へのMAPへのデータの保存
- 14. 1つのCSVファイルから別のCSVファイルへの書き込みと再コード
- 15. Python 3 1つのcsvファイルから別のcsvファイルに特定の列をコピー
- 16. dictへのCSVファイル
- 17. SkFlowへのCSVファイル
- 18. csv pythonへのデータのエクスポート
- 19. URLからPythonで.csvファイルを取得
- 20. CSVへのPython辞書
- 21. エクスポートCSVファイルからファイル名のリストとのpython
- 22. 豚からCSVへのエクスポート
- 23. JSONからCSVへのスキーマ
- 24. InterbaseからCSVへのエクスポート
- 25. CSVからMySQLへのインポートエラー
- 26. CSVからLanguageTextへのインポート
- 27. csvからjsonへのデータ
- 28. Pythonからの.rdsファイルへのアクセス
- 29. PDFからCSVへのデータのスクレイピング? PythonとPHP?
- 30. グアバテーブルからCSVへ
あなたは行ごとにそれを読むことができませんか? (オプションで、1行の読み込みの間に少しの遅延を加えます) – Olian04
センサーインターフェイスをモックしたいのですか、それともデータだけを気にしますか?読み込み間に遅延が必要ですか?必要な場合に遅延を計算できるように、データにタイムスタンプが付きますか? –
@ Olian04おそらく私はそれを行うことができます。私はプログラミングにはかなり新しいですし、これらすべてのことについて全く考えていません。私は愚かなことを謝る。しかし、私はそれを実際の効果を与えるためにラインを読むことの間にいくつかの時間の遅延を与えなければならないでしょうか? –