私は数百万行のCSVファイルを持っています。私はそれがこれらの操作で超高速であると私はパンダデータフレームを使用して、いくつかの条件に基づいて行をフィルタリングするために今、このPandas Dataframeをcsvリーダーに直接変換する方法は?
with open('us_db.csv', 'rb') as f:
data = csv.reader(f)
for row in data:
Create Dictionary based on a column
のようなCSVファイル出て辞書を作成するために使用されます。私はpandas Dataframeがいくつかのフィルタリングを行うので、csvをロードします。それから、私は上記をやり続けます。私はパンダを使用することを考えましたdf.iterrows()またはdf.itertuples()しかし、それは本当に遅いです。
pandasデータフレームをcsv.reader()に直接変換して上記のコードを引き続き使用できる方法はありますか? csv_rows = to_csv()
を使用すると、長い文字列が返されます。もちろん、私はcsvを書き出し、それからもう一度読むことができます。しかし、余分な読み書きをスキップしてファイルに書き込む方法があるかどうかを知りたい。
ありがとう。それはうまくいった。私がpython2.7を使用していたとき、私はutf-8コーディングにいくつかの問題があったので、StringIO()の代わりにBytesIOを使用しなければなりませんでした。 – Raja