python3のmysqlコネクタを使用してmysqlデータベースからクエリを実行しています。私は最近の7日間のデータを収集すると、クエリのサイズが10GB以上になるため、私のpythonスクリプトが強制終了されるほどのデータがあります。私は通常、私たちは結果をストリーミングできると思うが、私はmysql conncetorでクエリの結果をストリームする方法を見つけられない。私が問題を解決できる他の方法はありますか？クエリの結果が大きすぎる場合の対処方法
@Anthony Kongのコメントは正しいです。この問題を解決するために、我々はコードに少し掘った後https://dev.mysql.com/doc/connector-python/en/connector-python-api-mysqlcursor-fetchmany.html
からfetchmany機能を行うことができ、私はfetchmany機能は「fetchmany」を達成するために多くのfetchoneを呼び出すことがわかりました。だから私は最後にフェッチンンを使うことに決めました。また、fetchoneには、ドキュメントの例が付属しています。https://dev.mysql.com/doc/connector-python/en/connector-python-api-mysqlcursor-fetchone.html
結果セットを一度にフェッチしないでください。 SELECT into
catすべて使用して複数のファイルを生成するためにSELECT into
LIMIT, OFFSET：あなたは、次の、またはこれらの組み合わせのいずれかを実行することができますファイルを1つのファイルにまとめて生成しました。cat hugedata_* > hugedata.csv
おそらく 'select into'を使ってファイルにジャムします。つまり、[XY問題]（http://meta.stackexchange.com/questions/66377/what-is-the-xy-problem）に進出する前に、あなたは何を達成しようとしていますか？ – Drew
コネクタカーソルと 'fetchmany'関数を使うことができます。https://dev.mysql.com/doc/connector-python/en/connector-python-api-mysqlcursor-fetchmany.html –