Qのテキスト：フィールドの制限を超えるエラーフィールドを修正する方法

Question

私は中規模のデータファイル（15M行）の列を合計しようとしているが、私は次のエラーを取得：

$> q -Ht 'select sum(value) from datafile.txt' 

Error('field larger than field limit (131072)' 

を私の検索では、csv.fieldsize（）のpython解析でデフォルトのフィールドサイズが変更されたことを示すリンクが表示されましたが、awkで確認した後、ファイルに大きなフィールドがないことを確認しました。

Answer 1

決して忘れ：私は私のデータファイルは、単一引用符と二重引用符（所有名の単一引用符で製品名の完全である、と「インチ」を表現するために倍増することを発見し

を処理する前に、あなたのデータをクレンジング。これは、フィールド内のリテラル文字として区切り文字を読み取るためのpythonパーサを起こし

これを行います。

sed s:\"::g data.txt > tmp ; sed s:\'::g tmp > data.txt 

ひどいひどい、データの一重引用符/二重引用符。