スキップ/ SED

Question

チップ、Dirkland、DrobæSphere社、cdirkland @ hotmail.com、米国

で非ASCII文字を削除し、私は.CSVに電子メールアドレスを変更するためのsedを使用しようとしてきましたしかし、上記の行は次のようにコマンドを使用して、私をトリップ続け：私は「は無効な照合文字」エラーを取得するよう

sed -i 's/[\d128-\d255]//' FILENAME 

from this stackoverflow question

が動作するようには思えません。

理想的には、結合AE文字を変更したくないのですが、そのテキストを操作しようとしているのではなく、電子メールアドレスを操作しようとしています。そのAEがそこにある限り、私のsed置換は1行後に失敗しますが、文字を削除するとファイル全体が正常に処理されます。

アイデア？

Answer 1

これはあなたのために働くかもしれない（GNU SED）：

echo "Chip,Dirkland,DrobæSphere Inc,cdirkland@hotmail.com,usa" | 
sed 's/\o346/a+e/g' 
Chip,Dirkland,Droba+eSphere Inc,cdirkland@hotmail.com,usa 

が続いて元に戻すあなたがしなければならない何をして後には実行します。

echo "Chip,Dirkland,Droba+eSphere Inc,cdirkland@hotmail.com,usa" | 
sed 's/a+e/\o346/g' 
Chip,Dirkland,DrobæSphere Inc,cdirkland@hotmail.com,usa 

あなたは、文字列でトリッキーなキャラクターを持っている場合sedがl0コマンド（hereを参照）を使用する方法を理解する。また、難しい正規表現のデバッグにも非常に便利です。

echo "Chip,Dirkland,DrobæSphere Inc,cdirkland@hotmail.com,usa" | 
sed -n 'l0' 
Chip,Dirkland,Drob\346Sphere Inc,cdirkland@hotmail.com,usa$ 

Answer 2

これにはawkを指定してくださいフィールドセパレータは何も設定しませんでした。その後、各文字をループします。 if loopを使用して、character classと一致するかどうかを確認してください。それ以外の場合はそれを無視して印刷します。

awk -v FS="" '{for(i=1;i<=NF;i++) if($i ~ /[A-Za-z,.@ ]/) printf $i}' 

テスト：

[jaypal:~/Temp] echo "Chip,Dirkland,DrobæSphere Inc,cdirkland@hotmail.com,usa" | 
awk -v FS="" '{for(i=1;i<=NF;i++) if($i ~ /[A-Za-z,.@ ]/) printf $i}' 
Chip,Dirkland,DrobSphere Inc,cdirkland@hotmail.com,usa 

を更新：

awk -v FS="" '{for(i=1;i<=NF;i++) if($i ~ /[A-Za-z,.@ ]/) printf $i; printf "\n"}' <datafile.csv> asciidata.csv 

私は別々のラインを保つためにループの後の "n \" printf関数が追加されました。

Answer 3

sed -i 's/[^[:print:]]//' FILENAME 

また、これは単なる削除で悩まないで、非ASCII文字をスキップする方法がある。この場合、DOS2UNIX

Answer 4

のような役割を果たします。

LANG=C sed /someemailpattern/ 

https://bugzilla.redhat.com/show_bug.cgi?id=440419およびWill sed (and others) corrupt non-ASCII files?を参照してください。

Answer 5

私はこのsedコマンドs/[\x00-\x1F]/ /g;を試してきました。同じエラーメッセージが表示されました。

この場合には、それは単にs/[\x01-\x1F]/ /g;

を得、照合から\x00を削除すればよい残念ながら、それはすべての文字上記と\x7Fや他のいくつかを含むように思えるこの短いスクリプトで見られるように、禁止されています

for ((i=0; i<=255; i++)); do 
    printf "== $i - \x$(echo "ibase=10;obase=16;$i" | bc) ==" 
    echo '' | sed -E "s/[\d$i-\d$((i+1))]]//g" 
done 

問題は、これらの文字を使用して範囲を指定することのみであることに注意してください。手動またはスクリプトごとにそれらをすべて一覧表示することはできます。例えば。あなたの例に戻ってきて：

sed -i 's/[\d128-\d255]//' FILENAME 

はに変換でしょう

c=; for ((i=128; i<255; i++)); do c="$c\d$i"; done 
sed -i 's/['"$c"']//' FILENAME 

なる：

sed -i 's/[\d128\d129\d130\d131\d132\d133\d134\d135\d136\d137\d138\d139\d140\d141\d142\d143\d144\d145\d146\d147\d148\d149\d150\d151\d152\d153\d154\d155\d156\d157\d158\d159\d160\d161\d162\d163\d164\d165\d166\d167\d168\d169\d170\d171\d172\d173\d174\d175\d176\d177\d178\d179\d180\d181\d182\d183\d184\d185\d186\d187\d188\d189\d190\d191\d192\d193\d194\d195\d196\d197\d198\d199\d200\d201\d202\d203\d204\d205\d206\d207\d208\d209\d210\d211\d212\d213\d214\d215\d216\d217\d218\d219\d220\d221\d222\d223\d224\d225\d226\d227\d228\d229\d230\d231\d232\d233\d234\d235\d236\d237\d238\d239\d240\d241\d242\d243\d244\d245\d246\d247\d248\d249\d250\d251\d252\d253\d254\d255]//' FILENAME