awkコマンドを使用してCRLFで重複ファイルを削除します。

Question

フォーク、 awkコマンドを使用して重複を削除しました。問題は、各行の最後にCRLFがあるためです。私は比較からCRLFを捨てることができるawkの方法がありますか？私が使用し

コマンド：awk '!seen[$0]++'

録音

HelloworldCRLF 
how are youCRLF 
Helloworld 

最初と3番目のレコードは同じであり、私はそれを削除することが期待していました。最後の行には出力に残っているCRLFがないので、私は推測します。私は、レコードの終わりにCRLFを追加して、awkコマンドがそれを削除していることを確認しましたが、時には最後のレコードにCRLFがあり、余分な空白行があります（BecuaseにCRLFを追加します）。そのような状況を修正する方法はありますか？

ところで、ファイルはWindowsで生成されました。

Answer 1

あなたはレコードセパレータにCRLFシーケンスを追加することができます。

awk -v RS='\n|\r\n' '!seen[$0]++' file 

Answer 2

は、比較を行う前\rのすべてのインスタンスを置き換えます。

awk '{gsub(/\r/,"")}; !seen[$0]++' 

Answer 3

あなたの問題は、Windowsが（誰もがこれまでのところだと思うように見えたとして）、それはあなたのファイルは末尾に改行（WindowsにCRLFの組み合わせがある）が欠落していることだすべてのLFの前にCRを追加したことではありませんファイルの終わりの改行を持たないファイルに対してUNIXコマンドを実行すると、その時点で真の "テキストファイル"ではないため、すべてのベットはオフになります。ファイルを生成しているツールを変更して改行を終わらせることはできますか？その後、awkのか、その上に他のツールを実行する前に

printf '\r\n' >> file 

をしない場合。その後、dos2unixを実行したり、必要に応じて\rを処理したり削除したりすることができます。たとえば、次の原因ファイルに不足している改行に最後Helloworld直後に私のプロンプトです

$ cat -v file 
Helloworld^M 
how are you^M 
Helloworld$ 

お知らせ$。今：

$ awk -v BINMODE=3 '!seen[$0]++' file | cat -v 
Helloworld^M 
how are you^M 
Helloworld 
$ 
$ printf '\r\n' >> file 
$ 
$ awk -v BINMODE=3 '!seen[$0]++' file | cat -v 
Helloworld^M 
how are you^M 
$ 
$ dos2unix file 
dos2unix: converting file file to Unix format... 
$ 
$ awk '!seen[$0]++' file | cat -v 
Helloworld 
how are you 
$ 

私はgawkのスクリプトがそれらを見る前\rのストリッピングから低レベルのプリミティブを停止するには、上記cygwinの上でのgawkで-v BINDMODE=3を使用する必要があります。

あなたのdodorstepに表示されるすべてのファイルに対してdos2unixを実行するだけの理由はありません。あなたはawkが正しく各行は3つのフィールドを持っていることを認識し、フィールド2であるのに対し、そのフィールド3は、1行目に空で見ることができるように

$ printf 'a\rb\r\nd\r\rf\n' > file 

$ cat -v file 
a^Mb^M 
d^M^Mf 

$ awk -v BINMODE=3 -F'\r' '{for (i=1;i<=NF;i++) print NF, i, "<"$i">"; print "----"}' file 
3 1 <a> 
3 2 <b> 
3 3 <> 
---- 
3 1 <d> 
3 2 <> 
3 3 <f> 
---- 

：フィールドの区切り文字としてキャリッジリターン（コントロール-MS）を使用してこのファイルを想像してみて2行目が空です。あなたは、それが\r\nを見たとき、それはそれだったドスラインエンディングを想定しているためdos2unixは、1行目から空のフィールド3を剥離することで、ファイルを破損していない見ることができるように

$ dos2unix file 
dos2unix: converting file file to Unix format... 

$ cat -v file 
a^Mb 
d^M^Mf 

$ awk -v BINMODE=3 -F'\r' '{for (i=1;i<=NF;i++) print NF, i, "<"$i">"; print "----"}' file 
2 1 <a> 
2 2 <b> 
---- 
3 1 <d> 
3 2 <> 
3 3 <f> 
---- 

を：それでは、それにDOS2UNIX実行して、もう一度試してみましょうFSの後にRSが続きます。