テキストファイルから両方の重複（重複だけでなく）を削除しますか？

Question

これは、重複だけでなく、繰り返されるテキストファイル内のすべての行を消去することを意味します。私は、複製された行と複製された行の両方を意味します。これは、繰り返されなかった行のリストだけを私に残すでしょう。おそらく正規表現がノートパッド++でこれを行う可能性がありますか？しかし、どちら？その他の方法は？

Answer 1

UNIX系のシステムの場合は、uniqコマンドを使用できます。

同様の行が隣接していることに注意してください。そうでない場合は、ファイルを最初にソートする必要があります。

ezra@ubuntu:~$ cat test.file 
ezra 
john 
ezra 
user 
ezra@ubuntu:~$ uniq -u test.file 
ezra 
john 
ezra 
user 
ezra@ubuntu:~$ sort test.file | uniq -u 
john 
user 

Answer 2

あなたはPCREスタイルをサポートして正規表現にアセスを持っている場合、これは前方にまっすぐです：

s/(?:^|(?<=\n))(.*)\n(?:\1(?:\n|$))+//g

(?:^|(?<=\n))  # Behind us is beginning of string or newline 
(.*)\n   # Capture group 1: all characters up until next newline 
(?:    # Start non-capture group 
    \1    # backreference to what was captured in group 1 
    (?:\n|$)   # a newline or end of string 
)+    # End non-capture group, do this 1 or more times 

コンテキストは、単一の文字列

use strict; use warnings; 

my $str = 
'hello 
this is 
this is 
this is 
that is'; 

$str =~ s/ 
      (?:^|(?<=\n)) 
      (.*)\n 
      (?: 
       \1 
       (?:\n|$) 
     )+ 
    //xg; 

print "'$str'\n"; 

__END__ 

出力されます。

'hello
that is'