Unixのフィールドで2つのファイルを比較します

Question

私はUnixに2つの非常に大きなファイルを持っています。

例：

ファイル1： ABC | DEF | GHK | IJK | LMN .... ...

File2の： ABC | DEF | GHK | IJK | 123 。 .. ...

私の仕事は、2つの大きなファイルを比較して、異なる列と行を探し出すことです。たとえば、出力は次のようになります。 列なし行なしファイル1ワードFile2ワード。

例：

5 1 LMN 123個の

ファイルが本当に大きいです。私はawkがUnixでのファイル解析を行う最も速い方法だと聞いています。出力はあまりにも長く待つことができないので。

これはawkを使用して行うことができますか？

Answer 1

paste/awkソリューション

$ paste -d'|' file1 file2 | 
    awk -F'|' '{w=NF/2; 
       for(i=1;i<=w;i++) 
       if($i!=$(i+w)) printf "%d %d %s %s", NR,i,$i,$(i+w); 
       print ""}' 

1 5 lmn 123 

私は順序を変更し、それが最初にフィールド番号を行番号を印刷するには、私に多くの意味がある、しかし、あなたは簡単にそれを変更することができます...

ペーストが一致したら2つのファイルからの行は、前半（最初のファイル）のフィールドに行き、後半（2番目のファイル）と比較して差異を出力します。 awkには、すべてのレコード（行）に対する暗黙のループがあります。私は大きなファイルでこれをテストしていませんが、awk部分については（レコードで記録する）問題ではありません。 pasteがどれほど熱心であるか分かりませんが、私はそれが点滅することは疑いません。