AWK複数レコードのフィールドの合計と、変数と等しい場合に結合

Question

私はデータアラインメントに問題があります。以下の例では、前の行の終わりに属する行と、nullに変更する必要のある行があります。

117@M@7@7@81 1/2@61/2@51/2@41/2@1PAWS@7.40 5w BITE SLOW 
117@M@11@5@41/2@31/2@31@3PAWS@21/2@3.40 4w BITE SLOW 
124@M@2@2@31/2@41/2@41/2@21/2@33/4@1.30* led 1/16p, BITE SLOW 
117@M@3@3@21@21/2@2PAWS@1PAWS@41 3/4 ins, BITE SLOW 
117@--@1@6@61/2@51/2@61/2@61/2@5TEETH@26.25 cut BITE SLOW 
117@--@4@8@7PAWS@82@81/2@81/2@6TEETH@13.10 5w BITE SLOW 
117@M@10@9@91@91/2@9PAWS@91@71 1/4@10.10 4w BITE FAST 
124@M@6@4@51/2@71@71@71/2@8TEETH@15.90 3w BITE FAST 
117@M@9@1@11/2@11/2@11/2@51@9TEETH@8.70 in BITE FAST 
117@M@8@11@11@10PAWS@105@103@10 2 3/4 
19.50 6w upper, no response 
124@M@5@10@101@11@11@11@11@86.50 off slow, no impact 

私がこれまで行ってきたことは、すべてのレコードの中で最も使用されたフィールド数を出力する変数を作成することです。私はawkでその変数を使用して、データが欠落しているか、間違って書式設定されている行を探したいとします。私は私が作業する必要がある行/レコードを見つけることができます

awk -F@ -v x=$FLDCNT '{if(NF != x && [some code to check record and next record's combined field count = $FLDCNT]) [add the next row to the end of the current rows fields] print }' file 

が、私は「[]の手順をプリフォームする方法についてわからない午前：

FLDCNT=$(sed '/^ *$/d' file | sed 's/^ *//g' |awk -F@ '{print NF}' | sort | uniq -c | sort |awk 'END{print $NF}'); 

の線に沿って何かを使用して"上記のコードのセクション。最後に

、出力は次のようになります。

117@M@7@7@81 1/2@61/2@51/2@41/2@1PAWS@7.40 5w BITE SLOW 
117@M@11@5@41/2@31/2@31@3PAWS@21/2@3.40 4w BITE SLOW 
124@M@2@2@31/2@41/2@41/2@21/2@33/4@1.30* led 1/16p, BITE SLOW 
117@M@3@3@21@21/2@2PAWS@1PAWS@41 3/4 ins, BITE SLOW@NULL 
117@--@1@6@61/2@51/2@61/2@61/2@5TEETH@26.25 cut BITE SLOW 
117@--@4@8@7PAWS@82@81/2@81/2@6TEETH@13.10 5w BITE SLOW 
117@M@10@9@91@91/2@9PAWS@91@71 1/4@10.10 4w BITE FAST 
124@M@6@4@51/2@71@71@71/2@8TEETH@15.90 3w BITE FAST 
117@M@9@1@11/2@11/2@11/2@51@9TEETH@8.70 in BITE FAST 
117@M@8@11@11@10PAWS@105@103@10 2 3/4@19.50 6w upper, no response 
124@M@5@10@101@11@11@11@11@86.50 off slow, no impact 

私が知られているフィールド形式でif文を使用してのようないくつかのより容易な解決策があることの例から知っています。しかし、私は何千ものファイルを扱っており、フィールドとレコードの数はすべて異なっています。

要約すると、私はすべての行の最も一般的な列数を見つけようとしています、その共通数と一致しない行を見つけ、それらのoddballsを呼び出すことができ、oddballs奇妙なボールが共通の数字と同じ列カウントを持つようにし、そうであれば行を一緒に追加します。

Answer 1

あなたの質問にはperlというタグが付いています。だから、ここで読めるPerlのソリューションです：

#!/usr/bin/perl 
use warnings; 
use strict; 

my %count; 
my $max = 0; 

open my $FH, '<', shift or die $!; 
while (<$FH>) { 
    my $c = split /@/; 
    $count{$c}++; 
    $max = $c if $c > $max; 
} 

warn "The max count ($max) different from the most common\n" 
    if grep $_ > $count{$max}, values %count; 

seek $FH, 0, 0; 
my $leftover = 0; 
while (<$FH>) { 
    my $c = $leftover + split /@/; 
    if ($leftover) { 
     print '@'; 
     if ($c > $max) { 
      $c -= $leftover; 
      print "NULL\n"; 
     } 
    } 

    if ($c != $max) { 
     $leftover += $c; 
     chomp; 
    } else { 
     $leftover = 0; 
    } 
    print; 
} 

Answer 2

awkと前進可能な方法：

awk -F@ ' 
    NF>=10 { 
     if(p!="") { 
     print p "@NULL" 
     p="" 
     } 
     print 
    } 
    NF<10 { 
     if(!p || p=="") { 
     p=$0 
     } else { 
     print p "@" $0;p="" 
     } 
    }' file 

このスクリプトは、10個の以上のフィールドを持つすべての行を出力します。両方のフィールドが10フィールド未満の場合は連続する行を連結し、9フィールドの場合は@NULLを追加します。