ruby​​ CSV重複行解析

Question

私は処理する必要があるいくつかのCSVデータを持っており、重複したものと一致する方法を見つけ出すのに問題があります。

データビットのようになります。

line id name item_1 item_2 item_3 item_4 
1  251 john foo  foo  foo  foo 
2  251 john foo  bar  bar  bar 
3  251 john foo  bar  baz  baz 
4  251 john foo  bar  baz  pat 

線1-3は、この場合、重複しています。この場合

line id name item_1 item_2 item_3 item_4 
5  347 bill foo  foo  foo  foo 
6  347 bill foo  bar  bar  bar 

のみライン5重複

line id name item_1 item_2 item_3 item_4 
7  251 mary foo  foo  foo  foo 
8  251 mary foo  bar  bar  bar 
9  251 mary foo  bar  baz  baz 

あり、ここでのパターンは、新しい「項目」 前の行を追加した場合のライン7及び8はとても基本的に重複

あります重複しています。 私は関係なく、彼らは

を持っているどのように多くのアイテムの私はRubyは、次のように1.9.3使用していますが、それぞれの人のための単一の行で終わるしたい：

require 'csv' 
puts "loading data" 
people = CSV.read('input-file.csv') 

CSV.open("output-file", "wb") do |csv| 
    #write the first row (header) to the output file 
    csv << people[0] 
    people.each do |p| 
     ... logic to test for dupe ... 
     csv << p.unique 
    end 
end 

Answer 1

まず、コードにわずかなバグがあります。代わりに：

csv << people[0] 

あなたがループコードを変更したくない場合は、次の操作を実行する必要があります：

今

csv << people.shift 

、以下のソリューションは、人の最初のオカレンスを追加します（idが一意であると仮定しているので）idによって決定された後続の重複を破棄します。あなたの重複レコードが常に直接、元をたどる場合は、よりパフォーマンスの高いソリューションがあることが

require 'csv' 
puts "loading data" 
people = CSV.read('input-file.csv') 
ids = [] # or you could use a Set 

CSV.open("output-file", "wb") do |csv| 
    #write the first row (header) to the output file 
    csv << people.shift 
    people.each do |p| 
    # If the id of the current records is in the ids array, we've already seen 
    # this person 
    next if ids.include?(p[0]) 

    # Now add the new id to the front of the ids array since the example you gave 
    # the duplicate records directly follow the original, this will be slightly 
    # faster than if we added the array to the end, but above we still check the 
    # entire array to be safe 
    ids.unshift p[0] 
    csv << p 
    end 
end 

注意、あなただけの最後のオリジナルIDを維持し、全体ではなく、アレイに含めるよりも、現在のレコードのidをチェックする必要があります。入力ファイルに多数のレコードが含まれていない場合、その差はごくわずかです。あなたは、人がIDと名前で識別された各人物、関連付けられたユニークなアイテムのリストを取得しようとしているよう

require 'csv' 
puts "loading data" 
people = CSV.read('input-file.csv') 
previous_id = nil 

CSV.open("output-file", "wb") do |csv| 
    #write the first row (header) to the output file 
    csv << people.shift 
    people.each do |p| 
    next if p[0] == previous_id 
    previous_id = p[0] 
    csv << p 
    end 
end 

Answer 2

あなたは「UNIQ」

を使用することができます

irb(main):009:0> row= ['ruby', 'rails', 'gem', 'ruby'] 
irb(main):010:0> row.uniq 
=> ["ruby", "rails", "gem"] 
or 

row.uniq! 
=> ["ruby", "rails", "gem"] 

irb(main):017:0> row 
=> ["ruby", "rails", "gem"] 

irb(main):018:0> row = [1,  251, 'john', 'foo',  'foo',  'foo',  'foo'] 
=> [1, 251, "john", "foo", "foo", "foo", "foo"] 
irb(main):019:0> row.uniq 
=> [1, 251, "john", "foo"] 

Answer 3

ですね：次のようになります

。

{ 
    [251, "john"] => ["bar", "bat", "baz", "foo"], 
    [347, "bill"] => ["bar", "foo"] 
} 

と最長の項目の配列は、あなたですどのくらいを示していますmaxitems：これはあなたのような構造をあげる

peoplehash = {} 
maxitems = 0 
people.each do |id, name, *items| 
    (peoplehash[[id, name]] ||= []) += items 
peoplehash.keys.each do |k| 
    peoplehash[k].uniq! 
    peoplehash[k].sort! 
    maxitems = [maxitems, peoplehash[k].size].max 

：そうです場合は、このような何かを行うことができますあなたが必要とするものは何でも使用できます。