このコードブロックを高速化するにはどうすればよいですか？

Question

私は取り除くために、そして、私は現在、これを実行していることをやろうとしている重複するレコードがたくさんあります、すべてのアクティブな調査を見つけ

Survey.active.each do |survey| 
    survey.response_sets.completed.each do |set| 
    answer_ids = [] 
    set.responses.each do |r| 
     if r.answer.blank? 
     r.destroy 
     else 
     if answer_ids.include? r.answer_id 
      r.destroy 
     else 
      answer_ids << r.answer_id 
     end 
     end 
    end 
    end 
end 

を各調査の応答セットを取得します、各応答セットの個々の応答を入力します。

次に、応答セット内の別の応答のためにanswer_idが存在する場合に、応答が重複であるかどうかを調べます。与えられた応答セット内には、与えられたanswer_idに対して1つの応答のみが存在することができる。したがって、重複がある場合、重複を破棄します。

数十万行を超えると、が非常に遅くなります。

どのように処理速度を上げることができますか？

Survey.active 
SELECT "surveys".* FROM "surveys" WHERE "surveys"."active" = 't' 

survey.response_sets.completed 
SELECT "response_sets".* FROM "response_sets" WHERE ("response_sets".survey_id = 12345) AND (completed_at IS NOT NULL) 

set.responses 
SELECT "responses".* FROM "responses" WHERE ("responses".response_set_id = 54321) 

私はRailsの3.0.6とPostgreSQLを実行している：ここで

は、SQLは、それらのそれぞれを求めています。

Answer 1

あなたは間違った角度からこれを攻撃している可能性があります。最初に悪いデータをデータベースに入れないでください。私はあなたのデータベースモデルがどのように見えるのかは分かりませんが、モデルのいくつかのバリデーションによって、このようにデータベースをきれいにする必要がないかもしれません。本当に大きなデータセットをRailsにロードするのは苦痛で、それは本当に遅く、メモリが空いています。

# maybe something like this? 
class Responses < ActiveRecord::Base 
    validates_uniqueness_of :answer_id, :scope => :id 
end 

バッチ先端（追加）

ActiveRecordのは、本当に大きな結果セットでうまく動作しません。 will_paginateや類似のものがあれば、完全なデータセットを簡単にループすることができます。

Answer 2

これを1回だけ実行する必要がある場合は、何が問題ですか？それが「毎日」の仕事であれば、それを処理するためにバックグラウンドジョブを使用することができます（遅れたジョブまたはresque gemを見てください）。

しかし、あなたができることはいくつかあります。範囲内の答えはincludingですか？あるいは大規模なデータセットを扱う場合が速くする必要がありますARモデルのfind_eachと呼ばれる方法もありますSurvey.active.includes(:answers)

を使用しています。

希望に役立ちます。

Answer 3

WHERE句で使用しているフィールドがインデックスに登録されていることを確認してください。

純粋なSQLの問題ではなく、Railsの1（全く同じように、私は:) RailsのN00B午前）です

、しかし...

response_sets.survey_id, 
response_sets.completed_at 
responses.response_set_id 

は間違いなくすべてが君ならば、それらに設定されたインデックスを持つ必要があります数百行のデータセットについて話しています。

Answer 4

私はこれがRubyの各レコードを反復する代わりに、SQLを使って解決するのが最も良い問題だと思います。あなたが運転

#Delete responses that do not have a corresponding answer 
#AND delete responses that have a duplicate answer_id keeping only one response for each answer_id 
ActiveRecord::Base.execute <<-SQL 
    DELETE FROM responses 
    WHERE (responses.answer_id IS NULL) OR 
    (
    responses.id NOT IN (
     -- build a list of the response ids you want to keep 
     SELECT responses.id 
     FROM responses 
     INNER LEFT JOIN 
     (
     -- get a list of responses with a unique answer id 
     SELECT DISTINCT responses.answer_id 
     FROM responses 
    ) 
     -- join responses to itself on the unique list of answer ids 
     -- keeping only a single record for each answer id 
     as answer_ids ON responses.answer_id = answer_ids.answer_id 
    ) 
) 
SQL 

NOTEのこのタイプを行う必要があるとき

SQLは、まだ強力なツールです：私はこれをテストしていないと私は最初のテスト環境に対してそれを実行することをお勧めします。

Answer 5

あなたの結果をanswer_idでグループ化し、COUNT（*）> 1のもののみを選択してください。

それはこのような何かに行くことができます：

duplicate_sets.group_by(:answer_id) {|...| 

これはあなたによってグループ化されたすべてのIDの配列を与える。そして、すべてが、最初の1これらすべてのanswer_idsを通過し、破壊する

survey.response_sets.completed.all(
    :group_by => "answer_id", 
    :select => "id, answer_id, COUNT(*) AS count_duplicates", 
    :conditions => "count_duplicates > 1") 

をそれぞれの答えID。最初の要素を取り除き、残りの要素を破壊してください。

私はあなたのモデルについてはわからないので、私はあなたに残ります。しかし、実際に作業する前にデータを準備する方法を手がかりにする必要があります。私のコードではanswer_id IS NULLのケースも選択されていませんが、これらは2回目の実行で見つけやすいはずです。

準備中にデータが変更されず、削除が重複しないように、すべてをトランザクションにラップしてください。