Pandasデータフレームを使用する場合、slow for（）：ループを避けるにはどうすればよいですか？

Question

for i in range(1, len(df)): 
    if df.loc[i]["identification"] == df.loc[i-1]["identification"] and df.loc[i]["date"] == df.loc[i-1]["date"]: 
     df.loc[i,"duplicate"] = 1 
    else: 
     df.loc[i,"duplicate"] = 0 

この単純なforループは、大きなサイズのデータ​​フレームを処理するときに非常に遅くなります。

提案がありますか？

Answer 1

ではなく、ループのベクトル化されたアプローチを使用してみてください：

df['duplicate'] = np.where((df.identification == df.identification.shift()) 
          & 
          (df.date == df.date.shift()), 
          1,0) 

Answer 2

値が重複している場合は、ちょうどチェックしているように見えます。その場合、使用することができます

df.sort_values(by=['identification', 'date'], inplace=True) 
df['duplicate'] = df.duplicated(subset=['identification', 'date']).astype(int)