glob/mergeを使用して、特定のExcelファイルの特定の列を削除します。

Question

最終的なファイルにNaN行を入れてExcel用のforループで読み込み、すべての会社、電子メール、ファイナルはExcelファイルにロードされます。 Company複数を防止するために

Company_x First Name Last Name Emails_x Created_x Hosted Meetings 03112016 Facilitated Meetings_x Attended Meetings_x Company_y Emails_y ... Created_x Hosted Meetings 04122016 Facilitated Meetings_x Attended Meetings_x Company_y Emails_y Created_y Hosted Meetings 04212016 Facilitated Meetings_y Attended Meetings_y 
0 TS X Y X@Y.com 03/10/2016 0.0 0.0 0.0 TS X@Y.com ... 03/10/2016 0.0 0.0 2.0 NaN NaN NaN NaN NaN NaN 
1 TS X Y X@Y.com 03/10/2016 0.0 0.0 0.0 TS X@Y.com ... 01/25/2016 0.0 0.0 0.0 NaN NaN NaN NaN NaN NaN 
2 TS X Y X@Y.com 03/10/2016 0.0 0.0 0.0 TS X@Y.com ... 04/06/2015 9.0 10.0 17.0 NaN NaN NaN NaN NaN NaN 

Answer 1

：ここ

for f in glob.glob("./gowall-users-export-*.xlsx"): 
    df = pd.read_excel(f) 
    all_users_sheets_hosts.append(df) 
    j = re.search('(\d+)', f) 
    df.columns = df.columns.str.replace('.*Hosted Meetings.*', 'Hosted Meetings' + ' ' + j.group(1)) 

all_users_sheets_hosts = reduce(lambda left,right: pd.merge(left,right,on=['First Name', 'Last Name'], how='outer'), all_users_sheets_hosts) 

は、得られたDFの最初の数行である：ここ

は私のforループ（および単一DFにマージ以降）、現在、Emails、Created、Facilitated Meetings、Attended Meetings列の場合は、right DataFrameから削除してください。 Companyらので

import pandas as pd 
import functools 

for f in glob.glob("./gowall-users-export-*.xlsx"): 
    df = pd.read_excel(f) 
    all_users_sheets_hosts.append(df) 
    j = re.search('(\d+)', f) 
    df.columns = df.columns.str.replace('.*Hosted Meetings.*', 
             'Hosted Meetings' + ' ' + j.group(1)) 

# Drop rows of all NaNs from the final DataFrame in `all_users_sheets_hosts` 
all_users_sheets_hosts[-1] = all_users_sheets_hosts[-1].dropna(how='all', axis=0) 

def mergefunc(left, right): 
    cols = ['Company', 'Emails', 'Created', 'Facilitated Meetings', 'Attended Meetings'] 
    right = right.drop(cols, axis=1) 
    result = pd.merge(left, right, on=['First Name', 'Last Name'], how='outer') 
    return result 

all_users_sheets_hosts = functools.reduce(mergefunc, all_users_sheets_hosts) 

：全てNaN値を持つ行を削除するには、result.dropna(how='all', axis=0)を使用します。 al。列は、left DataFrame内にのみ存在し、それらの列の拡散はありません。ただし、leftとright DataFramesの列の値が異なる場合、最初のDataFrameの値はall_users_sheets_hostsに保持されます。

---

代替、leftとrightデータフレームはCompanyらに対して同じ値を持つ場合。 al。もう1つのオプションは、これらの列にも簡単にマージすることです。

def mergefunc(left, right): 
    cols = ['First Name', 'Last Name', 'Company', 'Emails', 'Created', 
      'Facilitated Meetings', 'Attended Meetings'] 
    result = pd.merge(left, right, on=cols, how='outer') 
    return result 
all_users_sheets_hosts = functools.reduce(mergefunc, all_users_sheets_hosts)