2017-09-25 3 views
1

パンダのデータフレームをタイプチェックしたい、つまり、データフレームに必要なカラムラベルと、どの種類のデータタイプ(dtype)が格納されているかを指定したいとします。タイプチェックパンダデータフレーム

from collections import namedtuple 
Col = namedtuple('Col', 'label, type') 

def dataframe_check(*specification): 
    def check_accepts(f): 
     assert len(specification) <= f.__code__.co_argcount 
     def new_f(*args, **kwds): 
      for (df, specs) in zip(args, specification): 
       spec_columns = [spec.label for spec in specs] 
       assert (df.columns == spec_columns).all(), \ 
        'Columns dont match specs {}'.format(spec_columns) 

       spec_dtypes = [spec.type for spec in specs] 
       assert (df.dtypes == spec_dtypes).all(), \ 
        'Dtypes dont match specs {}'.format(spec_dtypes) 
      return f(*args, **kwds) 
     new_f.__name__ = f.__name__ 
     return new_f 
    return check_accepts 

私はチェック機能の複雑さを気にしないが、それは定型コードの多くを追加します(このquestionに触発さ)、粗実装は次のように動作します。

@dataframe_check([Col('a', int), Col('b', int)], # df1 
       [Col('a', int), Col('b', float)],) # df2 
def f(df1, df2): 
    return df1 + df2 

f(df, df) 

タイプチェックデータフレームのPythonの方法はありますか? the new Python 3.6 static type-checkingのように見えるものはありますか?

mypyで実装することはできますか?おそらく、

答えて

2

ない最も神託の方法が、(data typesとしてカラム名としてキーと値を持つ)トリック行う可能性がありますあなたのスペックのための辞書を使用して:あなたは、HTTPS([OrderedDict]でそれを実装する場合

import pandas as pd 

df = pd.DataFrame(columns=['col1', 'col2']) 
df['col1'] = df['col1'].astype('int') 
df['col2'] = df['col2'].astype('str') 

cols_dtypes_req = {'col1':'int', 'col2':'object'} #'str' dtype is 'object' in pandas 

def check_df(dataframe, specs): 
    for colname in specs: 
     if colname not in dataframe: 
      return 'Column missing.' 
     elif dataframe[colname].dtype != specs[colname]: 
      return 'Data type incorrect.' 
    for dfcol in dataframe: 
     if dfcol not in specs: 
      return 'Unexpected dataframe column.' 
    return 'Dataframe meets specifications.' 

print(check_df(df, cols_dtypes_req)) 
+2

を://docs.python.org/2/library/collections.html#collections.OrderedDict)、列の順序を確認することもできます。 – joachim