xgboost.cvとsklearn.cross_val_scoreの結果が異なるのはなぜですか？

Question

私はデータセットで分類子を作ろうとしています。私が最初にXGBoost使用：

import xgboost as xgb 
import pandas as pd 
import numpy as np 

train = pd.read_csv("train_users_processed_onehot.csv") 
labels = train["Buy"].map({"Y":1, "N":0}) 

features = train.drop("Buy", axis=1) 
data_dmat = xgb.DMatrix(data=features, label=labels) 

params={"max_depth":5, "min_child_weight":2, "eta": 0.1, "subsamples":0.9, "colsample_bytree":0.8, "objective" : "binary:logistic", "eval_metric": "logloss"} 
rounds = 180 

result = xgb.cv(params=params, dtrain=data_dmat, num_boost_round=rounds, early_stopping_rounds=50, as_pandas=True, seed=23333) 
print result 

をそして結果は次のとおりです。

 test-logloss-mean test-logloss-std train-logloss-mean 
0    0.683539   0.000141   0.683407 
179   0.622302   0.001504   0.606452 

我々は、それは周り0.622で見ることができます。

しかし、まったく同じパラメータを使ってsklearnに切り替えると、結果は全く異なります。以下は私のコードです：

from sklearn.model_selection import cross_val_score 
from xgboost.sklearn import XGBClassifier 
import pandas as pd 

train_dataframe = pd.read_csv("train_users_processed_onehot.csv") 
train_labels = train_dataframe["Buy"].map({"Y":1, "N":0}) 
train_features = train_dataframe.drop("Buy", axis=1) 

estimator = XGBClassifier(learning_rate=0.1, n_estimators=190, max_depth=5, min_child_weight=2, objective="binary:logistic", subsample=0.9, colsample_bytree=0.8, seed=23333) 
print cross_val_score(estimator, X=train_features, y=train_labels, scoring="neg_log_loss") 

と結果は次のとおりです。[-4.11429976 -2.08675843 -3.27346662]、それははるかに0.622からまだ逆転の後。

私はcross_val_scoreにブレークポイントを入れ、テストセットのすべてのタプルを約0.99の確率で負であると予測することによってクラシファイアが狂った予測をしていることがわかりました。

どこが間違っているのでしょうか。誰か助けてくれますか？

Answer 1

この質問は少し古くなっていますが、今日問題に遭遇し、xgboost.cvとsklearn.model_selection.cross_val_scoreの結果がどうして違うのか分かりました。

デフォルトでは、cross_val_scoreはシャッフル引数がFalseのKFoldまたはStratifiedKFoldを使用しているため、データからランダムにプルダウンされません。

あなたがこれを行う場合は、同じ結果を得る必要がありますので、その後、

cross_val_score(estimator, X=train_features, y=train_labels, scoring="neg_log_loss", cv = StratifiedKFold(shuffle=True, random_state=23333)) 

は正確に再現性のある結果を得るために、同じxgboost.cvにStratifiedKfoldとseedでrandom stateしてください。