This is my first trial with xgboost (very fast!). рдпрд╣ xgboost (рдмрд╣реБрдд рддреЗрдЬрд╝!) рдХреЗ рд╕рд╛рде рдореЗрд░рд╛ рдкрд╣рд▓рд╛ рдкрд░реАрдХреНрд╖рдг рд╣реИред But I'm a little bit confused . рд▓реЗрдХрд┐рди рдореИрдВ рдереЛрдбрд╝рд╛ рднреНрд░рдорд┐рдд рд╣реВрдВред
In fact, I trained a model using xgb.cv as follows: рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ, рдореИрдВрдиреЗ рдирд┐рдореНрдирд╛рдиреБрд╕рд╛рд░ xgb.cv рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдПрдХ рдореЙрдбрд▓ рдХреЛ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд┐рдпрд╛:
xgbmodel=xgb.cv(params=param, data=trainingdata, nrounds=100, nfold=5,showsd=T,metrics='logloss') xgbmodel=xgb.cv(params=param, data=trainingdata, nrounds=100, nfold=5,showsd=T,metrics='logloss')
Now I want to predict with my test set but xgbmodel seems to be a logical value (TRUE in this case) рдЕрдм рдореИрдВ рдЕрдкрдиреЗ рдкрд░реАрдХреНрд╖рдг рд╕реЗрдЯ рдХреЗ рд╕рд╛рде рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ рдЪрд╛рд╣рддрд╛ рд╣реВрдВ рд▓реЗрдХрд┐рди xgbmodel рдПрдХ рддрд╛рд░реНрдХрд┐рдХ рдорд╛рди рдкреНрд░рддреАрдд рд╣реЛрддрд╛ рд╣реИ (рдЗрд╕ рдорд╛рдорд▓реЗ рдореЗрдВ рд╕рддреНрдп)
How could I predict after cv? рд╕реАрд╡реА рдХреЗ рдмрд╛рдж рдореИрдВ рдХреИрд╕реЗ рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдХрд░ рд╕рдХрддрд╛ рдерд╛? Should I use xgb.train then? рдХреНрдпрд╛ рдореБрдЭреЗ рддрдм xgb.train рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП?
HR рдорд╛рдирд╡ рд╕рдВрд╕рд╛рдзрди
Yes, the xgb.cv does not return the model, but the cv history of the process. рд╣рд╛рдВ, xgb.cv рдореЙрдбрд▓ рдирд╣реАрдВ рд▓реМрдЯрд╛рддрд╛, рдмрд▓реНрдХрд┐ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХрд╛ cv рдЗрддрд┐рд╣рд╛рд╕ рд▓реМрдЯрд╛рддрд╛ рд╣реИред Since in cv we are training n models to evaluate the result. рдЪреВрдВрдХрд┐ cv рдореЗрдВ рд╣рдо рдкрд░рд┐рдгрд╛рдо рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП n рдореЙрдбрд▓ рдХрд╛ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рджреЗ рд░рд╣реЗ рд╣реИрдВред
A normal use case of cv is to select parameters, so usually you use cv to find a good parameter, and use xgb.train to train the model on the entire dataset рд╕реАрд╡реА рдХрд╛ рдПрдХ рд╕рд╛рдорд╛рдиреНрдп рдЙрдкрдпреЛрдЧ рдорд╛рдорд▓рд╛ рдорд╛рдкрджрдВрдбреЛрдВ рдХрд╛ рдЪрдпрди рдХрд░рдирд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдЖрдорддреМрд░ рдкрд░ рдЖрдк рдПрдХ рдЕрдЪреНрдЫрд╛ рдкреИрд░рд╛рдореАрдЯрд░ рдЦреЛрдЬрдиреЗ рдХреЗ рд▓рд┐рдП рд╕реАрд╡реА рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВ, рдФрд░ рдкреВрд░реЗ рдбреЗрдЯрд╛рд╕реЗрдЯ рдкрд░ рдореЙрдбрд▓ рдХреЛ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП xgb.train рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВред
enрдареАрдХ рд╣реИ, рдпрд╣ рдЕрдм рдФрд░ рд╕реНрдкрд╖реНрдЯ рд╣реИ
enHi, рд╣реИрд▓реЛ,
There is a parameter prediction=TRUE in xgb.cv, which returns the prediction of cv folds. xgb.cv рдореЗрдВ рдПрдХ рдкреИрд░рд╛рдореАрдЯрд░ рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА = TRUE рд╣реИ, рдЬреЛ cv рдлрд╝реЛрд▓реНрдб рдХрд╛ рдкреВрд░реНрд╡рд╛рдиреБрдорд╛рди рджреЗрддрд╛ рд╣реИред But it is not clear from the document that for which nround, the predictions are returned? рд▓реЗрдХрд┐рди рджрд╕реНрддрд╛рд╡реЗрдЬ рд╕реЗ рдпрд╣ рд╕реНрдкрд╖реНрдЯ рдирд╣реАрдВ рд╣реИ рдХрд┐ рдХрд┐рд╕ рджреМрд░ рдХреЗ рд▓рд┐рдП рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгрд┐рдпрд╛рдВ рд▓реМрдЯрд╛рдИ рдЬрд╛рддреА рд╣реИрдВ?
en
рд╕рдмрд╕реЗ рдЙрдкрдпреЛрдЧреА рдЯрд┐рдкреНрдкрдгреА
Yes, the xgb.cv does not return the model, but the cv history of the process. рд╣рд╛рдВ, xgb.cv рдореЙрдбрд▓ рдирд╣реАрдВ рд▓реМрдЯрд╛рддрд╛, рдмрд▓реНрдХрд┐ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХрд╛ cv рдЗрддрд┐рд╣рд╛рд╕ рд▓реМрдЯрд╛рддрд╛ рд╣реИред Since in cv we are training n models to evaluate the result. рдЪреВрдВрдХрд┐ cv рдореЗрдВ рд╣рдо рдкрд░рд┐рдгрд╛рдо рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП n рдореЙрдбрд▓ рдХрд╛ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рджреЗ рд░рд╣реЗ рд╣реИрдВред
A normal use case of cv is to select parameters, so usually you use cv to find a good parameter, and use xgb.train to train the model on the entire dataset рд╕реАрд╡реА рдХрд╛ рдПрдХ рд╕рд╛рдорд╛рдиреНрдп рдЙрдкрдпреЛрдЧ рдорд╛рдорд▓рд╛ рдорд╛рдкрджрдВрдбреЛрдВ рдХрд╛ рдЪрдпрди рдХрд░рдирд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдЖрдорддреМрд░ рдкрд░ рдЖрдк рдПрдХ рдЕрдЪреНрдЫрд╛ рдкреИрд░рд╛рдореАрдЯрд░ рдЦреЛрдЬрдиреЗ рдХреЗ рд▓рд┐рдП рд╕реАрд╡реА рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВ, рдФрд░ рдкреВрд░реЗ рдбреЗрдЯрд╛рд╕реЗрдЯ рдкрд░ рдореЙрдбрд▓ рдХреЛ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП xgb.train рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВред
en