Xgboost: 정규화가 필요한가요?

아니요 기능을 정규화할 필요가 없습니다.

원칙적으로 나무를 부스트할 때 정규화할 필요가 없다는 것을 이해하고 있다고 생각합니다.

그러나 특히 ' reg:gamma '를 사용하여 대상 y를 조정할 때 상당한 영향을 볼 수 있지만 ' reg:linear '(기본값)에 대해서도 (덜 정도) 영향을 미칩니다. 그 이유는 무엇입니까?

Boston Housing 데이터 세트의 예:

import numpy as np
import xgboost as xgb
from sklearn.metrics import mean_squared_error
from sklearn.datasets import load_boston

boston = load_boston()
y = boston['target']
X = boston['data']

for scale in np.logspace(-6, 6, 7):
    xgb_model = xgb.XGBRegressor().fit(X, y / scale)
    predictions = xgb_model.predict(X) * scale
    print('{} (scale={})'.format(mean_squared_error(y, predictions), scale))

2.3432734454908335(축척=1e-06)
2.343273977065266(축척=0.0001)
2.3432793874455315(축척=0.01)
2.290595204136888(축척=1.0)
2.528513393507719(축척=100.0)
7.228978353091473(축척=10000.0)
272.29640759874474(축척=1000000.0)

' reg:gamma '를 사용할 때 y 스케일링의 영향은 정말 큽니다.

for scale in np.logspace(-6, 6, 7):
    xgb_model = xgb.XGBRegressor(objective='reg:gamma').fit(X, y / scale)
    predictions = xgb_model.predict(X) * scale
    print('{} (scale={})'.format(mean_squared_error(y, predictions), scale))

591.6509503519147(축척=1e-06)
545.8298971540023(축척=0.0001)
37.68688286293508(축척=0.01)
4.039819858716935(스케일=1.0)
2.505477263590776(축척=100.0)
198.94093800190453(축척=10000.0)
592.1469169959003(축척=1000000.0)

@tqchen Boosted Trees에 대한 훌륭한