Xgboost: क्या सामान्यीकरण आवश्यक है?

नहीं, आपको सुविधाओं को सामान्य करने की आवश्यकता नहीं है

मुझे लगता है कि मैं समझता हूं कि सैद्धांतिक रूप से पेड़ों को बढ़ावा देने के लिए सामान्यीकरण की आवश्यकता नहीं है।

हालांकि, लक्ष्य y को स्केल करते समय कोई कुछ प्रभाव देख सकता है, विशेष रूप से ' reg:gamma ' के साथ, लेकिन ' reg:linear ' (डिफ़ॉल्ट) के लिए भी (कुछ हद तक)। इसका कारण क्या है?

बोस्टन हाउसिंग डेटासेट के लिए उदाहरण:

import numpy as np
import xgboost as xgb
from sklearn.metrics import mean_squared_error
from sklearn.datasets import load_boston

boston = load_boston()
y = boston['target']
X = boston['data']

for scale in np.logspace(-6, 6, 7):
    xgb_model = xgb.XGBRegressor().fit(X, y / scale)
    predictions = xgb_model.predict(X) * scale
    print('{} (scale={})'.format(mean_squared_error(y, predictions), scale))

२.३४३२७३४४५४९०८३३५ (पैमाना=१ई-०६)
2.343273977065266 (पैमाना=0.0001)
२.३४३२७९३८७४४५५३१५ (पैमाना=0.01)
२.२९०५९५२०४१३६८८८ (पैमाना=1.0)
२.५२८५१३३९३५०७७१९ (पैमाना=१००.०)
७.२२८९७८३५३०९१४७३ (पैमाना=१००००.०)
२७२.२९६४०७५९८७४४७४ (पैमाना=१०००००.०)

' reg:gamma ' का उपयोग करते समय y स्केलिंग का प्रभाव वास्तव में बड़ा होता है:

for scale in np.logspace(-6, 6, 7):
    xgb_model = xgb.XGBRegressor(objective='reg:gamma').fit(X, y / scale)
    predictions = xgb_model.predict(X) * scale
    print('{} (scale={})'.format(mean_squared_error(y, predictions), scale))

591.6509503519147 (पैमाना = 1e-06)
५४५.८२९८९७१५४००२३ (पैमाना=0.0001)
37.68688286293508 (पैमाना=0.01)
4.039819858716935 (स्केल=1.0)
२.५०५४७७२६३५९०७७६ (पैमाना=१००.०)
१९८.९४०९३८००१९०४५३ (पैमाना=१००००.०)
५९२.१४६९१६९९५९०३ (पैमाना=१०००००.०)

@tqchen बूस्टेड ट्रीज़ के आपके महान परिचय को पढ़ना मेरे लिए यह स्पष्ट नहीं है कि गणितीय शब्दों में स्केलिंग की सुविधा क्यों आवश्यक नहीं है।