Xgboost: [신규 기능] 트리 구성의 Monotonic Constraints

실험 버전은 https://github.com/dmlc/xgboost/pull/1516 에서 제공됩니다 https://github.com/tqchen/xgboost 리포지토리를 복제

다음 옵션을 켜십시오(python, r API를 통해 가능함).

monotone_constraints = "(0,1,1,0)"

두 가지 주장이 있습니다

• monotone_constraints 는 기능 수의 길이 목록이며, 1은 단조 증가, -1은 감소, 0은 제한 없음을 의미합니다. 기능 수보다 짧으면 0이 채워집니다.
  
  
  
  • 현재 python의 튜플 형식을 지원하므로 r을 사용할 때 문자열로 전달할 수 있습니다.
  
  

확인해야 할 사항

• [x] 원래 트리 부스터의 속도가 느려지지 않습니다(코드 구조를 약간 변경했습니다. 이론상 템플릿 최적화가 인라인을 인라인하지만 확인해야 함)
• [x] 단조 회귀의 속도와 정확성
• [x] 이 제약을 도입하여 성능

알려진 제한 사항

현재는 멀티 코어에서 정확한 탐욕 알고리즘만 지원합니다. 아직 배포 버전에서 사용할 수 없음

@tqchen 저는 오늘 직장에서 다른 모델의 성능과 비교하여 테스트하기 위해 모노톤 제약 조건이 있는 GBM을 구축해 달라는 요청을 받았습니다. 이것은 tweedie 이탈도 손실과 함께이므로 오늘날과 같이 사용자 정의 손실 함수를 사용해야 할 것입니다.

어쨌든 도움을 주고 동시에 일부 작업을 완료할 수 있는 좋은 기회인 것 같습니다.

여기 이야기를 바탕으로 GBM(R 패키지)은 단조성을 로컬에서만 시행합니다.
XGBoost가 어떻게 단조로운 제약을 적용하는지 명확히 해주실 수 있습니까?
XGBoost가 전역 제약 조건을 적용할 수 있다면 좋을 것입니다.

로컬 또는 글로블 제약이 무엇을 의미하는지 이해하지 못합니다. 자세히 설명해 주시겠습니까?

죄송합니다. 잘못된 링크를 붙여넣었습니다. 여기에 올바른 링크가 있습니다 (링크).
각 트리는 관심 있는 기능의 특정 하위 집합에서만 단조 제약을 따를 수 있으므로 많은 트리 앙상블이 해당 기능의 전체 범위에서 전체 단조성을 위반할 수 있습니다.

네, 제가 이해하기로는 전 세계적으로 시행되고 있습니다. 당신은 그것을 시도하는 것을 환영합니다.

단변량 회귀의 맥락에서 단조성 제약 조건에 대한 몇 가지 간단한 테스트를 수행했습니다. 여기에서 코드와 매우 간단한 문서를 찾을 수 있습니다.

https://github.com/XiaoxiaoWang87/xgboost_mono_test/blob/master/xgb_monotonicity_constraint_testing1-univariate.ipynb

일부 초기 관찰:

• 단일 변수 회귀 문제의 경우 단조 제약 조건 = +1이 잘 작동하는 것 같습니다.
• 단일 변수 회귀 문제의 경우 내 데이터 세트에서 단조 제약 조건 = -1은 단조롭게 감소하는 함수를 생성하지 않는 것 같습니다. 오히려 상수를 제공합니다. 그러나 이것은 제약 조건을 적용할 때 개선이 부족하기 때문일 수도 있습니다. 확인하려면(Tianqi의 제안에 따라 데이터 세트를 뒤집고 제약 조건을 +1로 설정해 보세요).
• 제약 조건을 (올바르게) 추가하면 잠재적으로 과적합을 방지하고 일부 성능/해석 이점을 가져올 수 있습니다.

Constraint = -1 경우에 버그를 도입한 것으로 나타났습니다. 수정을 푸시했는데 최신 버전이 잘 작동하는지 확인하십시오. 여러 제약 조건이 있는 경우에도 작동하는지 확인하십시오.

@tqchen 감소 버그에 대한 수정 사항을 테스트했는데 지금 작동하는 것 같습니다.

일부 표준 데이터 세트에서 원래 버전에 비해 속도가 감소하는지 확인한 다음 병합할 수 있습니다.

@tqchen 두 개의 변수 모델을 테스트했습니다. 하나는 증가하는 제약 조건이 있고 다른 하나는 감소하는 제약 조건이 있습니다.

params_constrained = params.copy()
params_constrained['updater'] = "grow_monotone_colmaker,prune"
params_constrained['monotone_constraints'] = "(1,-1)"

결과는 좋다

오늘 오후에 약간의 타이밍 테스트를 할 시간을 찾도록 노력하겠습니다.

montone 옵션의 자동 감지를 허용하도록 #1516을 업데이트했습니다. 이제 사용자는 monotone_constraints = "(0,1,1,0)" 만 전달하면 됩니다. 작동하는지 확인하십시오.

속도 테스트가 정상적으로 진행되면 이것을 병합하고 튜토리얼을 추가하는 다음 단계로 넘어가도록 하겠습니다.

@madrury @ XiaoxiaoWang87

여기에 다변수 사례에 대한 테스트가 추가되었습니다.

https://github.com/XiaoxiaoWang87/xgboost_mono_test/blob/master/xgb_monotonicity_constraint_testing2-multivariate.ipynb

• 이제 단조 제약 조건 = 1 및 = -1이 예상대로 작동하는지 확인합니다.
• 단조성을 제한해도 명백한 속도* 저하가 발생하지 않습니다.
  *speed = avg [ 조기 정지까지의 시간 / 조기 정지까지의 부스팅 반복 횟수 ]

no constraint: 964.9 microseconds per iteration
with constraint: 861.7 microseconds per iteration

(속도 테스트를 하는 더 좋은 방법이 있다면 댓글 부탁드립니다)

• non-monotonic 변수에 대한 방향을 제한할 때 주의해야 합니다. 이로 인해 성능이 저하될 수 있습니다.
• 다른 하이퍼 매개변수를 사용할 때 Check failed: (wleft) <= (wright) 로 인해 코드 충돌이 발생합니다.

Jupyter 노트북에서 몇 가지 타이밍 실험을 실행했습니다.

첫 번째 테스트: 몇 가지 간단한 시뮬레이션 데이터. 하나는 증가하고 다른 하나는 감소하는 두 가지 기능이 있지만 각 기능이 진정으로 단조롭지 않도록 중첩된 작은 사인파가 있습니다.

X = np.random.random(size=(N, K))
y = (5*X[:, 0] + np.sin(5*2*pi*X[:, 0])
     - 5*X[:, 1] - np.cos(5*2*pi*X[:, 1])
     + np.random.normal(loc=0.0, scale=0.01, size=N))

다음은 모노톤 제약 조건이 있거나 없는 xgboost의 타이밍 결과입니다. 나는 조기 중지를 끄고 각각에 대해 설정된 반복 횟수를 늘렸습니다.

모노톤 제약이 없는 첫 번째:

%%timeit -n 100
model_no_constraints = xgb.train(params, dtrain, 
                                 num_boost_round = 2500, 
                                 verbose_eval = False)

100 loops, best of 3: 246 ms per loop

그리고 여기에 단조성 제약 조건이 있습니다.

%%timeit -n 100
model_with_constraints = xgb.train(params_constrained, dtrain, 
                                 num_boost_round = 2500, 
                                 verbose_eval = False)

100 loops, best of 3: 196 ms per loop

두 번째 테스트: sklearn의 캘리포니아 hHousing 데이터. 제약 없이

%%timeit -n 10
model_no_constraints = xgb.train(params, dtrain, 
                                 num_boost_round = 2500, 
                                 verbose_eval = False)

10 loops, best of 3: 5.9 s per loop

다음은 내가 사용한 제약 조건입니다.

print(params_constrained['monotone_constraints'])

(1,1,1,0,0,1,0,0)

그리고 제약 모델의 타이밍

%%timeit -n 10
model_no_constraints = xgb.train(params, dtrain, 
                                 num_boost_round = 2500, 
                                 verbose_eval = False)

10 loops, best of 3: 6.08 s per loop

@XiaoxiaoWang87 나는 wleft와 wright에 대한 수표를 풀기 위해 또 다른 PR을 푸시했습니다. 작동하는지 확인하십시오.
@madrury 제약 기능이 없는 이전 버전의 XGBoost와도 비교할 수 있습니까?

@tqchen 물론입니다. 비교할 커밋 해시를 추천할 수 있습니까? 모노톤 제약 조건을 추가하기 전에 커밋을 사용해야 합니까?

예 이전 것이 할 것입니다

@tqchen 업데이트된 버전을 다시 빌드할 때 이전에 없었던 몇 가지 오류가 발생합니다. 나는 그 이유가 당신에게 명확하게 드러나기를 바랍니다.

이전과 동일한 코드를 실행하려고 하면 예외가 발생합니다. 전체 역추적은 다음과 같습니다.

XGBoostError                              Traceback (most recent call last)
<ipython-input-14-63a9f6e16c9a> in <module>()
      8    model_with_constraints = xgb.train(params, dtrain, 
      9                                        num_boost_round = 1000, evals = evallist,
---> 10                                    early_stopping_rounds = 10)  

/Users/matthewdrury/anaconda/lib/python2.7/site-packages/xgboost-0.6-py2.7.egg/xgboost/training.pyc in train(params, dtrain, num_boost_round, evals, obj, feval, maximize, early_stopping_rounds, evals_result, verbose_eval, learning_rates, xgb_model, callbacks)
    201                            evals=evals,
    202                            obj=obj, feval=feval,
--> 203                            xgb_model=xgb_model, callbacks=callbacks)
    204 
    205 

/Users/matthewdrury/anaconda/lib/python2.7/site-packages/xgboost-0.6-py2.7.egg/xgboost/training.pyc in _train_internal(params, dtrain, num_boost_round, evals, obj, feval, xgb_model, callbacks)
     72         # Skip the first update if it is a recovery step.
     73         if version % 2 == 0:
---> 74             bst.update(dtrain, i, obj)
     75             bst.save_rabit_checkpoint()
     76             version += 1

/Users/matthewdrury/anaconda/lib/python2.7/site-packages/xgboost-0.6-py2.7.egg/xgboost/core.pyc in update(self, dtrain, iteration, fobj)
    804 
    805         if fobj is None:
--> 806             _check_call(_LIB.XGBoosterUpdateOneIter(self.handle, iteration, dtrain.handle))
    807         else:
    808             pred = self.predict(dtrain)

/Users/matthewdrury/anaconda/lib/python2.7/site-packages/xgboost-0.6-py2.7.egg/xgboost/core.pyc in _check_call(ret)
    125     """
    126     if ret != 0:
--> 127         raise XGBoostError(_LIB.XGBGetLastError())
    128 
    129 

XGBoostError: [14:08:41] src/tree/tree_updater.cc:18: Unknown tree updater grow_monotone_colmaker

구현한 키워드 인수에 대해 모든 것을 바꾸면 오류도 발생합니다.

TypeError                                 Traceback (most recent call last)
<ipython-input-15-ef7671f72925> in <module>()
      8                                    monotone_constraints="(1)",
      9                                    num_boost_round = 1000, evals = evallist,
---> 10                                    early_stopping_rounds = 10)  

TypeError: train() got an unexpected keyword argument 'monotone_constraints'

업데이터 인수를 제거하고 모노톤 제약 조건 인수를 매개변수에 유지합니다. 이제 모노톤 제약 조건이 표시될 때 모노톤 제약 업데이터가 자동으로 활성화됩니다.

@tqchen 내 친구 @amontz 가 내가 메시지를 게시한 직후에 그것을 알아 monotone_constraints 를 .train kwarg로 전달하는 것으로 해석했습니다.

이러한 조정과 함께 작동합니다. 감사 해요.

@madrury 속도를 확인할 수 있습니까?

또한 @madrury 와 @XiaoxiaoWang87 은 이 기능이 이제 거의 병합되기 때문에 이 기능을 사용자에게 소개하는 자습서를 만들도록 조정할 수 있다면 좋을 것입니다.

우리는 ipy 노트북을 메인 저장소로 직접 가져올 수 없습니다. 그러나 이미지는 https://github.com/dmlc/web-data/tree/master/xgboost 로 푸시하고 기본 리포지토리로 마크다운할 수 있습니다.

또한 int 튜플을 백엔드에서 허용할 수 있는 문자열 튜플 형식으로 변환할 수 있도록 프런트 엔드 인터페이스 문자열 변환을 변경해야 합니다.

@hetong007 R의 변경 사항 및 @slundberg 의 Julia

@tqchen Julia는 현재 0.4 버전의 XGBoost에 연결되어 있으므로 다음에 사용해야 하고 시간이 있을 때 다른 사람이 없는 경우 바인딩을 업데이트하겠습니다. 이 시점에서 이 변경 사항을 추가할 수도 있습니다.

다음은 구현 이전부터 이후까지 모노톤 제약이 _없는_ 모델 간의 비교입니다.

Commit 8cac37 : 모노톤 제약을 구현하기 전.'
시뮬레이션 데이터 : 100 loops, best of 3: 232 ms per loop
캘리포니아 데이터 : 10 loops, best of 3: 5.89 s per loop

Commit b1c224 : 모노톤 제약을 구현한 후.
시뮬레이션 데이터 : 100 loops, best of 3: 231 ms per loop
캘리포니아 데이터 : 10 loops, best of 3: 5.61 s per loop

구현 후 캘리포니아의 속도 향상이 의심스러워 보이지만 각 방법으로 두 번 시도했으며 일관되었습니다.

튜토리얼을 작성하는 기회를 갖게 되어 기쁩니다. 나는 기존 문서를 둘러보고 앞으로 며칠 안에 무언가를 정리할 것입니다.

훌륭합니다. 이제 PR이 공식적으로 마스터에 병합되었습니다. 튜토리얼을 볼 수 있기를 기대합니다

@madrury님 감사합니다. 그것을 기대하다. 내가 무엇을 도울 수 있는지 알려주세요. 나는 확실히 이 주제에 대해 더 많은 연구를 할 의향이 있습니다.

내일 강화하겠습니다. 배열 대신 문자열을 통해 C++와 통신하는 이유가 궁금합니다.

나는 R에서 테스트하고 있습니다. 나는 무작위로 두 개의 변수 데이터를 생성하고 예측을 시도합니다.

그러나 나는 그것을 발견했다.

1. xgboost는 예측을 제한하지 않습니다.
2. monotone_constraints 매개변수는 예측을 약간 다르게 만듭니다.

제가 실수한 부분이 있으면 지적해주세요.

그것을 재현하는 코드 ( drat 아닌 최신 github 버전 에서 테스트):

set.seed(1024)
x1 = rnorm(1000, 10)
x2 = rnorm(1000, 10)
y = -1*x1 + rnorm(1000, 0.001) + 3*sin(x2)
train = cbind(x1, x2)

bst = xgboost(data = train, label = y, max_depth = 2,
                   eta = 0.1, nthread = 2, nrounds = 10,
                   monotone_constraints = '(1,-1)')

pred = predict(bst, train)
ind = order(train[,1])
pred.ord = pred[ind]
plot(train[,1], y, main = 'with constraint')
pred.ord = pred[order(train[,1])]
lines(pred.ord)

bst = xgboost(data = train, label = y, max_depth = 2,
                   eta = 0.1, nthread = 2, nrounds = 10)

pred = predict(bst, train)
ind = order(train[,1])
pred.ord = pred[ind]
plot(train[,1], y, main = 'without constraint')
pred.ord = pred[order(train[,1])]
lines(pred.ord)

제약은 부분 주문에 대해 수행되었습니다. 따라서 제약 조건은 montone 축을 이동하고 다른 축은 고정된 상태로 유지하는 경우에만 적용됩니다.

@hetong007 내 음모를 만들기 위해 나는

• x 좌표 그리드를 포함하는 배열을 생성하여 해당 변수를 예측한 다음 선 플롯에 결합했습니다. 이것은 R에서 seq 를 사용합니다.
• 다른 모든 변수를 훈련 데이터의 평균값과 동일하게 설정합니다. 이것은 R의 colmeans 와 같습니다.

여기에 내가 위에 포함된 플롯에 사용한 파이썬 코드가 있습니다. 동등한 R 코드로 꽤 쉽게 변환되어야 합니다.

def plot_one_feature_effect(model, X, y, idx=1):

    x_scan = np.linspace(0, 1, 100)    
    X_scan = np.empty((100, X.shape[1]))
    X_scan[:, idx] = x_scan

    left_feature_means = np.tile(X[:, :idx].mean(axis=0), (100, 1))
    right_feature_means = np.tile(X[:, (idx+1):].mean(axis=0), (100, 1))
    X_scan[:, :idx] = left_feature_means
    X_scan[:, (idx+1):] = right_feature_means

    X_plot = xgb.DMatrix(X_scan)
    y_plot = model.predict(X_plot, ntree_limit=bst.best_ntree_limit)

    plt.plot(x_scan, y_plot, color = 'black')
    plt.plot(X[:, idx], y, 'o', alpha = 0.25)

다음은 부분 종속성 플롯을 수행하는 방법입니다(임의 모델의 경우).

• 기능 X에 대한 값 그리드를 스캔합니다.
• 특성 X의 모든 그리드 값에 대해:
  
  
  
  • 전체 기능 X 열(모든 행)을 이 값으로 설정합니다. 다른 기능은 변경되지 않았습니다.
  
  
  • 모든 행에 대해 예측합니다.
  
  
  • 예측의 평균을 취하십시오.
  
  
• 결과(X 특성 값, 평균 예측) 쌍은 X 특성 부분 종속성을 제공합니다.

암호:

def plot_partial_dependency(bst, X, y, f_id):

    X_temp = X.copy()

    x_scan = np.linspace(np.percentile(X_temp[:, f_id], 0.1), np.percentile(X_temp[:, f_id], 99.5), 50)
    y_partial = []

    for point in x_scan:

        X_temp[:, f_id] = point

        dpartial = xgb.DMatrix(X_temp[:, feature_ids])
        y_partial.append(np.average(bst.predict(dpartial)))

    y_partial = np.array(y_partial)

    # Plot partial dependence

    fig, ax = plt.subplots()
    fig.set_size_inches(5, 5)
    plt.subplots_adjust(left = 0.17, right = 0.94, bottom = 0.15, top = 0.9)

    ax.plot(x_scan, y_partial, '-', color = 'black', linewidth = 1)
    ax.plot(X[:, f_id], y, 'o', color = 'blue', alpha = 0.02)

    ax.set_xlim(min(x_scan), max(x_scan))
    ax.set_xlabel('Feature X', fontsize = 10)    
    ax.set_ylabel('Partial Dependence', fontsize = 12)

안내해주셔서 감사합니다! 나는 내가 줄거리에서 어리석은 실수를 저질렀다는 것을 깨달았다. 다음은 일변량 데이터에 대한 또 다른 테스트입니다. 플롯은 괜찮아 보입니다.

set.seed(1024)
x = rnorm(1000, 10)
y = -1*x + rnorm(1000, 0.001) + 3*sin(x)
train = matrix(x, ncol = 1)

bst = xgboost(data = train, label = y, max_depth = 2,
               eta = 0.1, nthread = 2, nrounds = 100,
               monotone_constraints = '(-1)')
pred = predict(bst, train)
ind = order(train[,1])
pred.ord = pred[ind]
plot(train[,1], y, main = 'with constraint', pch=20)
lines(train[ind,1], pred.ord, col=2, lwd = 5)

bst = xgboost(data = train, label = y, max_depth = 2,
               eta = 0.1, nthread = 2, nrounds = 100)
pred = predict(bst, train)
ind = order(train[,1])
pred.ord = pred[ind]
plot(train[,1], y, main = 'without constraint', pch=20)
lines(train[ind,1], pred.ord, col=2, lwd = 5)

@hetong007 따라서 R 인터페이스의 목표는 사용자가 문자열 외에 R 배열을 전달할 수 있도록 하는 것입니다.

monotone_constraints=c(1,-1)

PR 튜토리얼이 되면 알려주세요.

@hetong007 r-blogger 버전을

@tqchen 죄송합니다 여러분, 저는 일주일 동안 출장을

나는 monotonic constraint tutorial에 대한 몇 가지 pull 요청을 보냈습니다. 당신의 생각을 알려주세요. 어떤 비판이나 비판도 환영합니다.

여기에서 질문하는 것이 적절하기를 바랍니다. 일반적인 git clone --recursive https://github.com/dmlc/xgboost 사용하여 업데이트하면 이것이 작동할까요?

새로운 튜토리얼을 보았을 때 묻지만 코드 자체의 변경에 대해서는 새로운 것이 없습니다. 모두 감사합니다!

예, 튜토리얼이 병합되기 전에 새 기능이 병합됩니다.

안녕하세요,

나는 당신이 당신의 코드에서 본 것과 같이 전역적 단조로움을 성공적으로 구현했는지 확신할 수 없습니다. 그것은 지역적 단조로움에 더 가깝습니다.

다음은 단조로움을 깨는 간단한 예입니다.

`
df <- data.frame(y = c(2,rep(6,100),1,rep(11,100)),
x1= c(rep(1,101),rep(2,101)),x2 = c(1,rep(2,100),1,rep(2,100)))

라이브러리(xgboost)
set.seed(0)
XGB <- xgboost(data=data.matrix(df[,-1]),label=df[,1],
목적=" 등록:선형 ",
bag.fraction=1,nround=100,monotone_constraints=c(1,0),
에타=0.1 )

sans_corr <- data.frame(x1=c(1,2,1,2),x2=c(1,1,2,2))

sans_corr$prediction <- predict(XGB,data.matrix(sans_corr))
`

귀하의 코드와 예에 대한 제 이해가 거짓이 아니길 바랍니다.

현재 이 기능은 Sklearn API에 없습니다. 당신이나 누군가가 그것을 추가하는 데 도움을 주시겠습니까? 감사 해요!

증가 또는 감소 여부를 지정하지 않고 변수에 일반적인 단조성을 적용할 수 있습니까?

@davidADSP 원하는 예측 변수와 대상에 대해 스피어맨 상관 관계 검사를 수행하여 증가 또는 감소가 적절한지 확인할 수 있습니다.

이 기능은 'tree_method':'hist'일 때 유효하지 않은 것 같습니다. @tqchen 도움이

제약 조건은 mlogloss와 같은 다중 클래스 목표에 대해 어떻게 작동합니까? 다중 클래스 손실에 대해 단조성 제약이 지원됩니까? 그렇다면 어떻게 시행됩니까? (각 클래스에는 나무가 있습니다)

XGBOOST에 적용된 Monoticity Algorithm에 대한 백서가 있습니까? 글로벌 또는 로컬입니까? 로컬은 특정 노드에 특정한 것을 의미하지만 트리의 다른 부분에 있는 노드는 전체 단조성을 위반할 수 있습니다. 또한 누구든지 L412-417 줄을 이해하는 데 도움을 주세요. "w"가 위쪽과 아래쪽으로 제한되는 이유. 이것이 어떻게 단조성을 유지하는 데 도움이 되는지. 457행 - "mid"가 사용되는 이유는 무엇입니까?