Xgboost: [新機能]ツリー構築における単調制約

実験的なバージョンはhttps://github.com/dmlc/xgboost/pull/1516で提供されていますhttps://github.com/tqchen/xgboost 、

次のオプションをオンにします（Python、r APIを介して可能である可能性があります）

monotone_constraints = "(0,1,1,0)"

2つの議論があります

• monotone_constraintsは、特徴の数の長さのリストです。1は単調な増加を示し、-1は減少を意味し、0は制約がないことを意味します。 フィーチャの数より短い場合は、0が埋め込まれます。
  
  
  
  • 現在、Pythonのタプル形式をサポートしています。rを使用すると文字列として渡すことができます。
  
  

確認すること

• [x]元のツリーブースターの速度は遅くなりません（コード構造を少し変更しました。理論的には、テンプレートの最適化によってインライン化されますが、確認する必要があります）
• [x]単調回帰の速度と正確さ
• [x]この制約を導入することによるパフォーマンス

既知の制限

現在、マルチコアでのみサポートされている正確な欲張りアルゴリズム。 分散版ではまだ利用できません

@tqchen今日、仕事で、他のいくつかのモデルのパフォーマンスと比較してテストするために、単調な制約を持ついくつかのGBMを構築するように要求されました。 これは、tweedieの逸脱度損失を伴うため、現在のカスタム損失関数を使用する必要があります。

いずれにせよ、手助けをすると同時にいくつかの仕事を成し遂げる良いチャンスのようです。

ここでの話に基づいて、GBM（Rパッケージ）はローカルでのみ単調性を強制します。
XGBoostが単調な制約をどのように実施するかを明確にできますか？
XGBoostがグローバルな制約を強制できるといいですね。

ローカル制約またはgloabl制約の意味がわかりませんが、詳しく説明していただけますか？

申し訳ありませんが、間違ったリンクを貼り付けました。これが正しいリンクです（リンク）
各ツリーは、関心のある機能の特定のサブセットでのみ単調な制約に従う可能性があるため、多くのツリーが一緒にアンサンブルすると、その機能の全範囲で全体的な単調性の違反が発生する可能性があります。

OK、私の理解では、それはグローバルに実施されています。 ぜひお試しください。

単変量回帰のコンテキストで単調性制約のいくつかの簡単なテストを実行しました。 コードといくつかの非常に簡単なドキュメントはここにあります：

https://github.com/XiaoxiaoWang87/xgboost_mono_test/blob/master/xgb_monotonicity_constraint_testing1-univariate.ipynb

いくつかの最初の観察：

• 単一変数回帰問題の場合、単調制約= + 1はうまく機能するようです
• 単一変数回帰問題の場合、私のデータセットでは、単調制約= -1は単調減少関数を生成しないようです。 むしろ、それは定数を与えます。 ただし、これは、制約を強制する際の改善の欠如が原因である可能性もあります。 確認するには（Tianqiの提案に従って、データセットを反転し、制約を+1に設定してみてください）。
• 制約を（正しく）追加すると、過剰適合を防ぎ、パフォーマンス/解釈の利点をもたらす可能性があります。

制約= -1の場合にバグが発生することがわかりました。修正をプッシュしました。最新バージョンが正常に機能するかどうかを確認してください。複数の制約がある場合にも機能するかどうかを確認してください

@tqchen減少するバグについて修正をテストしましたが、現在は機能しているようです。

一部の標準データセットで元のバージョンと比較して速度が低下しているかどうかを確認してから、それをマージできます

@tqchen 2つの変数モデルをテストしました。1つは制約が増加し、もう1つは減少します。

params_constrained = params.copy()
params_constrained['updater'] = "grow_monotone_colmaker,prune"
params_constrained['monotone_constraints'] = "(1,-1)"

結果は良いです

今日の午後、タイミングテストを行う時間を少し見つけようと思います。

モントーンオプションの自動検出を可能にするために＃1516を更新しました。現在、ユーザーはmonotone_constraints = "(0,1,1,0)"を渡すだけで済みます。それが機能するかどうかを確認してください。

速度テストがうまくいったらこれをマージし、チュートリアルを追加する次の段階に進みましょう

@madrury @ XiaoxiaoWang87

ここに多変量ケースのテストを追加しました：

https://github.com/XiaoxiaoWang87/xgboost_mono_test/blob/master/xgb_monotonicity_constraint_testing2-multivariate.ipynb

• これで、単調制約= 1と= -1の両方が期待どおりに機能することを確認しました。
• 単調性を制限しても、明らかな速度*の低下にはつながりません
  * speed = avg [早期停止までの時間/早期停止までのブースティングの反復回数]

no constraint: 964.9 microseconds per iteration
with constraint: 861.7 microseconds per iteration

（速度テストを行うためのより良い方法がある場合はコメントしてください）

• 非単調変数の方向を制約する場合は注意が必要です。 これにより、パフォーマンスが低下する可能性があります。
• さまざまなハイパーパラメータを操作すると、 Check failed: (wleft) <= (wright)原因でコードがクラッシュします。

私はjupyterノートブックでいくつかのタイミング実験を実行しました。

最初のテスト：いくつかの単純なシミュレーションデータ。 2つの特徴があります。1つは増加し、もう1つは減少しますが、小さな正弦波が重ね合わされているため、各特徴は真に単調ではありません。

X = np.random.random(size=(N, K))
y = (5*X[:, 0] + np.sin(5*2*pi*X[:, 0])
     - 5*X[:, 1] - np.cos(5*2*pi*X[:, 1])
     + np.random.normal(loc=0.0, scale=0.01, size=N))

単調制約がある場合とない場合のxgboostのタイミング結果は次のとおりです。 早期打ち切りをオフにして、それぞれの反復回数を増やしました。

最初に単調な制約なし：

%%timeit -n 100
model_no_constraints = xgb.train(params, dtrain, 
                                 num_boost_round = 2500, 
                                 verbose_eval = False)

100 loops, best of 3: 246 ms per loop

そしてここに単調性の制約があります

%%timeit -n 100
model_with_constraints = xgb.train(params_constrained, dtrain, 
                                 num_boost_round = 2500, 
                                 verbose_eval = False)

100 loops, best of 3: 196 ms per loop

2番目のテスト：sklearnからのカリフォルニアhHousingデータ。 制約なし

%%timeit -n 10
model_no_constraints = xgb.train(params, dtrain, 
                                 num_boost_round = 2500, 
                                 verbose_eval = False)

10 loops, best of 3: 5.9 s per loop

これが私が使用した制約です

print(params_constrained['monotone_constraints'])

(1,1,1,0,0,1,0,0)

そして、制約されたモデルのタイミング

%%timeit -n 10
model_no_constraints = xgb.train(params, dtrain, 
                                 num_boost_round = 2500, 
                                 verbose_eval = False)

10 loops, best of 3: 6.08 s per loop

@ XiaoxiaoWang87私は別のPRをプッシュして、wleftとwrightのチェックを緩めました。それが機能することを確認してください。
@madrury制約機能のない以前のバージョンのXGBoostと比較することもできますか？

@tqchenもちろんです。 比較するコミットハッシュをお勧めできますか？ 単調な制約を追加する前に、コミットを使用する必要がありますか？

はい、前のもので十分です

@tqchen更新されたバージョンを再構築すると、以前は発生していなかったエラーが発生します。 理由がはっきりとあなたに飛び出すことを願っています。

以前と同じコードを実行しようとすると、例外が発生します。完全なトレースバックは次のとおりです。

XGBoostError                              Traceback (most recent call last)
<ipython-input-14-63a9f6e16c9a> in <module>()
      8    model_with_constraints = xgb.train(params, dtrain, 
      9                                        num_boost_round = 1000, evals = evallist,
---> 10                                    early_stopping_rounds = 10)  

/Users/matthewdrury/anaconda/lib/python2.7/site-packages/xgboost-0.6-py2.7.egg/xgboost/training.pyc in train(params, dtrain, num_boost_round, evals, obj, feval, maximize, early_stopping_rounds, evals_result, verbose_eval, learning_rates, xgb_model, callbacks)
    201                            evals=evals,
    202                            obj=obj, feval=feval,
--> 203                            xgb_model=xgb_model, callbacks=callbacks)
    204 
    205 

/Users/matthewdrury/anaconda/lib/python2.7/site-packages/xgboost-0.6-py2.7.egg/xgboost/training.pyc in _train_internal(params, dtrain, num_boost_round, evals, obj, feval, xgb_model, callbacks)
     72         # Skip the first update if it is a recovery step.
     73         if version % 2 == 0:
---> 74             bst.update(dtrain, i, obj)
     75             bst.save_rabit_checkpoint()
     76             version += 1

/Users/matthewdrury/anaconda/lib/python2.7/site-packages/xgboost-0.6-py2.7.egg/xgboost/core.pyc in update(self, dtrain, iteration, fobj)
    804 
    805         if fobj is None:
--> 806             _check_call(_LIB.XGBoosterUpdateOneIter(self.handle, iteration, dtrain.handle))
    807         else:
    808             pred = self.predict(dtrain)

/Users/matthewdrury/anaconda/lib/python2.7/site-packages/xgboost-0.6-py2.7.egg/xgboost/core.pyc in _check_call(ret)
    125     """
    126     if ret != 0:
--> 127         raise XGBoostError(_LIB.XGBGetLastError())
    128 
    129 

XGBoostError: [14:08:41] src/tree/tree_updater.cc:18: Unknown tree updater grow_monotone_colmaker

実装したキーワード引数のすべてを切り替えると、エラーも発生します。

TypeError                                 Traceback (most recent call last)
<ipython-input-15-ef7671f72925> in <module>()
      8                                    monotone_constraints="(1)",
      9                                    num_boost_round = 1000, evals = evallist,
---> 10                                    early_stopping_rounds = 10)  

TypeError: train() got an unexpected keyword argument 'monotone_constraints'

アップデータ引数を削除し、パラメータに単調制約引数を保持します。これで、単調制約が提示されたときに単調制約アップデータが自動的にアクティブ化されます。

@tqchen私の仲間の@amontzは、メッセージを投稿した直後にそれをmonotone_constraintsを.trainへのクワーグとして渡すと解釈しました。

これらの調整で機能します。 ありがとう。

@madrury速度を確認できますか？

また、 @ madruryと@ XiaoxiaoWang87は、この機能が

ipyノートブックをメインリポジトリに直接持ち込むことはできません。 ただし、画像はhttps://github.com/dmlc/web-data/tree/master/xgboostにプッシュし、メインリポジトリにマークダウンすることができます。

また、フロントエンドインターフェイスの文字列変換を変更して、intタプルをバックエンドで受け入れられる文字列タプル形式に変換できるようにする必要があります。

Rの変更については@ hetong007 、Juliaの場合は@slundberg

@tqchen Juliaは現在XGBoostの0.4バージョンに接続されているので、次回それを使用する必要があり、時間を取っておく必要があります。それまでに他に誰もいない場合は、バインディングを更新します。 その時点で、この変更も追加できます。

これは、実装前から実装後までの単調な制約のないモデル間の比較です。

コミット8cac37 ：単調制約の実装前。
シミュレートされたデータ： 100 loops, best of 3: 232 ms per loop
カリフォルニアデータ： 10 loops, best of 3: 5.89 s per loop

コミットb1c224 ：単調制約の実装後。
シミュレートされたデータ： 100 loops, best of 3: 231 ms per loop
カリフォルニアデータ： 10 loops, best of 3: 5.61 s per loop

実装後のカリフォルニアのスピードアップは私には疑わしいように見えますが、私はそれを片道2回試しましたが、それは一貫しています。

チュートリアルを書いてみてください。 既存のドキュメントを見て、数日中に何かをまとめます。

これは素晴らしいことです。PRは正式にマスターにマージされました。 チュートリアルを楽しみにしています

@madruryに感謝します。 それを楽しみに待つ。 何ができるか教えてください。 私は確かにこのトピックについてもっと研究したいと思っています。

明日強化します。 配列ではなく文字列を介してC ++と通信する理由について知りたいだけです。

Rからテストしています。2変数データをランダムに生成し、予測を試みています。

しかし、私はそれを見つけました

1. xgboostは予測を制約しません。
2. パラメータmonotone_constraintsにより、予測がわずかに異なります。

間違えた場合はご指摘ください。

それを再現するためのコード（ dratからではなく、最新のgithubバージョンでテスト済み）：

set.seed(1024)
x1 = rnorm(1000, 10)
x2 = rnorm(1000, 10)
y = -1*x1 + rnorm(1000, 0.001) + 3*sin(x2)
train = cbind(x1, x2)

bst = xgboost(data = train, label = y, max_depth = 2,
                   eta = 0.1, nthread = 2, nrounds = 10,
                   monotone_constraints = '(1,-1)')

pred = predict(bst, train)
ind = order(train[,1])
pred.ord = pred[ind]
plot(train[,1], y, main = 'with constraint')
pred.ord = pred[order(train[,1])]
lines(pred.ord)

bst = xgboost(data = train, label = y, max_depth = 2,
                   eta = 0.1, nthread = 2, nrounds = 10)

pred = predict(bst, train)
ind = order(train[,1])
pred.ord = pred[ind]
plot(train[,1], y, main = 'without constraint')
pred.ord = pred[order(train[,1])]
lines(pred.ord)

制約は半順序で行われました。 したがって、制約は、他の軸を固定したまま、モントーン軸を移動する場合にのみ適用されます。

@ hetong007私のプロットを作るために私は

• x座標のグリッドを含む配列を作成しました。その変数をで予測し、折れ線グラフに結合したいと思いました。 これは、Rでseqします。
• 他のすべての変数をトレーニングデータの平均値に等しく設定します。 これは、Rのcolmeansになります。

上記のプロットに使用したPythonコードは、これが同等のRコードに非常に簡単に変換できるはずです。

def plot_one_feature_effect(model, X, y, idx=1):

    x_scan = np.linspace(0, 1, 100)    
    X_scan = np.empty((100, X.shape[1]))
    X_scan[:, idx] = x_scan

    left_feature_means = np.tile(X[:, :idx].mean(axis=0), (100, 1))
    right_feature_means = np.tile(X[:, (idx+1):].mean(axis=0), (100, 1))
    X_scan[:, :idx] = left_feature_means
    X_scan[:, (idx+1):] = right_feature_means

    X_plot = xgb.DMatrix(X_scan)
    y_plot = model.predict(X_plot, ntree_limit=bst.best_ntree_limit)

    plt.plot(x_scan, y_plot, color = 'black')
    plt.plot(X[:, idx], y, 'o', alpha = 0.25)

これが私が部分依存プロットを行う方法です（任意のモデルに対して）：

• フィーチャXの値のグリッドをスキャンします。
• フィーチャーXのグリッド値ごとに：
  
  
  
  • フィーチャX列全体（すべての行）をこの値に設定します。 その他の機能は変更されていません。
  
  
  • すべての行を予測します。
  
  
  • 予測の平均を取ります。
  
  
• 結果の（X特徴値、平均予測）ペアは、X特徴の部分的な依存関係を示します。

コード：

def plot_partial_dependency(bst, X, y, f_id):

    X_temp = X.copy()

    x_scan = np.linspace(np.percentile(X_temp[:, f_id], 0.1), np.percentile(X_temp[:, f_id], 99.5), 50)
    y_partial = []

    for point in x_scan:

        X_temp[:, f_id] = point

        dpartial = xgb.DMatrix(X_temp[:, feature_ids])
        y_partial.append(np.average(bst.predict(dpartial)))

    y_partial = np.array(y_partial)

    # Plot partial dependence

    fig, ax = plt.subplots()
    fig.set_size_inches(5, 5)
    plt.subplots_adjust(left = 0.17, right = 0.94, bottom = 0.15, top = 0.9)

    ax.plot(x_scan, y_partial, '-', color = 'black', linewidth = 1)
    ax.plot(X[:, f_id], y, 'o', color = 'blue', alpha = 0.02)

    ax.set_xlim(min(x_scan), max(x_scan))
    ax.set_xlabel('Feature X', fontsize = 10)    
    ax.set_ylabel('Partial Dependence', fontsize = 12)

指導ありがとうございます！ 私はあらすじでばかげた間違いをしたことに気づきました。 これが単変量データの別のテストです。プロットは問題ないようです。

set.seed(1024)
x = rnorm(1000, 10)
y = -1*x + rnorm(1000, 0.001) + 3*sin(x)
train = matrix(x, ncol = 1)

bst = xgboost(data = train, label = y, max_depth = 2,
               eta = 0.1, nthread = 2, nrounds = 100,
               monotone_constraints = '(-1)')
pred = predict(bst, train)
ind = order(train[,1])
pred.ord = pred[ind]
plot(train[,1], y, main = 'with constraint', pch=20)
lines(train[ind,1], pred.ord, col=2, lwd = 5)

bst = xgboost(data = train, label = y, max_depth = 2,
               eta = 0.1, nthread = 2, nrounds = 100)
pred = predict(bst, train)
ind = order(train[,1])
pred.ord = pred[ind]
plot(train[,1], y, main = 'without constraint', pch=20)
lines(train[ind,1], pred.ord, col=2, lwd = 5)

@ hetong007したがって、Rインターフェースの目標は、ユーザーが文字列のほかにR配列を渡せるようにすることです。

monotone_constraints=c(1,-1)

チュートリアルのPR時にお知らせください

@ hetong007あなたもr-bloggerバージョンを作ることを歓迎します

@tqchen申し訳ありませんが、私は1週間出張しました。

単調な制約のチュートリアルのために、いくつかのプルリクエストを送信しました。 ご意見をお聞かせください。批判や批評はありがたいです。

うまくいけば、ここでこれを尋ねるのが適切です：通常のgit clone --recursive https://github.com/dmlc/xgboostを使用して更新すると、これは機能しますか？

新しいチュートリアルを見たときに尋ねますが、コード自体の変更については何も新しいことはありません。 皆さん、ありがとうございました！

はい、チュートリアルがマージされる前に、新機能がマージされます

こんにちは、

私があなたのコードで見たものから、あなたがグローバルな単調性をうまく実装したかどうかはわかりませんが、それはローカルな単調性にもっと対応しています。

単調性を破る簡単な例を次に示します。

`
df <-data.frame（y = c（2、rep（6,100）、1、rep（11,100））、
x1 = c（rep（1,101）、rep（2,101））、x2 = c（1、rep（2,100）、1、rep（2,100）））

ライブラリ（xgboost）
set.seed（0）
XGB <-xgboost（data = data.matrix（df [、-1]）、label = df [、1]、
Objective = " reg：linear "、
bag.fraction = 1、nround = 100、monotone_constraints = c（1,0）、
eta = 0.1）

sans_corr <-data.frame（x1 = c（1,2,1,2）、x2 = c（1,1,2,2））

sans_corr $ prediction <-predict（XGB、data.matrix（sans_corr））
`

あなたのコードと私の例が間違っていないことを理解してください

現在、この機能はSklearnAPIにはありません。 あなたまたは誰かがそれを追加するのを手伝ってくれますか？ ありがとう！

変数を増加させるか減少させるかを指定せずに、変数に一般的な単調性を適用することは可能ですか？

@davidADSPは、目的の予測子とターゲットに対してスピアマンの相関チェックを実行して、増加または減少が適切かどうかを確認できます。

'tree_method'： 'hist'の場合、この機能は無効のようです。 @tqchen何か助けがありますか？ 皆さんありがとう。

mloglossのようなマルチクラスの目的に対して制約はどのように機能しますか？ マルチクラス損失に対して単調性制約はサポートされていますか？ はいの場合、それはどのように実施されますか。 （各クラスには木があります）

XGBOOSTで実施されているMonoticityAlgorithmに関するホワイトペーパーはありますか？ グローバルですか、それともローカルですか？ ローカルとは、特定のノードに固有ですが、ツリーの他の部分のノードは、全体的な単調性の違反を引き起こす可能性があります。 また、 L412-417行を理解するのを手伝ってくれる人はいます