Xgboost: python의 xgboost.Booster의 한 단계 업데이트가 segfault로 실패합니다.

에 만든 2017년 03월 22일 · 3코멘트 · 출처: dmlc/xgboost

저는 1단계 증분 XGBoost 앙상블 구성을 실험하고 있었습니다. Booster가 xgboost.train 함수( python library )에 의해 생성되면 모든 것이 잘 작동하는 것 같습니다.
그러나 부스터를 생성하고 다음 과 같이
```파이썬
booster_ = xgboost.Booster({'목표': 'reg:linear'})
booster_.update(dtrain, 1)

the python process fails with a segmentation fault.

## Environment info
Operating System:
* **python 3.6** Mac OS X 10.10.5 (Darwin 14.5.0), Ubuntu 14.04.5 LTS (GNU/Linux 3.19.0-25-generic x86_64);
* **python 2.7** Mac OS X 10.10.6 (Darwin 15.6.0);

Compiler:
* **python 3.6** used `pip install xgboost`;
* **python 2.7** gcc (6.3.0 --without-multilib);

`xgboost` version used:
* **python 3.6** version 0.6 from pip;
* **python 2.7.13** git HEAD 4a63f4ab43480adaaf13bde2485d5bfedd952520;

## Steps to reproduce
```python
import xgboost
dtrain = xgboost.DMatrix(data=[[-1.0], [0.0], [1.0]], label=[0.0, -1.0, 1.0])

booster_ = xgboost.Booster({'objective': 'reg:linear', 'max_depth': 1})
booster_.update(dtrain, 1)

booster_.update(dtrain, 1)

마지막 줄은 분할 오류를 일으킵니다. python 2.7.13 에 대한

출처

ivannz

가장 유용한 댓글

문제의 원인이 무엇인지 알아냈습니다. 나는 다음을 호출하여 빈 부스터를 만드는 것으로 나타났습니다.

booster_ = xgboost.Booster({'objective': 'reg:linear'})

GBTree 부스터를 부분적으로만 초기화합니다. 특히 중요한 매개변수 num_feature
기본적으로 0으로 설정 .update() 호출에 의해 적절한 수의 기능으로 업데이트 되지 않습니다 .

그러나 num_feature 대한 명시적 값을 전달하면 분할 오류가 해결됩니다.

booster_ = xgboost.Booster({'objective': 'reg:linear', 'num_feature': dtrain.num_col()})

cache=() 가 비어 있거나 xgboost.Booster() 가 경고를 발행해야 한다고 생각합니다.
'num_feature' 는 params 인수에 명시적으로 설정되어 있지 않습니다.

ivannz 에 2017년 03월 22일

👍4

모든 3 댓글

에 의해 반환된 빈 Booster 개체의 증분 업데이트를 수행하여 내 기대치가 무엇인지 명확히 하고 싶습니다.

booster_ = xgboost.Booster({'objective': 'reg:linear', 'max_depth': 1})

일반적인 그래디언트 부스팅 알고리즘에 따르면 DMatrix dtrain 에서 샘플(X, y)을 업데이트한 후

booster_.update(dtrain, 1)

빈 부스터는 f_0(x) -- 상수 예측 또는 f_1(x) -- 아래에 표시된 것처럼 그래디언트 부스팅의 한 단계 후 예측이 됩니다(from Hastie, Tibshirani, Friedman; 2013 10th ed page 361).

screen shot 2017-03-21 at 18 07 07

ivannz 에 2017년 03월 22일

나는 문제를 재현 예제에서 제공하는 빈 RegTree::FVec.data 벡터까지 추적할 수 있었습니다. booster_.update 에 대한 두 번째 호출의 (수동) 추적은 다음과 같습니다.

학습자.cc#L311 : this->UpdateOneIter(...);
학습자.cc#L487 : this->PredictRaw(train, &preds_);
gbm/gbtree.cc#L268 : gbm_->Predict(data, out_preds, ntree_limit=0);
gbm/gbtree.cc#L283 : PredLoopInternal<GBTree>(p_fmat, out_preds, 0, ntree_limit, true);
gbm/gbtree.cc#L415 : PredValue(inst, gid, info.GetRoot(ridx), &feats, tree_begin, tree_end);
gbm/gbtree.cc#500 : int tid = trees[i]->GetLeafIndex(*p_feats, root_index);

여기서 실패:
포함/xgboost/tree_model.h:#L528
..., feat.fvalue(split_index), feat.is_missing(split_index), ...

feat.data.size() == 0 것 같습니다. .update() 대한 첫 번째 호출 후에 이 벡터가 여전히 비어 있지만 .train() 대한 대체 호출 후에 비어 있지 않은 이유를 모르겠습니다.

ivannz 에 2017년 03월 22일

문제의 원인이 무엇인지 알아냈습니다. 나는 다음을 호출하여 빈 부스터를 만드는 것으로 나타났습니다.

booster_ = xgboost.Booster({'objective': 'reg:linear'})

그러나 num_feature 대한 명시적 값을 전달하면 분할 오류가 해결됩니다.

booster_ = xgboost.Booster({'objective': 'reg:linear', 'num_feature': dtrain.num_col()})

cache=() 가 비어 있거나 xgboost.Booster() 가 경고를 발행해야 한다고 생각합니다.
'num_feature' 는 params 인수에 명시적으로 설정되어 있지 않습니다.

ivannz 에 2017년 03월 22일

👍4

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Xgboost: python의 xgboost.Booster의 한 단계 업데이트가 segfault로 실패합니다.

가장 유용한 댓글

모든 3 댓글

관련 문제