Xgboost: gblinear+reg:linear는 정확히 무엇을 합니까? 그리고 다른 질문들

단일 올가미 회귀를 다시 얻기 위해 gblinear에서 여러 라운드를 사용하려고 합니다.

이는 선형 모델(다시 선형 모델이었음)을 쌓는 것이 의미가 없기 때문입니다. 따라서 단일 올가미 문제를 해결하기 위해 업데이트의 num_round 단계가 공동으로 사용되었습니다.

eval_metric은 목적 함수와 관련이 없습니다. 손실 함수는 로지스틱 회귀에 대한 md reg:logistic , 제곱 손실에 대한 reg:linear 및 softmax 다중 클래스 분류에 대한 muti:softmax 에 대한 매개변수에 문서화되어 있습니다.

안녕,

답변해주셔서 감사합니다! 1이 아닌 큰 num_rounds 후에 단일 올가미를 얻는 방법을 이해했습니다. 그런 다음 두 번째 질문에 대한 답변도 제공합니다. 즉 회귀에 제곱 손실을 사용하고 있다는 것입니다. 그리고 분류에 이항/다항 편차를 사용하고 있다고 생각합니다. _그 맞습니까?_

회귀의 경우 예를 들어 L1 손실 또는 Huber 손실을 사용할 수도 있기 때문에 확실하지 않았습니다(통계 학습 요소의 섹션 10.10.2에 제공된 일반적인 예).

도움을 주셔서 감사합니다.
앨리스

안녕,

회귀 모델에 xgboost를 적용하고 싶습니다. 내 종속 변수가 연속 숫자 유형임을 의미합니다. 그러나 "label" 인수에 무엇을 제공해야 하는지 혼란스럽습니다. 여기에서 도와주세요.

문안 인사,
비벡

회귀의 경우 레이블은 회귀 대상입니다.

2015년 5월 25일 월요일 오전 8시 43분, Vivek Agarwal [email protected]
썼다:

안녕,

회귀 모델에 xgboost를 적용하고 싶습니다. 내 종속 변수를 의미합니다.
연속 숫자 유형입니다. 그러나 혼란스러워 무엇을 제공해야합니까?
"label" 인수에서. 여기에서 도와주세요.

문안 인사,
비벡

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/dmlc/xgboost/issues/332#issuecomment -105253915.

진정으로,

천티엔치
컴퓨터 과학 및 공학, 워싱턴 대학교

목표 문서 참조
https://github.com/dmlc/xgboost/blob/master/doc/parameter.md
다른 목적 함수를 지정할 수 있으며 의미를 찾을 수 있습니다.
현재 매개변수

톈치

2015년 5월 25일 월요일 오전 1시 47분에 AliceS [email protected] 에서 다음과 같이 썼습니다.

안녕,

답변해주셔서 감사합니다! 나는 당신이 싱글을 되찾는 방법을 이해했습니다
1이 아닌 큰 num_rounds 뒤에 올가미.

손실 함수와 관련하여 아직 명확하지 않습니다.
최소한 회귀를 위해. 제곱 손실, L1 손실 또는
예를 들어 Huber 손실(일반적인 예는 섹션 10.10.2의
통계 학습의 요소). 분류를 위해 나는 당신이 사용하는 것 같아요
이항/다항 편차(지수 손실일 수도 있습니다.
클래식 부스팅을 다시 얻는 경우).

도움을 주셔서 감사합니다.
앨리스

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/dmlc/xgboost/issues/332#issuecomment -105170486.

진정으로,

천티엔치
컴퓨터 과학 및 공학, 워싱턴 대학교

Tianqi님, 감사합니다.
앨리스

종속 변수에는 숫자 값이 있습니다. 다음은 회귀 대상의 처음 6개 관찰입니다.

head(final_data[1:n.train,'종속'])
[1] 4996 3784 1504 4994 3687 3084

이제 이 종속 변수를 레이블에 넣고 아래 코드를 실행하면:

param <- list("목표" = "reg:linear",
"num_class" = 9,
"nthread" = 8,
"에타" = 0.08,
"하위 샘플"= 0.8,
"감마" = 1,
"min_child_weight" = 2,
"최대_깊이"= 12,
"colsample_bytree" = 1
)
model_xg <- xgboost(param=param,data = final_data[1:n.train,],label=final_data[1:n.train,'Dependent'],nrounds=250)

그런 다음 다음 오류가 발생합니다.

xgb.get.DMatrix(data, label) 오류: xgboost: 잘못된 데이터 입력
추가: 경고 메시지:
xgb.get.DMatrix(data, label)에서 : xgboost: label은 무시됩니다.

내가 뭘 잘못하고 있는지 알려주세요.

@vivekag 이에 대한 새 문제를 열어주세요. 문제를 재현하기 위해 실행할 수 있는 코드 스니펫(일부 더미 데이터 포함)을 제공할 수 있다면 좋을 것입니다.

final_data의 데이터 유형이 xgboost가 예상한 것과 다르기 때문인 것 같습니다(xgboost는 행렬 또는 희소 행렬을 예상함) @hetong007

@tqchen gblinear가 실제로 하는 일에 대해 좀 더 자세히 설명해 주시겠습니까? 기사/공식에 대한 참조가 좋습니다.

특히, 1라운드 훈련( nrounds=1 )에 대한 예측을 할 수 있기를 바랍니다. 다음은 샘플 데이터세트입니다.

> train
        x      y
 1: 13.36  37.54
 2:  5.35  14.54
 3:  0.26  -0.72
 4: 84.16 261.19
 5: 24.67  76.90
 6: 22.26  67.15
 7: 18.02  53.89
 8: 14.29  43.48
 9: 61.66 182.60
10: 57.26 179.44

{ booster="gblinear" , objective="reg:linear" , eta=1 , subsample=1 , lambda=0 , lambda_bias=0 매개변수가 있는 선형 회귀 모델과 xgboost 모델을 훈련시킨 후 alpha=0 } 다음 결과를 얻습니다

> test
        x      y Pred.linreg Pred.xgb
 1: 47.75 153.23      146.25    155.7
 2: 12.13  40.05       35.78    107.9
 3: 89.05 274.37      274.34    211.1
 4: 38.87 116.51      118.71    143.8
 5: 27.30  80.61       82.83    128.2
 6: 87.66 267.95      270.02    209.3
 7: 39.33 114.97      120.14    144.4
 8: 64.32 191.73      197.64    177.9
 9: 13.18  48.28       39.04    109.3
10:  8.89  23.30       25.73    103.5

여기에서 실제로 무슨 일이 일어나고 있습니까? 감사 해요!

xg 회귀와 다른 일반 회귀의 차이점은 무엇입니까?
xgboost에는 다른 트리 알고리즘과 다른 트리 버전이 있다는 것을 알고 있습니다.
소스를 해킹해야 할 것 같아요.

xgboost에서 gblinear를 사용할 때 모든 입력 기능의 최종 가중치를 추출할 수 있습니까? 가중치를 추출하는 데 어려움을 겪고 있습니다.