Xgboost: xgboost에서 분류 작업에서 쓸모없는 기능을 제거해야합니까?

대부분의 기계 학습 알고리즘에서는 과적합을 피하기 위해 기능 선택을 수행하는 것이 중요합니다.

부스팅, 특히 xgboost에서 훈련은 가능한 한 많이 일반화(약한 학습자, 테일러 근사, 확률적 학습 등)하여 과적합(즉, 과대적합 당신이 정말로 원한다면 적합합니다 :) -> 높은 반복 횟수, 높은 학습률, 확률적 학습 없음...). 질문에 답하려면 관련 없는 기능을 제거하는 것이 중요할 수 있습니다. 이상치가 있다고 가정하면 학습 과정에서 관련 없는 기능을 사용하여 이상치를 분류하기 시작할 수 있으며 이는 좋지 않습니다.

두 번째 질문의 경우 약한 학습자를 결합하여 좋은 결과를 얻는 방법은 하나뿐이 아닙니다. 그러나 다른 조합(및 다른 기능 중요도)을 얻으려면 subsample, max_features와 같은 학습 프로세스 중에 약간의 임의성을 사용해야 합니다... 또 다른 가능성은 중복된 기능이 있다는 것입니다. 이들 간의 상관관계를 확인해야 합니다.

요약하면 기능이 쓸모가 없다는 것을 안다면 제거하십시오. 모르는 경우 모델 학습 속도가 느려지므로 관련 없는 기능을 제거하는 것이 좋습니다.

감사 해요. 중요하지 않은 거의 150개의 기능을 제거했습니다. 그러나 새로운 실험의 auc는 변경되지 않습니다. 그래서 나는 그것들을 제거함으로써 어떤 이점도 찾지 못했습니다.

성과 측정을 개선하지 않는 경우의 이점은 교육 시간이 될 것입니다. 의사 결정 트리는 최적의 분할을 찾기 위해 욕심 많은 접근 방식을 사용하므로 더 많은 기능 = 더 많은 분할을 시도합니다.