Evalml: AutoML: 앙상블을 위해 별도의 CV 분할 사용

계획: 스태킹이 활성화된 경우 CV용 스택 앙상블에 전달할 수 있는 별도의 분할을 생성합니다.

데이터가 스태킹에 전달될 때 out-of-sample 예측(원래 CV에서 분할된 검증)을 사용하여 지원하는 것을 살펴보는 것이 깔끔할 수 있습니다. 그러나 스태킹이 활성화된 경우 별도의 분할을 생성하는 더 간단한 접근 방식으로 시작하는 것이 좋습니다.

RE 논의, 스택 앙상블이 CV를 수행하는 데 사용할 수 있는 별도의 분할을 보류해야 하는 이유에 대한 몇 가지 뒷받침하는 증거:

• "교차 검증된 [예측]을 사용하여 스태킹은 복잡성이 더 높은 모델에 부당하게 높은 가중치를 주는 것을 방지합니다." 일명 과적합
• "메타 모델에 대한 훈련 데이터 세트를 준비하는 가장 일반적인 접근 방식은 기본 모델의 k-폴드 교차 검증을 통한 것입니다. 여기서 아웃 오브 폴드 예측은 메타 모델에 대한 훈련 데이터 세트의 기초로 사용됩니다. 메타 모델에 대한 훈련 데이터는 또한 기본 모델에 대한 입력, 예를 들어 훈련 데이터의 입력 요소를 포함할 수 있습니다. 이것은 메타 모델에 대한 추가 컨텍스트를 메타 모델의 예측을 가장 잘 결합하는 방법에 대해 제공할 수 있습니다. 훈련 데이터 세트가 메타 모델에 대해 준비되면 메타 모델은 이 데이터 세트에 대해 별도로 훈련될 수 있고 기본 모델은 전체 원본 훈련 데이터 세트에 대해 훈련될 수 있습니다." -- 블로그 포스트
• "메타 학습자는 과적합을 피하기 위해 레벨 0 모델을 훈련하는 데 사용되는 예제에 대해 별도의 데이터 세트에서 훈련하는 것이 중요합니다." -- 다른 블로그 포스트
• 스택 앙상블을 교차 검증의 일반화로 볼 수 있는 방법을 설명하는 원본 논문 초록
• 나는 또한 발견 이 좋은 읽을 수.

@rpeck 참고로, 약간의 회전 후에 우리는 당신의 제안을 따르고 있습니다 😆

@dsherry @rpeck @angela97lin 이 문제를 살펴보기 시작했지만 sklearn의 StackedClassifier 및 StackedRegressor 클래스는 과적합을 방지하기 위해 모델 교육 중에 내부 교차 검증을 사용하는 것 같습니다. 이것은 우리가 이 문제로 해결하려고 하는 것과 같은 문제인 것 같아서 해결해야 할 것 같습니다. Stacked Ensembling 방법을 훈련/검증하기 위해 별도의 CV 접기를 수행할 필요는 없다고 생각합니다. 하지만 모두 어떻게 생각하시나요?

@dsherry와 토론 한 후, 여기에 우리가 진행하고자하는 아이디어

@bchen1116 과 논의한 계획: 이 문제는 다음을 추적합니다.

• 앙상블 파이프라인에 대한 금속 학습 훈련을 위한 별도의 분할 생성
• 스택 앙상블에 sklearn impl을 계속 사용하십시오.

별도의 성능 향상: 작은 데이터에 대한 더 나은 지원. 앙상블을 위해 별도의 분할을 생성하지 마십시오. 일반 CV(모든 CV 폴드 전체에서)의 샘플 외 파이프라인 pred를 사용하여 앙상블러를 훈련합니다. #1898

또 다른 별도의 성능 향상: 파이프라인과 금속 학습기를 서로 다른 데이터로 훈련합니다. #1897