Evalml: 자동 목표로 회수 허용 안 함

나는 그들이 당신에게 사소한 모델을 제공하지 않을 것이라는 점에서 정밀도와 정확성이 좋다고 생각합니다.

우리는 반드시 목표로 회수를 삭제하고 싶지는 않습니다. 단지 automl 검색에서 이에 대해 최적화되어서는 안 됩니다. 예를 들어 f1에 대해 최적화하고 싶지만 그와 함께 내 회상 점수를 볼 수 있습니다.

@kmax12 네, 맞습니다. 리콜을 계산하는 코드를 삭제하고 싶지 않고 파이프라인의 점수로 컴퓨팅 리콜을 계속 지원하고 싶지만 automl에서 지원되는 최적화 목표로 허용하지 않으려고 합니다.

이것은 ROC 및 혼동 행렬(#427, #365)에 대한 이진 분류 플로팅/정보 방법에 대한 지속적인 논의를 상기시킵니다. 그것들은 automl에서 최적화할 수 있는 측정항목이 아니며 단일 숫자 점수도 아니지만 API에서 정의하는 가장 쉬운 방법은 이를 ObjectiveBase 의 인스턴스로 추가하는 것입니다.

현재 파이프라인을 사용하여 계산할 수 있는 여러 가지가 있습니다.

1. 예측
2. automl에 대한 목적 함수 점수
3. automl 이후의 스코어링 메트릭
4. 데이터 플로팅(이진 분류의 예: ROC 곡선, 혼동 행렬)
5. 기능 중요도

지금까지 ObjectiveBase 를 사용하여 2, 3, 4를 나타내려고 했다고 생각합니다. 즉, automl 프로세스와 별도로 채점 방법과 플로팅 방법을 정의하는 명확한 API가 없습니다. .

여기에서 다음 단계는 이러한 API를 설계하는 것이어야 한다고 생각합니다. 이미 #392로 신고한 것 같습니다. 차단되도록 이 티켓을 업데이트하겠습니다.

지금 목표 API 재작업을 위해 ROC와 Confusion Matrix를 PlotMetrics 로 옮겼습니다. 깨는 것). 또한 can_optimize_threshold 를 BinaryClassificationObjective 에 대한 속성으로 추가했습니다. 따라서 fit()이 can_optimize_threshold=True 를 사용하여 목표와 함께 호출되면 해당 목표에 대해 최적화하고, 그렇지 않으면 다음을 위해 최적화합니다. 정확성. 이에 대한 생각과 이것이 여기에서 제기된 몇 가지 질문과 어떻게 일치할 수 있습니까? 사용자가 리콜에서 fit 를 호출했지만 대신 정확도에 최적화했는지 여부가 불분명합니까?

@angela97lin 예, ObjectiveBase 에서 ROC/confusion을 제거한 것이 긍정적인 단계라고 생각합니다! 나는 #392가 더 나아가야 한다고 생각한다. 대신 #392에서 API를 업데이트하는 방법에 대한 대화를 계속하겠습니다. 그렇게 하면 이 문제를 보다 일반적으로 처리하는 방법에 대한 결정을 내린 후 업데이트 회수를 추적할 수 있습니다.

또한 이진 분류 임계값 최적화는 별도의 주제이며 감사하게도 #346에서 진행 중인 작업이 100% 처리되고 있다고 생각합니다!

앞서 @eccabay 및 @jeremyliweishih 와의 토론 요약: 이를 지원하는 옵션은 다음과 같습니다.

• 회수 목표를 완전히 삭제하십시오.
• objectives/utils.py OPTIONS 에서 회수 목표에 대한 항목을 삭제하고 automl에서 해당 목표를 허용하지 않는지 확인합니다.