Evalml: 기본적으로 이진 분류 임계값 조정 다시 활성화

다음 주에 이것에 대해 균열을 내고 싶습니다. 저는 캐싱을 수행하는 몇 가지 다른 방법을 연구해 왔으며 일부 항목을 로컬에서 테스트했습니다.

성능 테스트 MVP가 있을 때까지 이 작업을 수행해서는 안 됩니다.

성능 테스트 MVP가 있으므로 이제 이 작업을 수행해야 합니다! 이것은 #1024의 일부로 등장했습니다.

@angela97lin 감사합니다! 예, 확실히.

다음 단계는 일부 이진 분류 문제에 대한 성능 비교 전후를 생성하는 것입니다.

추가 고려 사항

• 로그 손실(bin 클래스에 대한 기본 목표) 및 AUC는 임계값에 구애받지 않기 때문에 이에 의해 전혀 변경되어서는 안 됩니다. 그러나 F1과 같은 다른 메트릭은 확실히 개선되어야 합니다. 몇 개 살펴보시면 좋을 것 같습니다.
• 적합 시간이 걸릴 것입니다. 문제는 안타가 얼마나 나쁜가 입니다. 10~20% 이상 증가하지 않을 것으로 예상합니다.
• 임계값 선택 분할의 크기를 스위핑하는 실험을 할 수 있습니다. 이는 과적합/과소적합을 방지하여 홀드아웃 정확도를 향상시킬 수 있습니다. 임계값 조정 분할 크기를 늘리면 훈련 분할 크기도 줄어들어 적합 시간이 빨라집니다.

미래 작업

• 현재 데이터 크기에 대한 보호 장치가 없습니다. 이것은 일반적으로 훈련 세트에 적용되므로 별도의 문제를 제출해야 합니다.

4월의 원래 글에서 나는 말했다.

현재 점수로 계산되는 예측 출력을 캐시해야 합니다.

나는 그것이 더 이상 적용되지 않는다고 생각합니다. 무시할 수 있습니다. score 리팩토링하기 전에 그 주석이 남았습니다. 또한 별도의 분할에서 임계값 최적화를 수행하므로 캐시할 항목이 없습니다. @freddyaboulton 참고로

@dsherry @angela97lin 분석 문서의 처음 몇 부분을 여기 에 모았

@freddyaboulton 방금 몇 가지 의견을 남겼습니다. 적어도 첫 번째 배치에서는 변경 사항이 없음을 보여야 하는 로그 손실을 확실히 살펴봐야 합니다. 그러나 F1 또는 임계값에 민감한 다른 것에 대해 최적화를 시도하여 튜닝을 활성화하는 효과를 볼 수 있어야 한다고 생각합니다.

@freddyaboulton 죄송합니다 템플릿에서 남겨진 플롯 때문에 혼란스러워서 첫 번째 부분만 읽는 것에 대한 귀하의 의견을 보지 못했습니다 🤦‍♂️ 가지고 있는 것이 좋습니다

@freddyaboulton 참고로 문서를 게시한 이후로 이 문제를 진행

@dsherry @angela97lin " 분석 을 마쳤습니다.

간단히 말해서 임계값을 조정한 후 성능이 실제로 감소 했습니다. 임계값을 조정하기 위해 계층화된 분할을 사용하지 않기 때문일 수 있습니까?

@freddyaboulton 오, 네, 그럴 수 있습니다.

나는 당신의 문서를 검토하고 의견을 남겼습니다. 새로운 차트와 통계가 마음에 듭니다. 그것들을 다시 looking_glass/analysis/ 에 추가하여 재사용할 수 있는 방법을 찾아야 합니다. 그래도 누르지 않습니다.

상단에서 마음에 오는 몇 가지 옵션:

• 임계값 최적화 분할에 계층 분할 사용
• 임계값 최적화 분할에 대해 최소 행 수를 적용합니다. 이것이 도달할 수 없는 경우 경고하고 임계값을 설정하지 않거나 오류가 발생할 수 있습니다.
• 더 작은 데이터 세트의 경우 전체 교육 데이터를 임계값 최적화 분할로 사용하고 과적합의 위험이 있습니다.

먼저 계층화된 샘플링으로 전환하고 그것이 무엇을 하는지 확인해야 한다고 생각합니다.

또 다른 시도는 분할 크기를 80% 교육 20% 임계값 최적화에서 50% 교육 50% 임계값 최적화로 전환하는 것입니다. 나는 이것이 잘 될 것이라고 의심하지만 시도하기 쉽고 보는 것이 흥미로울 것입니다.

@jeremyliweishih 가 #1049 , @freddyaboulton 을(를) 선택하고 있으므로 이를 그에게 전달하는 것이 좋습니다. 두분이서 알아보도록 할게요 :)

@freddyaboulton 이 작업을 하고 있지 않습니까? @jeremyliweishih가 받아도 될까요?

@jeremyliweishih @dsherry 받아 주세요! 초기 분석에 따르면 단순히 튜닝을 활성화하는 것만으로는 점수가 향상되지 않습니다. 다른 데이터 분할 전략을 사용하면 도움이 될 수 있습니다!

Dev Backlog로 돌아가서 더 많은 데이터 분할 작업을 수행한 후 이를 계속할 것입니다.

@bchen1116 과 나는 논의했고 이것이 #973에 필요하다고 생각합니다.