Evalml: stdout에서 sklearn UndefinedMetric 경고 억제(F1 점수)

네, 이 문제를 해결해야 합니다. 일반적으로 코드가 그렇게 하지 않는 한 아무 것도 stdout에 인쇄되는 것을 허용해서는 안 됩니다.

이것이 #311과 관련이 있는지 궁금합니다.

이 두 가지 제안을 모두 수행해야 한다고 생각합니다. 이 sklearn stdout 출력을 억제하고 가능한 경우 자체 경고 메시지도 작성합니다.

@christopherbunn RE 회의에서 이것을 언급

@christopherbunn @jeremyliweishih 나는 이것에 대해 좀 더 읽었고 , 여기에서 모든 정밀도 및 f1 목표(이진 및 다중 클래스)에 대해 zero_division=0.0 를 설정하는 것으로 수정하고 싶습니다.

설명
정밀도 는 n_true_pos / (n_true_pos + n_false_pos) 입니다. 따라서 모델이 문제의 데이터 분할에서 특정 레이블을 전혀 예측하지 않는 경우 해당 레이블에 대해 참 또는 거짓 긍정이 없으므로 0으로 나누기가 발생합니다. f1의 경우도 마찬가지입니다.

논쟁
클래스의 균형을 잘 유지하고 있다고 가정해 보겠습니다(현재는 수행하지 않지만 별도의 주제인 #194 #457). 그렇다면 훈련 또는 검증 분할에 특정 클래스의 인스턴스가 거의 포함될 가능성이 거의 없습니다. 그리고 우리가 가정할 수 있고 모델이 여전히 특정 레이블에 대해 예측을 하지 않는다면, 나는 그것이 좋지 않은 모델이라고 주장할 것입니다. 따라서 우리는 정밀도와 f1 모두에 대해 0인 가능한 가장 낮은 점수를 부여해야 합니다.

좋은 소리?

예시

In [38]: import numpy as np

In [39]: import sklearn.metrics

In [40]: y_true = np.array([0, 0, 0, 0, 1])

In [41]: y_pred = np.array([0, 0, 0, 0, 0])

In [42]: sklearn.metrics.precision_score(y_true, y_pred)
/Users/dylan.sherry/.pyenv/versions/3.8.2/envs/evalml/lib/python3.8/site-packages/sklearn/metrics/_classification.py:1272: UndefinedMetricWarning: Precision is ill-defined and being set to 0.0 due to no predicted samples. Use `zero_division` parameter to control this behavior.
  _warn_prf(average, modifier, msg_start, len(result))
Out[42]: 0.0

In [43]: sklearn.metrics.precision_score(y_true, y_pred, zero_division=0.0)
Out[43]: 0.0

@dsherry 는 나에게 의미가 있습니다. 나는 그것이 우리가 지금하고있는 일이지만 경고와 함께한다고 생각합니다 (기본값은 0으로 설정되고 경고도 게시하는 "경고"로 기본 설정되어 있기 때문에)

@jeremyliweishih 네!

@christopherbunn 에서