Scikit-learn: 다중 클래스 roc_auc 점수 지원

그것이 무엇을 의미하는지 확실하지 않습니다. 그것에 대한 참조가 있습니까?

2014년 6월 19일 09:51 Madison May 알림 @github.com은 다음과 같이 썼습니다.

낮은 우선 순위 기능 요청: 다중 클래스 roc_auc 점수 지원
일대일 방법론을 사용하여 sklearn.metrics에서 계산
엄청나게 유용할 것입니다.

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/scikit-learn/scikit-learn/issues/3298.

다음은 참조와 함께 꽤 괜찮은 설명입니다. https://www.cs.bris.ac.uk/~flach/ICML04tutorial/ROCtutorialPartIII.pdf

흠, 멀티 클래스 auc가 구현되지 않은 동안 권장 스코어러는 무엇입니까?

sklearn.metrics에서 1대1 방법론을 사용하여 다중 클래스 roc_auc 점수 계산을 지원하는 것은 매우 유용할 것입니다.

해당 슬라이드가 각 클래스에 대한 AUC의 주파수 가중 평균을 취하는 표면 아래 부피에 대한 근사치를 고려하는 것에 대해 이야기하고 있습니까? 이것은 이진화 표현 및 average='weighted' 와 함께 현재 roc_auc_score 를 사용하는 것과 동일한 것으로 보입니다. ( @arjoly , 이러한 곡선 기반 점수가 다중 클래스를 허용하지 않는 이유는 무엇입니까?)

그렇지 않으면 해당 슬라이드와 "다중 등급 ROC"에 대해 찾을 수 있는 대부분의 참조는 평가 메트릭이 아닌 OvR의 다중 등급 교정에 중점을 둡니다. 이것이 당신이 관심을 갖는 것입니까? 나는 이 기술이 얼마나 널리 퍼져 있는지, scikit-learn에서 사용할 가치가 있는지, 탐욕적인 최적화를 개선해야 하는지 전혀 모릅니다.

( @arjoly , 이러한 곡선 기반 점수가 다중 클래스를 허용하지 않는 이유는 무엇입니까?)

y_true에서 하나의 클래스가 누락될 때마다 점수를 계산할 수 없습니다. 나는 클래스 추론에 마법을 추가하고 싶지 않았고 사용자를 곤경에 빠뜨렸습니다.

y_pred의 경우 적절하게 처리하지 않을 수 있습니다.
y_true에는 없는 레이블이 있습니다. 그 레이블은 아마도
거시 평균(Weka에 따르면,
너무), 또는 ROC 점수.

2014년 8월 1일 17:08에 Arnaud Joly [email protected] 은 다음과 같이 썼습니다.

( @arjoly https://github.com/arjoly, 왜 이러한 곡선 기반 점수가
다중 클래스를 허용하지 않습니까?)

y_true에서 하나의 클래스가 누락될 때마다 계산할 수 없습니다.
점수. 나는 클래스 추론에 마법을 추가하고 싶지 않았고
문제에 사용자.

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -50855460
.

@jnothman @arjoly 평균화 측면에서 많은 진전이 있었습니다. 지금 구현하기가 얼마나 어렵습니까?

아마도 pPROC 패키지의 R 기능과 유사할 수 있습니다.
http://www.inside-r.org/packages/cran/pROC/docs/multiclass.roc

안녕하세요, 매크로 평균 ROC/AUC 점수의 초안을 구현했지만 sklearn에 적합한지 확신할 수 없습니다.

코드는 다음과 같습니다.

from sklearn.metrics import roc_auc_score
from sklearn.preprocessing import LabelBinarizer

def multiclass_roc_auc_score(truth, pred, average="macro"):

    lb = LabelBinarizer()
    lb.fit(truth)

    truth = lb.transform(truth)
    pred = lb.transform(pred)

    return roc_auc_score(truth, pred, average=average)

이렇게 간단할 수 있을까?

@fbrundu 이것이 표준 의미라면. 물론 가능한 해석입니다.

여기에 멋진 요약이 있습니다.
http://people.inf.elte.hu/kiss/13dwhdm/roc.pdf

proOC 패키지는 Hand 및 Till을 구현합니다.
http://download.springer.com/static/pdf/398/art%253A10.1023%252FA%253A1010920819831.pdf?originUrl=http%3A%2F%2Flink.springer.com%2Farticle%2F10.1023%2FA% 3A1010920819831 & token2 = 특급 = 1,469,743,016 ~ ACL = % 2Fstatic % 2Fpdf % 2F398 % 2Fart % 25253A10.1023 % 25252FA % 25253A1010920819831.pdf % 3ForiginUrl % 3Dhttp % 253A % 252F % 252Flink.springer.com % 252Farticle % 252F10.1023 % 252FA % 253A1010920819831 *~hmac=bc68686d3782ac6af3c3cda13c1b36aad6de5d01d16a25870cace5fe9699fb8a

Hand와 Till의 버전은 일반적으로 받아들여지는 것으로 보이며 저는 우리가 그것을 구현하는 데 찬성합니다.
Provost와 Domingos의 버전도 있습니다. Provost가 현재 제 디렉터라는 점을 감안할 때 제가 응원해야 할 버전이지만 아직까지는 관심을 받지 못했습니다.
Provost-Domingos는 @fbrundu 가 average='weighted' 만 말한 것입니다.

TLDR: Hand and Till PR 환영합니다. 선택적으로 평균을 변경할 수 있는 옵션이 있는 Provost 및 Domingos.

안녕하세요, 이를 구현하는 데 진전이 있었습니까?
내가 대부분의 다른 라이브러리(예: WEKA)에서 본 것은 가중 평균을 사용한다는 것입니다. 나는 이것이 @fbrundu 가 average='micro' 를 사용하여 제안한 것이라고 생각합니까?

@joaquinvanschoren R은 손과

@amueller 이 작업을 할 수 있습니다 :)

@kchen17 감사합니다!

우리는 이것을 OpenML에서 꽤 많이 논의했습니다. 다중 클래스 AUC의 경우 한 접근 방식(거시 평균, 미세 평균, 가중 평균 등)이 다른 접근 방식보다 낫다는 보장은 없습니다. R에서는 최소 5가지 다른 접근 방식을 찾을 수 있습니다(현재 MLR에서도 모두 사용 가능).
scikit-learn에서 이것을 구현할 때 Hand-Till을 기본값으로 사용하더라도 최소한 애플리케이션에 가장 적합한 것을 선택할 가능성이 있다면 좋을 것입니다. Hand-Till은 가중치가 없는 접근 방식이며 레이블 불균형을 고려하지 않습니다.

여러 버전이 있어서 기쁩니다. 가중치가 없는 것과 "라벨 불균형을 고려하지 않는 것"은 두 가지 다른 것입니다. ;) 목록과 참조가 있습니까?

이 경우 마이크로 평균이란 무엇입니까?

이 예에서 구현된 다중 클래스 문제에 대해 이미 마이크로 및 매크로 평균 ROC AUC를 확인했습니다.

http://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html#multiclass -설정

사실, 나는 문서가 올바르지 않다고 생각하며 다음과 같이 말해야 합니다.
멀티 라벨...

2016년 9월 26일 23:16, Olivier Grisel [email protected]
썼다:

이미 다중 클래스에 대한 미시 및 거시 평균 ROC AUC가 아닙니다.
이 예제에서 구현된 문제:

http://scikit-learn.org/stable/auto_examples/model_
selection/plot_roc.html#multiclass-settings

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -249566346,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AAEz65IeU7k2CFwyHxTTAjk-5orIxWe6ks5qt8WsgaJpZM4CFzud
.

마이크로 평균화에서 TPR(진양성률)은 모든 클래스의 모든 TP 합계를 구하고 모든 클래스의 모든 TP 및 FN의 합계로 나누어 계산합니다(즉, 3개 클래스 문제의 경우).
TPR = (TP1+TP2+TP3)/(TP1+TP2+TP3+FN1+FN2+FN3)

혼동 행렬의 예:
[[1,2,3],
[4,5,6],
[7,8,9]]
TPR = (1+5+9)/(1+5+9+(2+3)+(4+6)+(7+8))
위양성 비율에 대해 동일한 작업을 수행하면 AUC를 계산할 수 있습니다.

매크로 평균화는 각 클래스에 대한 TPR을 개별적으로 계산하고 평균화합니다(해당 클래스의 예제 수에 따라 가중치 부여).
TPR = (1/3)* (TP1/(TP1+FN1) + TP2/(TP2+FN2) + TP2/(TP2+FN2))

같은 예:
TPR = (1/3)* (1/(1+(2+3)) + 5/(5+(4+6)) + 9/(9+(7+8)))

아마도 이것이 도움이 될 것입니다(정밀도를 사용하지만 아이디어는 동일합니다).
http://stats.stackexchange.com/questions/156923/should-i-make-decisions-based-on-micro-averaged-or-macro-averaged-evaluation-mea

나는 개인적으로 가중되지 않은 거시 평균을 사용하지 않을 것이지만, 이것을 연구한 논문을 찾을 수 있는지 알아보겠습니다.

종이:
https://www.math.ucdavis.edu/~saito/data/roc/ferri-class-perf-metrics.pdf

이것은 R에서 지원되는 것입니다(추가 문헌 포함):
https://mlr-org.github.io/mlr-tutorial/devel/html/measures/index.html

안녕하세요! 지난 주에 이 문제를 조사하기 시작할 수 있었고 올바른 방향으로 가고 있는지 확인하기 위해 빠른 업데이트/몇 가지 질문을 게시하고 싶었습니다.

• 지금까지: 기본적으로 일부 average 매개변수가 없음으로 설정된 multiclass_roc_auc_score 함수의 구현으로 시작했습니다. 이 기본값은 Hand-Till 알고리즘을 사용합니다(설명한 대로 레이블 불균형은 고려하지 않음).
• 이 메서드는 roc_auc_score 매개변수와 동일한 매개변수를 허용합니까?
• 그리고 그 차이는 y_true 2개 이상의 레이블 클래스가 있을 수 있다는 것입니다. Hand-Till은 가능한 모든 레이블 쌍을 찾고 이러한 각 쌍에 대해 roc_auc_score 를 계산한 다음 이들의 평균을 구하는 작업을 포함합니다.

수정/제안 사항을 알려주세요!

일반적으로 roc_auc_score 재사용하는 것이 합리적으로 가능하다면 다른 함수를 만드는 것을 피합니다. 기본값을 '매크로'로 두는 것이 허용된다고 생각합니다.

고려해야 할 한 가지 핵심 사항은 metrics/tests/test_common.py에서 roc_auc_score 의 특성 변경을 포함하여 이러한 변경 사항을 테스트하는 방법입니다.

네, 문서를 업데이트해야 합니다.

@joaquinvanschoren 흥미롭게도 그 논문은 위에서 언급한 다중 클래스 AUC 논문, 특히 2005년의 Fawcett 논문에 대해 논의하지 않았습니다. 흠 1-vs-1 다중 클래스의 재정규화인가?

그래서 현재 우리는 다중 레이블만 가지고 있으므로 1vs1 및 1vsRest가 있는 다중 클래스를 추가하고 각각 가중 및 비가중 변형이 있습니다.
sample 및 micro 평균이 AUC에서 어떻게 작동하는지 잘 모르겠습니다.

그래서... 저는 multi-class 매개변수를 AUC에 추가할 것을 제안합니다. ovo 또는 ovr 일 수 있으며 가중치 매개변수를 고려할 것입니다. sample 및 micro 를 허용하는 것은 제게 이해가 되지 않기 때문에 확실하지 않습니다.

@arjoly 그래서 micro 및 sample 행렬의 열이 아닌 행에서 작동합니까? 그것에 관한 논문이 있습니까? 나는 ROC 문헌에서 그것을 찾지 못했습니다.

그것의 문제는 핸드 틸 측정을 기본값으로 만들기 위해 가중 평균 OvO를 수행해야 하고 가중 옵션을 실제로 변경할 수 없다는 것입니다. 그래서 기본적으로 OVR을 수행하고 가중치가 있는 OvO도 좋은 선택이라고 설명하고 참조를 추가할까요?

@joaquinvanschoren이 인용한 논문 요약에서도 모든 AUC 버전이 거의 동일한 결과를 제공한다고 말합니다.

@amueller : 귀하의 의견을 다시 읽을 기회가

그것의 문제는 핸드 틸 측정을 기본값으로 만들기 위해 가중 평균 OvO를 수행해야 하고 가중 옵션을 실제로 변경할 수 없다는 것입니다. 그래서 기본적으로 OVR을 수행하고 가중치가 있는 OvO도 좋은 선택이라고 설명하고 참조를 추가할까요?

귀하의 응답에 따라 multiclass=['ovo', 'ovr'] 매개변수를 통합하도록 roc_auc_score 을 수정하려고 했습니다. OvR이 기본값( roc_auc_score(y_true, y_score, multiclass="ovo" ... ) )이지만 Hand & Till이 OvO인 경우 구현의 OvR 부분을 처리하기 위해 어떻게 해야 합니까? (즉, y_true가 다중 클래스임을 감지하면 "ovr"이 구현되지 않은 경우 오류를 발생시키고 사용자에게 "ovo"를 전달하도록 지시합니까?)

죄송합니다. ovo 및 ovr ;) 모두 구현하기를 기대했습니다.

@amueller : y_score 의 치수만 확인했지만 이것이 충분하지 않다는 것을 금세 깨달았습니다. (즉, 레이블이 0과 1만 있는지 확인하는 것뿐인가요?)

다중 레이블은 여러 레이블이 한 번에 예측됨을 의미합니다.
인스턴스당 예측 벡터. 멀티클래스는 단일 클래스를 의미합니다.
예측하지만 그 예측은 2개 이상의 값을 가질 수 있습니다.
바이너리).

때때로 사람들은 출력을 이진화하여 다중 클래스 사례를 해결하므로
인스턴스당 여러 이진 값(따라서 다중 레이블)을 얻습니다.
종종 혼란을 야기합니다.
2016년 10월 8일 토요일 16시 33분에 Kathy Chen [email protected]이 다음과 같이 썼습니다.

@amueller https://github.com/amueller : 언급되었으며 다음이 될 것입니다.
도 통합! 또한 묻고 싶었습니다. 방법에 대한 조언이 있습니까?
다중 클래스와 다중 레이블의 차이점을 감지합니까? 처음에 나는
y_score의 치수를 확인했지만 매우 빨리 깨달았습니다.
충분하지 않을 것입니다.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -252427642,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/ABpQV7Mv0rHGEfrkYi5Xezz3PItyrLZ6ks5qx6mdgaJpZM4CFzud
.

안녕하세요, type_of_target 이 multi-label 와 multi-class 출력을 구별하는 목적을 해결할 수 있기를 바랍니다. HTH

type_of_target 를 사용하는 것이 좋습니다. scikit-learn에서 y 의 차원은 실제로 다중 레이블 또는 다중 대상을 수행할지 여부를 나타내는 지표입니다. @joaquinvanschoren이 제안한 대로 출력을 이진화하면 scikit-learn은 항상 다중 레이블을 가정합니다.

type_of_target은 y_trues, @amueller를 구별하는 것이 좋습니다.

2016년 10월 9일 05:18 Andreas Mueller [email protected]
썼다:

type_of_target을 사용하는 것이 좋습니다. scikit-learn에서
y의 차원은 실제로 우리가 원하는지 여부를 나타내는 지표입니다.
다중 레이블 또는 다중 대상. 출력을 다음과 같이 이진화하면
@joaquinvanschoren https://github.com/joaquinvanschoren 제안
scikit-learn은 항상 다중 레이블을 가정합니다.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -252439908,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AAEz6wa5fnE_LX3LLXbCoc0Z4hBbSAQ0ks5qx95rgaJpZM4CFzud
.

안녕하세요 여러분, 저는 "예비" PR을 제출했음을 알려드리고 싶었습니다. 새로운 테스트, 문서 표현 등을 추가하기 위한 모범 사례와 함께 구현에 대한 피드백을 듣고 싶습니다(예: numpy/etc.를 지금보다 더 나은 방식으로 활용하는 방법이 있다고 확신합니다).

지금까지 도움을 주셔서 감사합니다!

AUC에 대한 다중 클래스 지원을 추가하는 데 진전이 있습니까?

@joaquinvanschoren : #7663에서 @jnothman 의 코드 검토 후 수정 작업 중입니다. 중간고사가 끝나면 다음 주에 또 다른 업데이트를 제출할 것입니다.

안녕하세요 @kathyxchen , @jnothman ,

PR에 대한 업데이트가 있습니까?

AUC에 대한 다중 클래스 지원을 추가하는 데 진전이 있는지 확인하기 위해 체크인하시겠습니까?

우리는 무엇이 받아들여지고 원칙적인지 결정하는 데 어려움을 겪습니다.
다중 클래스에 대한 ROC AUC의 공식화. 보다
https://github.com/scikit-learn/scikit-learn/pull/7663#issuecomment -307566895
그리고 아래.

그래서 친구들. 멀티클래스 uc 점수에 진전이 있습니까? 홍채 데이터 세트와 함께 매우 혼란스러운 공식 문서 코드를 찾았습니다. 이 방법은 내 모델이 난수를 상당히 잘 예측한다는 것을 보여주기 때문입니다.

이것은 거의 완료되었습니다. 병합하기 전에 API 세부 정보를 결정해야 합니다. https://github.com/scikit-learn/scikit-learn/pull/12789#discussion_r295693965

@trendsearcher 예를 들어 주시겠습니까? 지금은 병합되었지만 귀하가 경험한 문제를 보고 싶습니다.

도움이 되어 기쁩니다. 어떻게 예를 들 수 있습니까(많은 코드가 있고 그렇지 않을 수 있습니다)
직관적)? 일반 텍스트로 쓸 수 있습니까?

чт, 18 июл. 2019년 г. в 00:35, Andreas Mueller [email protected] :

@trendsearcher https://github.com/trendsearcher 제공할 수 있습니까?
예를 들어주세요? 지금은 병합되었지만 문제를 보고 싶습니다.
경험했다.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/scikit-learn/scikit-learn/issues/3298?email_source=notifications&email_token=AKS7QOFYRQY7RZJBWUVVJSTP76GDFA5CNFSM4AQXHOO2YY3PNVWWK3TUL52HS4MVVEXJ4
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AKS7QOFQ5LAIZ2ZBR4M4EATP76GDFANCNFSM4AQXHOOQ
.

안녕하세요, 매크로 평균 ROC/AUC 점수의 초안을 구현했지만 sklearn에 적합한지 확신할 수 없습니다.

코드는 다음과 같습니다.

from sklearn.metrics import roc_auc_score
from sklearn.preprocessing import LabelBinarizer

def multiclass_roc_auc_score(truth, pred, average="macro"):

    lb = LabelBinarizer()
    lb.fit(truth)

    truth = lb.transform(truth)
    pred = lb.transform(pred)

    return roc_auc_score(truth, pred, average=average)

이렇게 간단할 수 있을까?

@fbrundu 공유해주셔서 감사합니다! 나는 당신의 코드를 시도했습니다. 하지만 이 함수를 호출하면 "레이블 이진화에서는 다중 출력 대상 데이터가 지원되지 않습니다"라는 문제가 발생합니다. 그런 다음 함수에서 "pred=lb.transform(pred)" 코드를 제거합니다. 그러나 "샘플 수가 일치하지 않는 입력 변수를 찾았습니다: [198, 4284]"라는 또 다른 문제가 있습니다.

이 문제를 해결하는 데 도움을 줄 수 있는지 여쭤봐도 될까요? 감사합니다!

@Junting-왕

 I meet a problem saying "Multioutput target data is not supported with label binarization". 

predict_proba 대신 predict를 사용해야 합니다.

@fbrundu 구현이 정확합니까? 나는 그것을 사용하고 작동합니다.