Scikit-learn: बहु-वर्ग roc_auc स्कोर के लिए समर्थन

मुझे यकीन नहीं है कि इसका क्या मतलब है। क्या आपके पास इसका संदर्भ है?

19 जून 2014 09:51 को मैडिसन मे नोटिफिकेशन @github.com ने लिखा:

निम्न प्राथमिकता सुविधा अनुरोध: बहु-वर्ग roc_auc स्कोर के लिए समर्थन
sklearn.metrics में गणना सभी पद्धति के विरुद्ध एक का उपयोग करके
अविश्वसनीय रूप से उपयोगी होगा।

-
इस ईमेल का सीधे उत्तर दें या इसे GitHub पर देखें
https://github.com/scikit-learn/scikit-learn/issues/3298.

यहाँ संदर्भों के साथ एक बहुत ही अच्छी व्याख्या है: https://www.cs.bris.ac.uk/~flach/ICML04tutorial/ROCtutorialPartIII.pdf

हम्म, मल्टी-क्लास ऑक लागू नहीं होने पर अनुशंसित स्कोरर क्या है?

sklearn.metrics में बहु-वर्ग roc_auc स्कोर गणना के लिए समर्थन सभी पद्धतियों के विरुद्ध एक का उपयोग करना अविश्वसनीय रूप से उपयोगी होगा

क्या आप इस बारे में बात कर रहे हैं कि वे स्लाइड सतह के नीचे आयतन के सन्निकटन पर क्या विचार करती हैं जिसमें प्रत्येक वर्ग के लिए AUC का आवृत्ति-भारित औसत लिया जाता है? यह वर्तमान roc_auc_score बाइनरीकृत प्रतिनिधित्व और average='weighted' साथ करने के समान प्रतीत होता है। ( @arjoly , ये वक्र-आधारित स्कोर

अन्यथा, वे स्लाइड, और अधिकांश संदर्भ जो मुझे "मल्टी-क्लास आरओसी" के लिए मिल सकते हैं, ओवीआर के मल्टी-क्लास कैलिब्रेशन पर ध्यान केंद्रित करते हैं, मूल्यांकन मीट्रिक पर नहीं। क्या आप इसी में रुचि रखते हैं? मुझे नहीं पता कि यह तकनीक कितनी व्यापक है, क्या यह विज्ञान-सीखने में उपलब्ध है, और क्या लालची अनुकूलन में सुधार किया जाना चाहिए।

( @arjoly , ये वक्र-आधारित स्कोर

जब भी y_true से एक वर्ग गायब होता है, तो स्कोर की गणना करना संभव नहीं होता है। मैं वर्ग अनुमान के लिए जादू नहीं जोड़ना चाहता था और उपयोगकर्ताओं को परेशानी में डाल दिया।

यह संभव है कि हम y_pred . के मामले में उचित व्यवहार नहीं कर रहे हैं
एक लेबल है कि y_true नहीं है। वह लेबल शायद नहीं होना चाहिए
मैक्रो औसत जैसी किसी भी चीज़ में भाग लें (वीका के अनुसार,
भी), या एक आरओसी स्कोर।

1 अगस्त 2014 17:08 को, अरनॉड जोली नोटिफिकेशन @github.com ने लिखा:

( @arjoly https://github.com/arjoly, ये कर्व-आधारित स्कोर क्यों करते हैं
मल्टीक्लास को अस्वीकार करें?)

जब भी y_true से एक वर्ग गायब होता है, तो गणना करना संभव नहीं है
स्कोर। मैं वर्ग अनुमान के लिए जादू नहीं जोड़ना चाहता था और मिल गया
उपयोगकर्ता समस्याओं में।

-
इस ईमेल का सीधे उत्तर दें या इसे GitHub पर देखें
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -50855460
.

@jnothman @arjoly औसत मोर्चे पर काफी प्रगति हुई है। अब इसे लागू करना कितना कठिन है?

यह शायद pROC पैकेज के R फ़ंक्शन के समान हो सकता है
http://www.inside-r.org/packages/cran/pROC/docs/multiclass.roc

नमस्ते, मैंने मैक्रो-औसत आरओसी/एयूसी स्कोर का एक मसौदा लागू किया है, लेकिन मुझे यकीन नहीं है कि यह स्केलेर के लिए उपयुक्त होगा।

यहाँ कोड है:

from sklearn.metrics import roc_auc_score
from sklearn.preprocessing import LabelBinarizer

def multiclass_roc_auc_score(truth, pred, average="macro"):

    lb = LabelBinarizer()
    lb.fit(truth)

    truth = lb.transform(truth)
    pred = lb.transform(pred)

    return roc_auc_score(truth, pred, average=average)

क्या यह इतना आसान हो सकता है?

@fbrundu अगर यह मानक अर्थ है। यह निश्चित रूप से एक संभावित व्याख्या है।

यहाँ एक अच्छा सारांश है:
http://people.inf.elte.hu/kiss/13dwhdm/roc.pdf

पीआरओसी पैकेज हाथ और तक लागू करता है:
http://download.springer.com/static/pdf/398/art%253A10.1023%252FA%253A1010920819831.pdf?originUrl=http%3A%2F%2Flink.springer.com%2Farticle%2F10.1023%2FA% 3A1010920819831&token2=exp=1469743016 ~

हैंड एंड टिल के संस्करण को आम तौर पर स्वीकार किया जाता है और मुझे लगता है कि हम इसे लागू करते हैं।
प्रोवोस्ट और डोमिंगोस का एक संस्करण भी है जिसे मुझे शायद रूट करना चाहिए क्योंकि प्रोवोस्ट वर्तमान में मेरे निदेशक हैं, लेकिन यह पकड़ा नहीं गया है।
प्रोवोस्ट-डोमिंगोस वही है जो @fbrundu ने केवल average='weighted' साथ कहा था।

TLDR: पीआर फॉर हैंड एंड टिल वेलकम। वैकल्पिक रूप से प्रोवोस्ट और डोमिंगोस औसत बदलने के विकल्प के साथ।

नमस्ते, क्या इसे लागू करने में कोई प्रगति हुई है?
मैंने अधिकांश अन्य पुस्तकालयों (जैसे WEKA) में जो देखा है वह यह है कि वे भारित औसत का उपयोग करते हैं। मुझे लगता है कि यह वही है जो @fbrundu ने औसत = 'माइक्रो' का उपयोग करके प्रस्तावित किया था?

@joaquinvanschoren R हैंड एंड टिल का उपयोग करता है। मैं उसे भी पसंद करूंगा। मेरे पास एक छात्र है जो जल्द ही इस पर काम करेगा।

@amueller मैं इस पर काम कर सकता हूँ :)

@ kchen17 धन्यवाद!

हमने ओपनएमएल में इस पर काफी चर्चा की। मल्टीक्लास एयूसी के लिए इस बात की कोई गारंटी नहीं है कि एक दृष्टिकोण (मैक्रो-औसत, माइक्रो-औसत, भारित औसत, ...) दूसरे की तुलना में बेहतर है। आर में आप कम से कम 5 अलग-अलग दृष्टिकोण पा सकते हैं (सभी अब एमएलआर में भी उपलब्ध हैं)।
स्किकिट-लर्न में इसे लागू करते समय, यह बहुत अच्छा होगा यदि आपके आवेदन के लिए सबसे अधिक समझ में आने वाले को चुनने की संभावना कम से कम हो, भले ही आप डिफ़ॉल्ट के रूप में हैंड-टिल का उपयोग करें। हैंड-टिल एक गैर-भारित दृष्टिकोण है, यह लेबल असंतुलन को ध्यान में नहीं रखता है।

मैं कई संस्करण पाकर खुश हूं। गैर-भारित और "लेबल असंतुलन को ध्यान में नहीं रखना" दो अलग-अलग चीजें हैं;) क्या आपके पास एक सूची और संदर्भ हैं?

इस मामले में सूक्ष्म औसत क्या है?

ध्यान दें कि हम इस उदाहरण में कार्यान्वित बहु-वर्ग समस्याओं के लिए पहले से ही सूक्ष्म और मैक्रो-औसत ROC AUC हैं:

http://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html#multiclass -settings

असल में, मुझे लगता है कि दस्तावेज़ीकरण गलत है और कहना चाहिए
बहुलेबल...

26 सितंबर 2016 को 23:16 बजे, ओलिवियर ग्रिसेल नोटिफिकेशन @github.com
लिखा था:

ऐसा नहीं है कि हम पहले से ही मल्टीक्लास के लिए सूक्ष्म और मैक्रो-औसत आरओसी एयूसी
इस उदाहरण में लागू की गई समस्याएं:

http://scikit-learn.org/stable/auto_examples/model_
चयन/प्लॉट_रोक.html#multiclass-settings

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -249566346,
या थ्रेड को म्यूट करें
https://github.com/notifications/unsubscribe-auth/AAEz65IeU7k2CFwyHxTTAjk-5orIxWe6ks5qt8WsgaJpZM4CFzud
.

माइक्रो-औसत में, आपकी वास्तविक सकारात्मक दर (टीपीआर) की गणना सभी वर्गों के सभी टीपी का योग लेकर और सभी वर्गों के सभी टीपी और एफएन के योग से विभाजित करके की जाती है, अर्थात 3-वर्ग की समस्या के लिए:
TPR = (TP1+TP2+TP3)/(TP1+TP2+TP3+FN1+FN2+FN3)

उदाहरण भ्रम मैट्रिक्स:
[[1,2,3],
[4,5,6],
[7,8,9]]
टीपीआर = (1+5+9)/(1+5+9+(2+3)+(4+6)+(7+8))
झूठी सकारात्मक दर के लिए भी ऐसा ही करें और आप AUC की गणना कर सकते हैं।

मैक्रो औसत प्रत्येक वर्ग के लिए अलग-अलग टीपीआर की गणना करता है और उनका औसत (उस वर्ग में उदाहरणों की संख्या से भारित होता है या नहीं):
टीपीआर = (1/3)* (टीपी1/(टीपी1+एफएन1) + टीपी2/(टीपी2+एफएन2) + टीपी2/(टीपी2+एफएन2))

इसी उदाहरण के साथ:
टीपीआर = (1/3)* (1/(1+(2+3)) + 5/(5+(4+6)) + 9/(9+(7+8)))

शायद यह मदद करता है (यह परिशुद्धता का उपयोग करता है, लेकिन विचार वही है):
http://stats.stackexchange.com/questions/156923/ should-i-make-decisions-based-on-micro-averaged-or-macro-averaged-evaluation-mea

मैं व्यक्तिगत रूप से कभी भी एक बिना भार वाले मैक्रो-औसत का उपयोग नहीं करूंगा, लेकिन मैं देखूंगा कि क्या मुझे इसका अध्ययन करने वाले कागजात मिल सकते हैं।

कागज़:
https://www.math.ucdavis.edu/~saito/data/roc/ferri-class-perf-metrics.pdf

आर (अतिरिक्त साहित्य के साथ) में यही समर्थित है:
https://mlr-org.github.io/mlr-tutorial/devel/html/measures/index.html

नमस्ते! मैं पिछले हफ्ते इस मुद्दे को देखना शुरू करने में सक्षम था, और मैं एक त्वरित अपडेट/कुछ प्रश्न पोस्ट करना चाहता था, बस यह सुनिश्चित करने के लिए कि मैं सही रास्ते पर हूं।

• अब तक: मैं एक फ़ंक्शन multiclass_roc_auc_score कार्यान्वयन के साथ शुरुआत कर रहा हूं, जो डिफ़ॉल्ट रूप से, कुछ average पैरामीटर को किसी पर सेट नहीं करेगा। यह डिफ़ॉल्ट हैंड-टिल एल्गोरिथम का उपयोग करेगा (जैसा कि चर्चा की गई है, यह लेबल असंतुलन को ध्यान में नहीं रखता है)।
• क्या यह विधि उन्हीं पैरामीटरों को स्वीकार करेगी जैसे roc_auc_score ?
• और उस से हटकर, अंतर यह होगा कि y_true 2 से अधिक वर्ग के लेबल हो सकते हैं। हैंड-टिल में लेबल के सभी संभावित जोड़े ढूंढना, इनमें से प्रत्येक जोड़े के लिए roc_auc_score गणना करना और फिर इनका मतलब निकालना शामिल होगा।

मुझे बताएं कि आपके पास क्या सुधार/सुझाव हो सकते हैं!

आम तौर पर, यदि roc_auc_score का पुन: उपयोग करना उचित रूप से व्यवहार्य है तो हम एक और फ़ंक्शन बनाने से बचेंगे। मुझे लगता है कि डिफ़ॉल्ट को 'मैक्रो' के रूप में छोड़ना स्वीकार्य है।

एक महत्वपूर्ण बात जिस पर आपको विचार करना चाहिए, वह यह है कि इन परिवर्तनों का परीक्षण कैसे किया जाए, जिसमें roc_auc_score के गुणों को metrics/tests/test_common.py में बदलना शामिल है।

हाँ हमें डॉक्स अपडेट करना चाहिए।

@joaquinvanschoren दिलचस्प बात यह है कि पेपर ने ऊपर वर्णित किसी भी बहु-वर्ग एयूसी पेपर पर चर्चा नहीं की, विशेष रूप से 2005 से फॉसेट पेपर नहीं .... एचएम मुझे लगता है कि यह 1-बनाम -1 बहु-वर्ग का नवीनीकरण है?

इसलिए वर्तमान में हमारे पास केवल बहु-लेबल है, और इसलिए हम 1vs1 और 1vsRest के साथ बहु-वर्ग जोड़ना चाहते हैं और उनमें से प्रत्येक के भारित और बिना भार वाले संस्करण हैं।
मैं वास्तव में समझ नहीं पा रहा हूं कि एयूसी के लिए sample और micro औसत कैसे काम करते हैं :(

इसलिए... मेरा प्रस्ताव है कि हम AUC में एक पैरामीटर multi-class और वह ovo या ovr , और वेटिंग पैरामीटर पर विचार करेंगे। मुझे यकीन नहीं है कि हम sample और micro को अनुमति देना चाहते हैं क्योंकि इससे वास्तव में मुझे कोई मतलब नहीं है।

@arjoly तो micro और sample मैट्रिक्स के कॉलम के बजाय पंक्तियों पर काम करते हैं? क्या इसके बारे में कोई कागजात हैं? मुझे वह आरओसी साहित्य में नहीं मिला।

इसके साथ समस्या यह है कि हाथ तक माप को डिफ़ॉल्ट बनाने के लिए हमें भारित औसत OvO करना होगा और हम वास्तव में भार विकल्प को नहीं बदल सकते हैं। तो हो सकता है कि हम डिफ़ॉल्ट रूप से OVR करते हैं और कथा में समझाते हैं कि भार के साथ OvO भी एक अच्छा विकल्प है और एक संदर्भ जोड़ें?

पेपर का सारांश @joaquinvanschoren उद्धृत यह भी कहता है कि सभी एयूसी संस्करण काफी समान परिणाम देते हैं।

@amueller : आपकी टिप्पणी को दोबारा पढ़ने का मौका मिला, और मैं इस हिस्से के बारे में थोड़ा उलझन में हूं:

इसके साथ समस्या यह है कि हाथ तक माप को डिफ़ॉल्ट बनाने के लिए हमें भारित औसत OvO करना होगा और हम वास्तव में भार विकल्प को नहीं बदल सकते हैं। तो हो सकता है कि हम डिफ़ॉल्ट रूप से OVR करते हैं और कथा में समझाते हैं कि भार के साथ OvO भी एक अच्छा विकल्प है और एक संदर्भ जोड़ें?

मैं आपकी प्रतिक्रिया के अनुसार multiclass=['ovo', 'ovr'] पैरामीटर को शामिल करने के लिए roc_auc_score को संशोधित करने जा रहा था। यदि OvR डिफ़ॉल्ट है ( roc_auc_score(y_true, y_score, multiclass="ovo" ... ) ), लेकिन Hand & Till OvO है, तो मैं कार्यान्वयन के OvR भाग को संबोधित करने के लिए क्या करूँ? (यानी अगर मुझे पता चलता है कि y_true मल्टीक्लास है, तो बस एक त्रुटि उठाएं यदि "ovr" लागू नहीं किया गया है और उपयोगकर्ताओं को "ovo" में पास करने का निर्देश देता है?)

क्षमा करें, मैं आपसे ovo और ovr दोनों को लागू करने की अपेक्षा कर रहा था;) मुझे लगता है कि यह काफी सीधा होना चाहिए।

@amueller : नोट किया गया और इसे भी शामिल किया जाएगा! यह भी पूछना चाहता था: क्या मल्टीक्लास और मल्टीलेबल के बीच अंतर का पता लगाने के बारे में कोई सलाह है? सबसे पहले, मैं सिर्फ y_score के आयामों की जाँच कर रहा था, लेकिन बहुत जल्दी महसूस किया कि यह पर्याप्त नहीं होगा। (अर्थात सिर्फ जाँच कर रहा है कि लेबल केवल 0s और 1s हैं?)

मल्टीलेबल का अर्थ है कि एक साथ कई लेबलों की भविष्यवाणी की जाती है: आपको एक
प्रति उदाहरण भविष्यवाणियों का वेक्टर। मल्टीक्लास का मतलब है कि आपको सिंगल मिलता है
भविष्यवाणी लेकिन उस भविष्यवाणी के दो से अधिक मान हो सकते हैं (यह नहीं है
बाइनरी)।

कभी-कभी, लोग आउटपुट को बायनेरिज़ करके मल्टीक्लास केस को हल करते हैं, इसलिए
आपको प्रति उदाहरण कई बाइनरी मान मिलते हैं (इसलिए मल्टीलेबल) और यह
अक्सर भ्रम पैदा करता है।
शनिवार, 8 अक्टूबर 2016 को 16:33 बजे, कैथी चेन नोटिफिकेशन @github.com ने लिखा:

@amueller https://github.com/amueller : विख्यात और वह होगा
साथ ही शामिल! यह भी पूछना चाहता था: क्या कोई सलाह है कि कैसे करें
मल्टीक्लास और मल्टीलेबल के बीच अंतर का पता लगाएं? सबसे पहले, मैं था
बस y_score के आयामों की जाँच कर रहा है लेकिन बहुत जल्दी इसे महसूस कर लिया है
पर्याप्त नहीं होगा।

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -252427642,
या थ्रेड को म्यूट करें
https://github.com/notifications/unsubscribe-auth/ABpQV7Mv0rHGEfrkYi5Xezz3PItyrLZ6ks5qx6mdgaJpZM4CFzud
.

नमस्ते, मुझे आशा है कि type_of_target multi-label और multi-class आउटपुट के बीच अंतर करने के उद्देश्य को हल कर सकता है। एचटीएच

type_of_target का उपयोग करना एक अच्छा विचार है। हालांकि स्किकिट-लर्न में y आयामीता वास्तव में संकेतक है कि हम मल्टी-लेबल या मल्टी-टारगेट करना चाहते हैं या नहीं। आप scikit सीखने हमेशा बहु लेबल समझेंगे सुझाव @joaquinvanschoren के रूप में उत्पादन binarize हैं।

type_of_target y_trues, @amueller . के बीच अंतर करना ठीक है

9 अक्टूबर 2016 को 05:18 बजे, एंड्रियास म्यूएलर नोटिफिकेशन @github.com
लिखा था:

type_of_target का उपयोग करना एक अच्छा विचार है। हालांकि विज्ञान में-सीखें
y की आयामीता वास्तव में संकेतक है कि क्या हम करना चाहते हैं
बहु-लेबल या बहु-लक्ष्य। यदि आप आउटपुट को के रूप में बाइनरी करते हैं
@joaquinvanschoren https://github.com/joaquinvanschoren ने सुझाव दिया
विज्ञान-सीखना हमेशा बहु-लेबल ग्रहण करेगा।

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -252439908,
या थ्रेड को म्यूट करें
https://github.com/notifications/unsubscribe-auth/AAEz6wa5fnE_LX3LLXbCoc0Z4hBbSAQ0ks5qx95rgaJpZM4CFzud
.

हाय सब, मैं आपको केवल यह बताना चाहता हूं कि मैंने एक "प्रारंभिक" पीआर जमा किया है। मुझे कार्यान्वयन पर कुछ प्रतिक्रिया सुनने में दिलचस्पी है (उदाहरण के लिए मुझे यकीन है कि numpy/etc का बेहतर तरीके से लाभ उठाने के तरीके हैं जो मैं अभी कर रहा हूं), साथ ही नए परीक्षण जोड़ने के लिए सर्वोत्तम अभ्यास, प्रलेखन शब्द, आदि।

अब तक की सभी मदद के लिए धन्यवाद!

एयूसी के लिए मल्टीक्लास समर्थन जोड़ने पर कोई प्रगति?

@joaquinvanschoren: # 7663 में @jnothman द्वारा एक कोड की समीक्षा के बाद संशोधन पर काम कर रहा। जब मैं मध्यावधियां समाप्त कर लूंगा तो संभवत: अगले सप्ताह उस पर एक और अपडेट सबमिट करूंगा

हाय @kathyxchen , @jnothman ,

पीआर पर कोई अपडेट?

बस यह देखने के लिए जांच कर रहा हूं कि एयूसी के लिए मल्टीक्लास समर्थन जोड़ने पर कोई प्रगति हुई है या नहीं?

हमें यह निर्धारित करने में परेशानी होती है कि स्वीकृत और सैद्धांतिक दोनों क्या है
मल्टीक्लास के लिए आरओसी एयूसी तैयार करना। देखो
https://github.com/scikit-learn/scikit-learn/pull/7663#issuecomment-307566895
और नीचे।

तो साथियों। क्या मल्टीक्लास ऑक स्कोर के साथ कोई प्रगति हुई है? मुझे आईरिस डेटासेट के साथ बहुत भ्रमित करने वाला आधिकारिक दस्तावेज़ीकरण कोड मिला। क्योंकि इस पद्धति से पता चलता है कि मेरा मॉडल यादृच्छिक संख्याओं की काफी अच्छी भविष्यवाणी करता है।

यह लगभग हो चुका है, हमें विलय से पहले एक एपीआई विवरण पर निर्णय लेने की आवश्यकता है: https://github.com/scikit-learn/scikit-learn/pull/12789#discussion_r295693965

@trendsearcher क्या आप कृपया एक उदाहरण प्रदान कर सकते हैं? अब इसे मर्ज कर दिया गया है, लेकिन मैं आपके द्वारा अनुभव की गई समस्या को देखना चाहता हूं।

मदद करने में खुशी। मैं एक उदाहरण कैसे दे सकता हूं (इसमें बहुत सारे कोड हैं और हो सकता है नहीं)
सहज ज्ञान युक्त)? शायद मैं इसे सादे पाठ में लिख सकता हूँ?

एट, 18 साल। 2019 00:35 पर, एंड्रियास म्यूएलर नोटिफिकेशन @github.com :

@trendsearcher https://github.com/trendsearcher क्या आप एक प्रदान कर सकते हैं?
उदाहरण कृपया? यह अब मर्ज हो गया है, लेकिन मैं आपको इस मुद्दे को देखना चाहता हूं
अनुभव।

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें
https://github.com/scikit-learn/scikit-learn/issues/3298?email_source=notifications&email_token=AKS7QOFYRQY7RZJBWUVVJSTP76GDFA5CNFSM4AQXHOO2YXY3PNVWWK3TUL52HS4BVREXHOO2YX
या थ्रेड को म्यूट करें
https://github.com/notifications/unsubscribe-auth/AKS7QOFQ5LAIZ2ZBR4M4EATP76GDFANCNFSM4AQXHOOQ
.

नमस्ते, मैंने मैक्रो-औसत आरओसी/एयूसी स्कोर का एक मसौदा लागू किया है, लेकिन मुझे यकीन नहीं है कि यह स्केलेर के लिए उपयुक्त होगा।

यहाँ कोड है:

from sklearn.metrics import roc_auc_score
from sklearn.preprocessing import LabelBinarizer

def multiclass_roc_auc_score(truth, pred, average="macro"):

    lb = LabelBinarizer()
    lb.fit(truth)

    truth = lb.transform(truth)
    pred = lb.transform(pred)

    return roc_auc_score(truth, pred, average=average)

क्या यह इतना आसान हो सकता है?

@fbrundu साझा करने के लिए धन्यवाद! मैंने आपके कोड की कोशिश की। लेकिन जब मैं इस फ़ंक्शन को कॉल करता हूं, तो मुझे यह कहते हुए एक समस्या का सामना करना पड़ता है कि "मल्टीआउटपुट लक्ष्य डेटा लेबल बिनराइजेशन के साथ समर्थित नहीं है"। फिर मैं फ़ंक्शन में "pred=lb.transform(pred)" कोड हटा देता हूं। हालांकि, मैं एक और समस्या से मिलता हूं कि "नमूनों की असंगत संख्या के साथ इनपुट चर मिला: [198, 4284]"।

क्या मैं पूछ सकता हूं कि क्या आप इसे हल करने में मेरी मदद कर सकते हैं? शुक्रिया!

@ जुनटिंग-वांग

 I meet a problem saying "Multioutput target data is not supported with label binarization". 

आपको भविष्यवाणी_प्रोबा के बजाय भविष्यवाणी का उपयोग करना होगा

@fbrundu क्या आपका कार्यान्वयन सही है? मैं इसका इस्तेमाल करता हूं और काम करता हूं।