Scikit-learn: دعم عشرات roc_auc متعدد الفئات

لست متأكدا ماذا يعني ذلك. هل لديك مرجع لذلك؟

في 19 يونيو 2014 09:51 ، كتب Madison May [email protected] :

طلب ميزة الأولوية المنخفضة: دعم نقاط roc_auc متعددة الفئات
الحساب في sklearn.metrics باستخدام واحد مقابل كل المنهجية
سيكون مفيدًا بشكل لا يصدق.

-
قم بالرد على هذا البريد الإلكتروني مباشرة أو قم بعرضه على GitHub
https://github.com/scikit-learn/scikit-learn/issues/3298.

إليك شرحًا لائقًا جدًا ، جنبًا إلى جنب مع المراجع: https://www.cs.bris.ac.uk/~flach/ICML04tutorial/ROCtutorialPartIII.pdf

حسنًا ، ما هو المسجل الموصى به بينما لا يتم تنفيذ auc متعدد الفئات؟

دعم حساب درجات roc_auc متعدد الطبقات في sklearn.metrics باستخدام واحد مقابل كل المنهجية سيكون مفيدًا بشكل لا يصدق

هل تتحدث عن ما تعتبره هذه الشرائح تقريبًا للحجم تحت السطح يتم فيه أخذ متوسط ​​ترجيح التردد لـ AUC لكل فئة؟ قد يبدو هذا مماثلاً لاستخدام roc_auc_score مع تمثيل ثنائي و average='weighted' . ( arjoly ، لماذا لا تسمح هذه الدرجات المستندة إلى المنحنى باستخدام الطبقات المتعددة؟)

بخلاف ذلك ، تركز هذه الشرائح ، ومعظم المراجع التي يمكنني العثور عليها إلى "متعدد الطبقات ROC" ، على المعايرة متعددة الفئات لـ OvR ، وليس على مقياس تقييم. هل هذا ما أنت مهتم به؟ ليس لدي أي فكرة عن مدى انتشار هذه التقنية ، وما إذا كان الأمر يستحق توفرها في scikit-Learn ، وما إذا كان يجب تحسين التحسين الجشع.

( arjoly ، لماذا لا تسمح هذه الدرجات المستندة إلى المنحنى باستخدام الطبقات المتعددة؟)

عندما يكون أحد الصفوف مفقودًا من y_true ، لا يمكن حساب النتيجة. لم أرغب في إضافة السحر لاستدلال الفصل وجعل المستخدمين في مشاكل.

من المحتمل أننا لا نتعامل بشكل مناسب في حالة y_pred
وجود تسمية لا y_true لا. ربما لا ينبغي أن هذه التسمية
المشاركة في أي شيء مثل متوسط ​​الماكرو (وفقًا لـ Weka ،
أيضًا) ، أو درجة ROC.

في 1 أغسطس 2014 ، الساعة 17:08 ، كتب Arnaud Joly [email protected] :

( arjoly https://github.com/arjoly ، لماذا تفعل هذه الدرجات المستندة إلى المنحنى
عدم السماح بتعدد الطبقات؟)

عند فقدان فئة واحدة من y_true ، لا يمكن الحساب
النتيجة. لم أرغب في إضافة السحر لاستدلال الفصل وحصلت عليه
المستخدم في المشاكل.

-
قم بالرد على هذا البريد الإلكتروني مباشرة أو قم بعرضه على GitHub
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -50855460
.

jnothmanarjoly كان هناك الكثير من التقدم على الجبهة المتوسطة . ما مدى صعوبة تنفيذ هذا الآن؟

قد تكون مشابهة لوظيفة R من حزمة pROC
http://www.inside-r.org/packages/cran/pROC/docs/multiclass.roc

مرحبًا ، لقد قمت بتنفيذ مسودة درجة ROC / AUC ذات المتوسط ​​الكلي ، لكني لست متأكدًا مما إذا كانت مناسبة لـ sklearn.

ها هو الكود:

from sklearn.metrics import roc_auc_score
from sklearn.preprocessing import LabelBinarizer

def multiclass_roc_auc_score(truth, pred, average="macro"):

    lb = LabelBinarizer()
    lb.fit(truth)

    truth = lb.transform(truth)
    pred = lb.transform(pred)

    return roc_auc_score(truth, pred, average=average)

هل يمكن أن يكون بهذه البساطة؟

fbrundu إذا كان هذا هو المعنى القياسي. إنه بالتأكيد أحد التفسيرات الممكنة.

يوجد ملخص لطيف هنا:
http://people.inf.elte.hu/kiss/13dwhdm/roc.pdf

حزمة pROC تنفذ Hand and Till:
http://download.springer.com/static/pdf/398/art٪253A10.1023٪252FA٪253A1010920819831.pdf؟originUrl=http٪3A٪2F٪2Flink.springer.com٪2Farticle٪2F10.1023٪2FA٪ 3A1010920819831 & token2 = exp = 1469743016 ~ acl =٪ 2Fstatic٪ 2Fpdf٪ 2F398٪ 2Fart٪ 25253A10.1023٪ 25252FA٪ 25253A1010920819831.pdf٪ 3ForiginUrl٪ 3Dhttp٪ 253A٪ 252Ficle20A٪ 252F * ~ hmac = bc68686d3782ac6af3c3cda13c1b36aad6de5d01d16a25870cace5fe9699fb8a

يبدو أن نسخة Hand and Till مقبولة بشكل عام وأنا أصوت نحن ننفذ ذلك.
هناك أيضًا نسخة من Provost و Domingos والتي ربما يجب أن أقوم بتجذيرها نظرًا لأن رئيس الجامعة هو مديري حاليًا ، لكن هذا لم يتم التعرف عليه.
Provost-Domingos هو ما قاله fbrundu فقط بـ average='weighted' .

TLDR: العلاقات العامة لليدين وحتى الترحيب. اختياريا Provost و Domingos مع خيار لتغيير المتوسط.

مرحباً ، هل تم إحراز أي تقدم في تنفيذ ذلك؟
ما رأيته في معظم المكتبات الأخرى (مثل WEKA) هو أنها تستخدم المتوسط ​​المرجح. أعتقد أن هذا هو ما اقترحه fbrundu باستخدام متوسط ​​= 'micro'؟

يستخدم joaquinvanschoren R اليد وحتى. أنا أفضل ذلك أيضًا. لدي طالب سيعمل على هذا قريبًا.

amueller يمكنني العمل على هذا :)

@ kchen17 شكرا!

ناقشنا هذا في OpenML قليلاً. بالنسبة إلى الجامعة الأمريكية بالقاهرة متعددة الطبقات ، لا توجد ضمانات بأن أحد الأساليب (المتوسط ​​الكلي ، المتوسط ​​الجزئي ، المتوسط ​​الموزون ، ...) هو أفضل من الآخر. في R ، يمكنك العثور على 5 طرق مختلفة على الأقل (جميعها متوفرة أيضًا في MLR الآن).
عند تنفيذ ذلك في scikit-Learn ، سيكون من الرائع أن تكون هناك على الأقل إمكانية اختيار الخيار الأكثر منطقية لتطبيقك ، حتى إذا كنت تستخدم Hand-Till كإعداد افتراضي. Hand-Till هو نهج غير مرجح بالمناسبة ، فهو لا يأخذ عدم توازن الملصق في الاعتبار.

يسعدني أن يكون لدي إصدارات متعددة. غير مرجح و "عدم مراعاة عدم التوازن في التسمية" شيئان مختلفان ؛) هل لديك قائمة ومراجع؟

ما هو المتوسط ​​الجزئي في هذه الحالة؟

لاحظ أننا بالفعل ROC AUC متوسطي الجزئي والكلي لمشاكل الطبقات المتعددة التي تم تنفيذها في هذا المثال:

http://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html#multiclass -settings

في الواقع ، أعتقد أن التوثيق غير صحيح ويجب ذكره
متعدد التسمية ...

في 26 سبتمبر 2016 في 23:16، أوليفييه Grisel [email protected]
كتب:

لا يعني ذلك أننا بالفعل متوسطنا الجزئي والكلي ROC AUC للطبقة المتعددة
المشكلات التي تم تنفيذها في هذا المثال:

http://scikit-learn.org/stable/auto_examples/model_
select / plot_roc.html # multiclass-settings

-
أنت تتلقى هذا لأنه تم ذكرك.
قم بالرد على هذا البريد الإلكتروني مباشرة ، وقم بعرضه على GitHub
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -249566346 ،
أو كتم الخيط
https://github.com/notifications/unsubscribe-auth/AAEz65IeU7k2CFwyHxTTAjk-5orIxWe6ks5qt8WsgaJpZM4CFzud
.

في المتوسط ​​الجزئي ، يتم حساب معدلك الإيجابي الحقيقي (TPR) بأخذ مجموع كل TPs لجميع الفئات ، والقسمة على مجموع كل TPs و FNs لجميع الفئات ، أي لمسألة من فئة 3:
TPR = (TP1 + TP2 + TP3) / (TP1 + TP2 + TP3 + FN1 + FN2 + FN3)

مثال مصفوفة الارتباك:
[[1،2،3] ،
[4،5،6] ،
[7،8،9]]
TPR = (1 + 5 + 9) / (1 + 5 + 9 + (2 + 3) + (4 + 6) + (7 + 8))
افعل الشيء نفسه بالنسبة للمعدل الإيجابي الخاطئ ويمكنك حساب AUC.

يحسب متوسط ​​الماكرو فقط TPR لكل فئة على حدة ويضع متوسطاتها (مرجحًا بعدد الأمثلة في تلك الفئة أم لا):
TPR = (1/3) * (TP1 / (TP1 + FN1) + TP2 / (TP2 + FN2) + TP2 / (TP2 + FN2))

مع نفس المثال:
TPR = (1/3) * (1 / (1+ (2 + 3)) + 5 / (5+ (4 + 6)) + 9 / (9+ (7 + 8)))

ربما يساعد هذا (هذا يستخدم الدقة ، لكن الفكرة واحدة):
http://stats.stackexchange.com/questions/156923/should-i-make-decisions-based-on-micro-averaged-or-macro-averaged-evaluation-mea

أنا شخصياً لن أستخدم أبداً متوسط ​​ماكرو غير مرجح ، لكنني سأرى ما إذا كان بإمكاني العثور على الأوراق التي درست هذا.

ورق:
https://www.math.ucdavis.edu/~saito/data/roc/ferri-class-perf-metrics.pdf

هذا هو المدعوم في R (مع أدبيات إضافية):
https://mlr-org.github.io/mlr-tutorial/devel/html/measures/index.html

أهلا! لقد تمكنت من بدء النظر في هذه المشكلة الأسبوع الماضي ، وأردت نشر تحديث سريع / بعض الأسئلة ، فقط للتأكد من أنني على المسار الصحيح.

• حتى الآن: أبدأ بتنفيذ دالة multiclass_roc_auc_score والتي ، بشكل افتراضي ، سيتم تعيين بعض المعلمات average على بلا. سيستخدم هذا الإعداد الافتراضي خوارزمية Hand-Till (كما تمت مناقشته ، هذا لا يأخذ في الاعتبار عدم توازن التسمية).
• هل تقبل الطريقة نفس المعلمات مثل تلك الموجودة في roc_auc_score ؟
• وعند الخروج من ذلك ، سيكون الاختلاف هو أن y_true يمكن أن يحتوي على أكثر من صنفين من الملصقات. قد تتضمن عملية Hand-Till العثور على جميع الأزواج الممكنة من الملصقات ، وحساب roc_auc_score لكل من هذه الأزواج ، ثم أخذ متوسطها.

اسمحوا لي أن أعرف ما هي التصحيحات / الاقتراحات التي قد تكون لديكم!

عادة ، نتجنب إنشاء دالة أخرى إذا كانت إعادة استخدام roc_auc_score ممكنة بشكل معقول. أعتقد أن ترك القيمة الافتراضية كـ "ماكرو" أمر مقبول.

أحد الأشياء الرئيسية التي يجب أن تفكر فيها هو كيفية اختبار هذه التغييرات ، بما في ذلك تغيير سمات roc_auc_score في المقاييس / الاختبارات / test_common.py

نعم يجب علينا تحديث المستندات.

joaquinvanschoren من المثير للاهتمام أن الورقة لم تناقش أيًا من أوراق الجامعة الأمريكية بالقاهرة متعددة

في الوقت الحالي ، لدينا تصنيفات متعددة فقط ، ولذا نريد إضافة فئات متعددة مع 1vs1 و 1vsRest ولكل منهما متغيرات مرجحة وغير مرجحة.
لا أفهم حقًا كيف يعمل متوسط sample و micro للجامعة :(

لذا ... أقترح أن نضيف معلمة multi-class إلى AUC ويمكن أن تكون ovo أو ovr ، وسنأخذ في الاعتبار معامل الترجيح. لست متأكدًا من أننا نرغب في السماح sample و micro لأن هذا لا معنى له حقًا بالنسبة لي.

arjoly إذاً micro و sample تعمل على الصفوف بدلاً من أعمدة المصفوفة؟ هل هناك أوراق عن ذلك؟ لم أجد ذلك في أدبيات جمهورية الصين.

تكمن المشكلة في ذلك في أنه من أجل جعل مقياس الترجيح افتراضيًا ، يتعين علينا القيام بالمتوسط ​​المرجح للقيمة OvO ولا يمكننا تغيير خيار الترجيح حقًا. لذلك ربما نقوم بعمل الإجمالي بشكل افتراضي ونوضح في السرد أن OvO مع الترجيح هو أيضًا خيار جيد ونضيف مرجعًا؟

يوضح ملخص البحث

amueller :

تكمن المشكلة في ذلك في أنه من أجل جعل مقياس الترجيح افتراضيًا ، يتعين علينا القيام بالمتوسط ​​المرجح للقيمة OvO ولا يمكننا تغيير خيار الترجيح حقًا. لذلك ربما نقوم بعمل الإجمالي بشكل افتراضي ونوضح في السرد أن OvO مع الترجيح هو أيضًا خيار جيد ونضيف مرجعًا؟

كنت سأقوم بتعديل roc_auc_score لتضمين معلمة multiclass=['ovo', 'ovr'] وفقًا لإجابتك. إذا كانت OvR هي الإعداد الافتراضي ( roc_auc_score(y_true, y_score, multiclass="ovo" ... ) ) ، لكن Hand & Till هي OvO ، فماذا أفعل في معالجة جزء OvR من التنفيذ؟ (على سبيل المثال ، إذا اكتشفت أن y_true متعدد الطبقات ، فما عليك سوى إرسال خطأ إذا لم يتم تنفيذ "ovr" وإرشاد المستخدمين إلى تمرير "ovo"؟)

عذرًا ، كنت أتوقع منك تنفيذ كل من ovo و ovr ؛) أعتقد أن ذلك يجب أن يكون مباشرًا إلى حد ما.

amueller : تم الإشارة إليه وسيتم دمجه أيضًا! وأردت أيضًا أن تسأل: هل هناك أي نصيحة حول كيفية اكتشاف الفرق بين الملصقات المتعددة والمتعددة؟ في البداية ، كنت أتحقق فقط من أبعاد y_score ولكن سرعان ما أدركت أن هذا لن يكون كافيًا. (على سبيل المثال ، مجرد التحقق من أن التسميات هي 0 و 1 فقط؟)

تعني التسمية المتعددة أنه يتم توقع عدة تسميات في وقت واحد: تحصل على ملف
ناقلات التنبؤات لكل حالة. تعني متعدد الطبقات أنك تحصل على واحدة
التنبؤ ولكن هذا التوقع يمكن أن يحتوي على أكثر من قيمتين (ليس كذلك
الثنائية).

في بعض الأحيان ، يقوم الأشخاص بحل الحالة متعددة الفئات عن طريق ثنائيات الناتج ، وبالتالي
تحصل على قيم ثنائية متعددة لكل مثيل (ومن ثم تسميات متعددة) وهذا
غالبًا ما يسبب الارتباك.
في يوم السبت ، 8 أكتوبر 2016 الساعة 16:33 ، كتبت Kathy Chen [email protected] :

amueller https://github.com/amueller : لاحظ ذلك وسيكون كذلك
مدمجة كذلك! أردت أيضًا أن أسأل: هل هناك أي نصيحة حول كيفية القيام بذلك
اكتشاف الفرق بين متعدد التصنيف ومتعدد الملصقات؟ في البداية كنت
مجرد التحقق من أبعاد y_score ولكن سرعان ما أدركت ذلك
لن يكون كافيا.

-
أنت تتلقى هذا لأنه تم ذكرك.
قم بالرد على هذا البريد الإلكتروني مباشرة ، وقم بعرضه على GitHub
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -252427642 ،
أو كتم الخيط
https://github.com/notifications/unsubscribe-auth/ABpQV7Mv0rHGEfrkYi5Xezz3PItyrLZ6ks5qx6mdgaJpZM4CFzud
.

مرحبًا ، آمل أن تتمكن type_of_target من حل الغرض من التمييز بين multi-label و multi-class . HTH

استخدام type_of_target فكرة جيدة. على الرغم من أن أبعاد y في scikit-learn هي في الواقع مؤشر على ما إذا كنا نريد القيام بتسميات متعددة أو أهداف متعددة. إذا قمت بترميز الإخراج joaquinvanschoren أن scikit-Learn سيفترض دائمًا تسمية متعددة.

type_of_target جيد للتمييز بين y_trues و @ amueller

في 9 أكتوبر 2016 الساعة 05:18 ، Andreas Mueller [email protected]
كتب:

استخدام type_of_target فكرة جيدة. على الرغم من وجود ملف
أبعاد y هي في الواقع مؤشر على ما إذا كنا نريد القيام بذلك
متعدد التسمية أو متعدد الأهداف. إذا قمت بترقيم الإخراج كـ
اقترح joaquinvanschoren https://github.com/joaquinvanschoren
ستفترض scikit-Learn دائمًا أن تكون التسمية المتعددة.

-
أنت تتلقى هذا لأنه تم ذكرك.
قم بالرد على هذا البريد الإلكتروني مباشرة ، وقم بعرضه على GitHub
https://github.com/scikit-learn/scikit-learn/issues/3298#issuecomment -252439908 ،
أو كتم الخيط
https://github.com/notifications/unsubscribe-auth/AAEz6wa5fnE_LX3LLXbCoc0Z4hBbSAQ0ks5qx95rgaJpZM4CFzud
.

مرحباً بالجميع ، أردت فقط أن أخبركم بأنني قدمت عرضًا عامًا "أوليًا". أنا مهتم بسماع بعض التعليقات حول التنفيذ (على سبيل المثال ، أنا متأكد من أن هناك طرقًا للاستفادة من numpy / إلخ بطريقة أفضل مما أفعله الآن) ، إلى جانب أفضل الممارسات لإضافة اختبارات جديدة ، وصياغة الوثائق ، وما إلى ذلك.

شكرا لك على كل المساعدة حتى الآن!

أي تقدم في إضافة دعم متعدد الطبقات للجامعة الأمريكية بالقاهرة؟

joaquinvanschoren : العمل على التنقيحات بعد مراجعة الكود بواسطة jnothman في # 7663. من المحتمل أن أرسل تحديثًا آخر لذلك الأسبوع المقبل عندما انتهيت من منتصف المدة

مرحبًا kathyxchen ، jnothman ،

أي تحديثات على العلاقات العامة؟

ما عليك سوى تسجيل الوصول لمعرفة ما إذا كان هناك أي تقدم في إضافة دعم متعدد الطبقات للجامعة الأمريكية بالقاهرة؟

لدينا مشكلة في تحديد ما هو مقبول ومبدئي
صياغة ROC AUC متعدد الطبقات. ارى
https://github.com/scikit-learn/scikit-learn/pull/7663#issuecomment -307566895
و تحت.

حتى الزملاء. هل هناك أي تقدم في درجة الجامعة الأمريكية بالقاهرة متعددة الطبقات؟ لقد وجدت رمز التوثيق الرسمي مربكًا للغاية مع مجموعة بيانات قزحية العين. لأن هذه الطريقة تُظهر أن نموذجي يتنبأ بالأرقام العشوائية بشكل جيد إلى حد ما.

لقد أوشك هذا على الانتهاء ، نحتاج إلى تحديد تفاصيل واجهة برمجة التطبيقات قبل الدمج: https://github.com/scikit-learn/scikit-learn/pull/12789#discussion_r295693965

trendsearcher هل يمكنك إعطاء مثال من فضلك؟ لقد تم دمجها الآن ولكني أرغب في رؤية المشكلة التي واجهتها.

سعيد للمساعدة. كيف يمكنني إعطاء مثال (يحتوي على الكثير من التعليمات البرمجية وقد لا يكون كذلك
حدسي)؟ ربما يمكنني كتابتها بنص عادي؟

чт، 18 июл. 2019 г. в 00:35، Andreas Mueller [email protected] :

trendsearcher https://github.com/trendsearcher هل يمكنك تقديم ملف
مثال من فضلك؟ لقد تم دمجها الآن ولكن أود أن أرى المشكلة لك
يختبر.

-
أنت تتلقى هذا لأنه تم ذكرك.
قم بالرد على هذا البريد الإلكتروني مباشرة ، وقم بعرضه على GitHub
https://github.com/scikit-learn/scikit-learn/issues/3298؟email_source=notifications&email_token=AKS7QOFYRQY7RZJBWUVVJSTP76GDFA5CNFSM4AQXHOO2YY3PNVWWK3TUL52G2HS4DFVREX43
أو كتم الخيط
https://github.com/notifications/unsubscribe-auth/AKS7QOFQ5LAIZ2ZBR4M4EATP76GDFANCNFSM4AQXHOOQ
.

مرحبًا ، لقد قمت بتنفيذ مسودة درجة ROC / AUC ذات المتوسط ​​الكلي ، لكني لست متأكدًا مما إذا كانت مناسبة لـ sklearn.

ها هو الكود:

from sklearn.metrics import roc_auc_score
from sklearn.preprocessing import LabelBinarizer

def multiclass_roc_auc_score(truth, pred, average="macro"):

    lb = LabelBinarizer()
    lb.fit(truth)

    truth = lb.transform(truth)
    pred = lb.transform(pred)

    return roc_auc_score(truth, pred, average=average)

هل يمكن أن يكون بهذه البساطة؟

fbrundu شكرا لك على المشاركة! لقد جربت الكود الخاص بك. ولكن عند استدعاء هذه الوظيفة ، أواجه مشكلة تقول "بيانات الهدف Multioutput غير مدعومة بترميز التسمية". ثم أقوم بإزالة الكود "pred = lb.transform (pred)" في الوظيفة. ومع ذلك ، أواجه مشكلة أخرى وهي "العثور على متغيرات المدخلات بأعداد غير متسقة من العينات: [198 ، 4284]".

هل لي أن أسأل إذا كنت تستطيع مساعدتي في حل هذا؟ شكرا لك!

@ Junting- وانغ

 I meet a problem saying "Multioutput target data is not supported with label binarization". 

يجب عليك استخدام التنبؤ بدلاً من Forecast_proba

fbrundu هل