Evalml: أعد تمكين ضبط عتبة التصنيف الثنائي افتراضيًا

أود أن أتحرك في هذا الأسبوع المقبل. لقد كنت أبحث عن طريقتين مختلفتين للقيام بالتخزين المؤقت واختبرت بعض الأشياء محليًا.

لا ينبغي أن نفعل هذا حتى نحصل على أفضل لاعب في اختبار الأداء

الآن بعد أن أصبح لدينا أفضل لاعب في اختبارات الأداء ، يجب علينا القيام بذلك! جاء هذا كجزء من # 1024.

@ angela97lin شكرا لك! نعم بالتأكيد.

الخطوة التالية هي إنشاء مقارنة أداء قبل مقابل بعد في بعض مشاكل التصنيف الثنائي.

اعتبارات إضافية

• لا ينبغي تغيير فقدان السجل (الهدف الافتراضي لفئة bin) و AUC على الإطلاق من خلال هذا ، لأنهما لا يعرفان العتبة. لكن المقاييس الأخرى مثل F1 يجب أن تتحسن بالتأكيد. سيكون من الجميل إلقاء نظرة على القليل.
• سوف يستغرق وقت المناسب ضربة. السؤال هو ، ما مدى سوء الضربة؟ لا أتوقع زيادة بنسبة 10-20٪.
• يمكننا تجربة مسح حجم تقسيم تحديد العتبة. يمكن أن يؤدي ذلك إلى تحسين دقة التعليق عن طريق منع الإفراط في التجهيز / عدم الملائمة. تؤدي زيادة حجم تقسيم ضبط العتبة إلى تقليل حجم تقسيم التدريب ، مما يؤدي إلى وقت مناسب أسرع

العمل المستقبلي

• ليس لدينا حاليًا أي ضمانات لهذا حول حجم البيانات. هذا ينطبق على مجموعة التدريب بشكل عام ، لذلك يجب علينا تقديم مشكلة منفصلة.

قلت في الكتابة الأصلية في أبريل

سيتعين علينا تخزين إخراج التنبؤ مؤقتًا ، والذي يتم حسابه حاليًا في النتيجة.

أعتقد أن هذا لا ينطبق بعد الآن ، ويمكن تجاهله. تم ترك هذا التعليق من قبل إعادة هيكلة score . بالإضافة إلى أننا نقوم بتحسين العتبة على تقسيم منفصل ، لذلك لا يوجد شيء للتخزين المؤقت. تضمين التغريدة

dsherry @ angela97lin قمت بتجميع الأقسام القليلة الأولى من مستند التحليل هنا . هل يمكنك إخباري برأيك (اقرأ فقط حتى قسم التجارب - كل شيء آخر لا يزال عنصرًا نائبًا)؟

freddyaboulton لقد تركت للتو بعض التعليقات. يجب أن ننظر بالتأكيد إلى فقد السجل ، والذي يجب أن يوضح عدم وجود تغيير على الأقل في الدفعة الأولى. ومع ذلك ، أعتقد أننا يجب أن نحاول أيضًا تحسين F1 أو أي شيء آخر حساس للعتبة ، حتى نتمكن من رؤية تأثير تمكين الضبط.

freddyaboulton آسف ، لقد

freddyaboulton لمعلوماتك منذ أن نشرت

dsherry @ angela97lin انتهيت من تحليلي لملف "datasets_small_0.yaml".

باختصار ، انخفض الأداء فعليًا بعد ضبط العتبة - هل يمكن أن يكون ذلك بسبب عدم استخدامنا الانقسام الطبقي لضبط العتبة؟

freddyaboulton أوه ، نعم ، يمكن أن يكون.

لقد راجعت المستند الخاص بك وتركت التعليقات. أنا أحب الرسوم البيانية والإحصائيات الجديدة. يجب أن نجد طرقًا لإضافتها مرة أخرى إلى looking_glass/analysis/ حتى نتمكن من إعادة استخدامها. على الرغم من عدم الضغط.

بعض الخيارات التي تتبادر إلى الذهن خارج القمة:

• استخدم التقسيم الطبقي لتقسيم الحد الأمثل
• افرض حدًا أدنى لعدد الصفوف لتقسيم الحد الأمثل. إذا كان هذا غير قابل للتحقيق ، يمكن أن يحذر ولا يحدد عتبة ، أو يمكن أن يخطئ
• بالنسبة لمجموعات البيانات الأصغر ، استخدم بيانات التدريب بأكملها كتقسيم عتبة التحسين ، وزيادة المخاطر

أعتقد أننا يجب أن نحاول التحول إلى أخذ العينات الطبقية أولاً ونرى ما يفعله ذلك.

شيء آخر يجب تجربته هو تبديل حجم الانقسام من 80٪ تدريب 20٪ عتبة الأمثل إلى 50٪ تدريب 50٪ عتبة التحسين. أشك في أن هذا سيكون جيدًا ولكن من السهل المحاولة وسيكون من المثير للاهتمام رؤيته.

نظرًا لأن jeremyliweishih يلتقط الرقم 1049 ، freddyaboulton ، فقد ترغب في تسليم هذا إليه. سأترك لكما اثنين من معرفة ذلك :)

freddyaboulton أنت لا تعمل على هذا ، أليس كذلك؟ هل يستطيع jeremyliweishih أن يأخذها؟

jeremyliweishihdsherry يرجى أخذ ذلك! أظهر التحليل الأولي أن تمكين الضبط ببساطة لا يحسن النتائج. قد يساعد استخدام إستراتيجية مختلفة لتقسيم البيانات!

العودة إلى Dev Backlog وسوف نتابع ذلك بعد المزيد من عمل تقسيم البيانات.

@ bchen1116 وناقشت ، ونشعر أن هذا ضروري لـ # 973