Xgboost: هل من الضروري التخلص من الميزات غير المجدية في مهمة التصنيف في xgboost؟

في معظم خوارزميات التعلم الآلي ، من المهم إجراء اختيارات للميزات لتجنب الإفراط في التركيب.

في التعزيز ، وخاصة في xgboost ، يتم إجراء التدريب بحيث يمكنك التعميم قدر الإمكان (المتعلم الضعيف ، تقريب تايلور ، التعلم العشوائي ، ...) مما يجعله قويًا للإفراط في الملاءمة (ومع ذلك ، يمكنك الإفراط في- مناسب إذا كنت تريد ذلك حقًا :) -> عدد كبير من التكرارات ، ومعدل تعليمي مرتفع ، ولا تعلم عشوائي ...). للإجابة على أسئلتك ، قد يكون للتخلص من الميزات غير ذات الصلة أهمية في وقت ما. لنفترض أن لديك قيمًا متطرفة ، فقد تبدأ في استخدام تلك الميزات غير ذات الصلة لتصنيف القيم المتطرفة أثناء عملية التعلم وهذا ليس جيدًا.

بالنسبة لسؤالك الثاني ، لا توجد طريقة واحدة فقط للجمع بين المتعلمين الضعفاء لتحقيق نتائج جيدة. ومع ذلك ، للحصول على مجموعات مختلفة (وميزات مختلفة من حيث الأهمية) ، يجب أن تستخدم بعض العشوائية أثناء عملية التدريب مثل العينة الفرعية ، وميزات الحد الأقصى ... والاحتمال الآخر هو أن لديك ميزات زائدة عن الحاجة. يجب عليك التحقق من العلاقة بينهما.

باختصار ، إذا كنت تعرف أن الميزة غير مجدية: قم بإزالتها. إذا كنت لا تعرف ، فأخبرهم أنه من الجيد دائمًا إزالة الميزات غير ذات الصلة حيث سيؤدي ذلك إلى إبطاء تدريب النموذج الخاص بك.

شكرا. لقد أزلت ما يقرب من 150 ميزة غير مهمة. لكن auc من التجربة الجديدة لم يتغير. لذلك لم أجد أي فائدة من إزالتها.

الفائدة ، إذا لم يكن تحسين مقياس الأداء ، ستكون وقت التدريب. تستخدم أشجار القرار نهجًا جشعًا للعثور على أفضل تقسيم ، وبالتالي المزيد من الميزات = المزيد من الانقسامات التي يجب تجربتها.