Xgboost: क्या xgboost में वर्गीकरण कार्य में बेकार सुविधाओं से छुटकारा पाना आवश्यक है?

को निर्मित 14 मार्च 2017 · 3टिप्पणियाँ · स्रोत: dmlc/xgboost

मेरे पास 650+ विशेषताएं हैं और मैं शोध सुविधाओं के महत्व को रैंक करने के लिए xgboost का उपयोग करता हूं। फ़ंक्शन get_score() है जो पेड़ बनाते समय सुविधाओं की घटना देता है।

जब मैं परिणाम की जांच करता हूं, तो लगभग 150 विशेषताएं हैं जिनका स्कोर 20 से कम है। उनमें से कुछ शून्य हैं। मैं इन सुविधाओं से छुटकारा पाता हूं और देखता हूं कि मॉडल का बेहतर प्रदर्शन होगा या नहीं। लेकिन परिणाम लगभग पिछले वाले के समान ही है। तो क्या इन सुविधाओं से छुटकारा पाना जरूरी है जो महत्व नहीं रखते हैं?

प्रयोग के परिणाम में, सुविधाओं के महत्व का नया क्रम पिछले क्रम की तरह नहीं है। कुछ बहुत महत्वपूर्ण नहीं थे महत्वपूर्ण बन गए। मेरा मतलब है कि सुविधा महत्व क्रम स्थिर नहीं है। यह स्थिर क्यों नहीं है?

स्रोत

yananchen1989

सबसे उपयोगी टिप्पणी

अधिकांश मशीन लर्निंग एल्गोरिदम में अति-फिटिंग से बचने के लिए फीचर चयन करना महत्वपूर्ण है।

बूस्टिंग में, और विशेष रूप से xgboost में, प्रशिक्षण किया जाता है ताकि आप जितना संभव हो उतना सामान्यीकरण कर सकें (कमजोर शिक्षार्थी, टेलर सन्निकटन, स्टोकेस्टिक लर्निंग,...) फिट अगर आप वास्तव में इसे चाहते हैं :) -> उच्च संख्या में पुनरावृत्तियों, उच्च सीखने की दर, कोई स्टोकेस्टिक शिक्षा नहीं ...) आपके प्रश्नों का उत्तर देने के लिए, अप्रासंगिक सुविधाओं से छुटकारा पाने का एक बिंदु पर महत्व हो सकता है। मान लें कि आपके पास आउटलेयर हैं, आप सीखने की प्रक्रिया के दौरान आउटलेर्स को वर्गीकृत करने के लिए उन अप्रासंगिक सुविधाओं का उपयोग करना शुरू कर सकते हैं और यह अच्छा नहीं है।

आपके दूसरे प्रश्न के लिए, अच्छे परिणाम प्राप्त करने के लिए कमजोर शिक्षार्थियों के संयोजन का केवल एक ही तरीका नहीं है। हालांकि, अलग-अलग संयोजन (और अलग-अलग फीचर महत्व) प्राप्त करने के लिए आपको अपनी प्रशिक्षण प्रक्रिया के दौरान कुछ यादृच्छिकता का उपयोग करना होगा जैसे कि सबसैंपल, मैक्स_फीचर्स... एक और संभावना यह है कि आपके पास बेमानी विशेषताएं हैं। आपको उनके बीच संबंध की जांच करनी चाहिए।

संक्षेप में, यदि आप जानते हैं कि कोई सुविधा बेकार है : उसे हटा दें। यदि आप नहीं जानते हैं तो उन्हें अप्रासंगिक सुविधाओं को हटाना हमेशा अच्छा होता है क्योंकि यह आपके मॉडल के प्रशिक्षण को धीमा कर देगा।

jfrery 14 मार्च 2017

👍4

सभी 3 टिप्पणियाँ

jfrery 14 मार्च 2017

👍4

धन्यवाद। मैंने लगभग 150 विशेषताएं हटा दीं जो महत्वपूर्ण नहीं हैं। लेकिन नए प्रयोग से auc नहीं बदला है। इसलिए मुझे उन्हें हटाने से कोई फायदा नहीं हुआ है।

yananchen1989 16 मार्च 2017

लाभ, यदि प्रदर्शन माप में सुधार नहीं होता है, तो प्रशिक्षण का समय होगा। निर्णय वृक्ष सबसे अच्छा विभाजन खोजने के लिए एक लालची दृष्टिकोण का उपयोग करते हैं, इस प्रकार अधिक सुविधाएँ = कोशिश करने के लिए अधिक विभाजन।

jfrery 16 मार्च 2017

👍3

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Xgboost: क्या xgboost में वर्गीकरण कार्य में बेकार सुविधाओं से छुटकारा पाना आवश्यक है?

सबसे उपयोगी टिप्पणी

सभी 3 टिप्पणियाँ

संबंधित मुद्दों