Scikit-learn: सुझाव: दंडरहित लॉजिस्टिक प्रतिगमन के लिए समर्थन जोड़ें

आपको बड़ी संख्या में लॉजिस्टिक रिग्रेशन में सी सेट करके इसे नकली बनाना होगा

उस दृष्टिकोण में क्या समस्या है?

मैंने मान लिया कि यह अकुशल लॉजिस्टिक रिग्रेशन के प्रत्यक्ष कार्यान्वयन की तुलना में अक्षम और धीमा है। क्या मै गलत हु?

मैंने देखा है कि C बहुत अधिक सेट करना, जैसा कि निम्नलिखित में है, LogisticRegression.fit को हैंग कर देगा। लेकिन मुझे नहीं पता कि यह एक बग है या एल्गोरिथम की एक अंतर्निहित संपत्ति है और 64-बिट कंप्यूटर पर इसका कार्यान्वयन है।

import numpy as np
from sklearn.linear_model import LogisticRegression

x = np.matrix([0, 0, 0, 0,  1, 1, 1, 1]).T
y =           [1, 0, 0, 0,  1, 1, 1, 0]

m = LogisticRegression(C = 1e200)
m.fit(x, y)
print m.intercept_, m.coef_

मैंने देखा है कि सी को बहुत अधिक सेट करना, जैसा कि निम्न में है, LogisticRegression.fit को लटका देगा

हां, इसकी उम्मीद की जानी चाहिए क्योंकि सी के बड़े होने पर समस्या खराब हो जाती है। इटरेटिव सॉल्वर खराब समस्याओं के साथ धीमे होते हैं।

आपके उदाहरण में, वांछित सहनशीलता तक पहुंचने के लिए एल्गोरिदम हमेशा के लिए लेता है। आपको या तो tol बढ़ाने की जरूरत है या हार्डकोड max_iter ।

@mblondel क्या "पुनरावृत्त सॉल्वर" का कोई विकल्प है?
आपको बिल्कुल अनियमित विकल्प नहीं मिलेगा, है ना?

@Kodiologist आप ऐसा क्यों चाहते हैं?

आप पूछ रहे हैं कि मैं नियमितीकरण के बिना लॉजिस्टिक रिग्रेशन क्यों करना चाहूंगा? क्योंकि (१) कभी-कभी नमूना उन सुविधाओं की संख्या के अनुपात में काफी बड़ा होता है जो नियमितीकरण से कुछ भी नहीं खरीदता है और (२) कभी-कभी सर्वोत्तम-फिटिंग गुणांक ब्याज के होते हैं, जैसा कि भविष्य कहनेवाला सटीकता को अधिकतम करने के विपरीत होता है।

हाँ, वह मेरा प्रश्न था।

(१) सत्य नहीं है। यह आपको हमेशा एक तेज सॉल्वर खरीदेगा।

(२) सांख्यिकीय विश्लेषण के क्षेत्र में अधिक है, जो वास्तव में विज्ञान-सीखने का फोकस नहीं है। मुझे लगता है कि हम इसे जोड़ सकते हैं लेकिन मुझे नहीं पता कि हम किस सॉल्वर का उपयोग करेंगे। एक गैर-सांख्यिकीविद् के रूप में, मुझे आश्चर्य है कि कोई भी गुणांक कितना अच्छा है जो थोड़ा नियमितीकरण के साथ बदलता है।

मैं (1) के बारे में ज्यादा कुछ नहीं कह सकता क्योंकि संगणना मेरी विशेषता नहीं है। (2) के लिए, मैं आंकड़ों की पृष्ठभूमि वाला डेटा विश्लेषक हूं। मुझे पता है कि स्किकिट-लर्न पारंपरिक मशीन लर्निंग पर केंद्रित है, लेकिन यह मेरी राय में अभी डेटा विश्लेषण के लिए सबसे अच्छा पायथन पैकेज है, और मुझे लगता है कि यह खुद को _too_ बहुत सीमित नहीं करने से लाभान्वित होगा। (मुझे यह भी लगता है, लैरी वासरमैन और एंड्रयू गेलमैन के बाद, कि आंकड़े और मशीन सीखने से परस्पर अधिक लाभ होगा, लेकिन मुझे लगता है कि यह कीड़े का अपना स्वयं का कैन है।) नियमितीकरण के साथ सभी गुणांक बदल जाएंगे; नियमितीकरण यही करता है।

मैं नियमितीकरण के बिना सॉल्वर जोड़ने का विरोध नहीं कर रहा हूं। हम जांच सकते हैं कि क्या अच्छा होगा, या बस जमानत लें और एल-बीएफजीएस का उपयोग करें और पहले से जांच लें कि क्या यह खराब स्थिति में है?

हाँ, सभी गुणांक नियमितीकरण के साथ बदलते हैं। मैं ईमानदारी से उत्सुक हूं कि आप बाद में उनके साथ क्या करना चाहते हैं।

अरे,
इस विषय पर क्या स्थिति है? मुझे वास्तव में एक दंडरहित लॉजिस्टिक रिग्रेशन में दिलचस्पी होगी। इस तरह पी-वैल्यू का मतलब सांख्यिकीय रूप से बोलने वाला कुछ होगा। अन्यथा मुझे ऐसे उपयोग के मामलों के लिए R का उपयोग जारी रखना होगा ...
धन्यवाद,
एलेक्स

या राज्य मॉडल?

आप किस सॉल्वर को लागू करने का सुझाव देते हैं? हमारे पास पहले से मौजूद सॉल्वरों से यह कैसे अलग होगा C -> infty ?

आप किस सॉल्वर को लागू करने का सुझाव देते हैं? हमारे पास पहले से मौजूद सॉल्वरों से यह कैसे अलग होगा C -> infty ?

आप विचारों के लिए R या statsmodels देखने का प्रयास कर सकते हैं। मैं उनके तरीकों से परिचित नहीं हूं, लेकिन वे काफी तेज हैं और नियमितीकरण का बिल्कुल भी उपयोग नहीं करते हैं।

हाँ statsmodels भी काम करता है यदि आप मैट्रिक्स उलटा के लिए क्यूआर एल्गोरिदम का उपयोग करते हैं। मेरा उपयोग मामला मॉडल व्याख्या के आसपास है। प्रदर्शन के लिए, मैं निश्चित रूप से नियमितीकरण का उपयोग करूंगा।

मुझे नहीं लगता कि हमें कोई नया सॉल्वर जोड़ने की आवश्यकता है... लॉजिस्टिक रिग्रेशन एक बंद फॉर्म समाधान का आनंद नहीं लेता है, जिसका अर्थ है कि statsmodel को किसी प्रकार के पुनरावृत्त सॉल्वर का भी उपयोग करना चाहिए (मेरा अनुमान पुनरावृत्त कम से कम वर्ग होगा, लेकिन मैंने जाँच नहीं की है)। C=np.inf (या समकक्ष alpha=0 ) सेट करना सैद्धांतिक रूप से हमारे वर्तमान सॉल्वरों के साथ काम करना चाहिए। मेरी सिफारिश एल-बीएफजीएस या न्यूटन-सीजी सॉल्वर पर स्विच करने की होगी, क्योंकि इस सेटिंग में liblinear वास्तव में बहुत धीमा हो सकता है। शायद हम solver="auto" विकल्प जोड़ सकते हैं और स्वचालित रूप से इनमें से किसी एक पर स्विच कर सकते हैं जब C=np.inf या समकक्ष penalty="none" ?

हम डिफ़ॉल्ट सॉल्वर को #10001 fwiw . में lbfgs में बदल रहे हैं

उन लोगों के लिए जो वास्तव में अनियमित लॉजिस्टिक रिग्रेशन (मेरे जैसे) चाहते हैं। मुझे statsmodels का उपयोग करने और एक रैपर वर्ग बनाने के साथ समझौता करना पड़ रहा है जो SKLearn API की नकल करता है।

इस पर कोई अपडेट? लोगों को स्किकिट-लर्न की सिफारिश करने की मेरी इच्छा के लिए यह एक बड़ा अवरोधक है। अन्य पुस्तकालयों से आने वाले लोगों के लिए यह बिल्कुल भी

@shermstats सुझाव देते हैं कि उस पर दस्तावेज़ीकरण कैसे
क्या l-bfgs C=np.inf अनुमति देता है?

आप C=np.inf निर्दिष्ट कर सकते हैं, हालांकि यह आपको C=large value जैसा ही परिणाम देगा। उदाहरण के लिए मैंने कोशिश की, इसने स्टैटसमोडेल की तुलना में बेहतर फिट दिया और स्टैटमोडेल अधिकांश अन्य यादृच्छिक बीजों के साथ अभिसरण करने में विफल रहा:

from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
import statsmodels.api as sm

X, y = make_classification(random_state=2)
lr = LogisticRegression(C=np.inf, solver='lbfgs').fit(X, y)


logit = sm.Logit(y, X)
res = logit.fit()

Optimization terminated successfully.
         Current function value: 0.167162
         Iterations 10

from sklearn.metrics import log_loss
log_loss(y, lr.predict_proba(X))
log_loss(y, res.predict(X))

0.16197793224715606
0.16716164149746823

इसलिए मैं तर्क दूंगा कि हमें सिर्फ यह दस्तावेज देना चाहिए कि आप C लार्ज या np.inf को सेट करके एक अप्रकाशित मॉडल प्राप्त कर सकते हैं।

मैं डॉकस्ट्रिंग और उपयोगकर्ता मार्गदर्शिका में जोड़ने का सुझाव दूंगा
"LogisticRegregression मॉडल को डिफ़ॉल्ट रूप से दंडित किया जाता है। आप C=np.inf और सॉल्वर='lbfgs' सेट करके एक दंडरहित मॉडल प्राप्त कर सकते हैं।"

इसने statsmodel की तुलना में बेहतर फिट दिया और statsmodel अधिकांश अन्य यादृच्छिक बीजों के साथ अभिसरण करने में विफल रहा

आर का glm अधिक परिपक्व है और बेहतर तुलना के लिए बना सकता है।

मैं डॉकस्ट्रिंग और उपयोगकर्ता मार्गदर्शिका में जोड़ने का सुझाव दूंगा
"LogisticRegregression मॉडल को डिफ़ॉल्ट रूप से दंडित किया जाता है। आप C=np.inf और सॉल्वर='lbfgs' सेट करके एक दंडरहित मॉडल प्राप्त कर सकते हैं।"

अनुमति क्यों न जोड़ें penalty = "none" एक ला SGDClassifier ?

@ कोडियोलॉजिस्ट मैं penalty="none" जोड़ने का विरोध नहीं कर रहा हूं, लेकिन मुझे यकीन नहीं है कि एक निरर्थक विकल्प जोड़ने से क्या लाभ होगा।
और मुझे लगता है कि हम ग्लैम से तुलना का स्वागत करेंगे। मैं ग्लैम से बहुत परिचित नहीं हूं इसलिए तुलना करने के लिए शायद मैं एक अच्छा व्यक्ति नहीं हूं। हालांकि, हम लॉग-लॉस का अनुकूलन कर रहे हैं, इसलिए वास्तव में कोई अंतर नहीं होना चाहिए। हो सकता है कि वे अलग-अलग सॉल्वर लागू करते हों, इसलिए बेंचमार्क होना अच्छा होगा।

मैं penalty="none" जोड़ने का विरोध नहीं कर रहा हूं, लेकिन मुझे यकीन नहीं है कि एक निरर्थक विकल्प जोड़ने से क्या लाभ होगा।

1. यह स्पष्ट हो जाता है कि एक दंडरहित मॉडल कैसे प्राप्त किया जाए।
2. पाठक को यह स्पष्ट हो जाता है कि दंडरहित मॉडल का उपयोग करने वाला कौन सा कोड करने का प्रयास कर रहा है।
3. यह sklearn को लोगों के कोड को तोड़े बिना भविष्य में अनियमित मॉडल के अपने कार्यान्वयन को बदलने की अनुमति देता है।

यदि आपको लगता है कि यह खोज योग्यता में जोड़ता है तो हम इसे जोड़ सकते हैं, और 3 एक वैध बिंदु है (हालांकि हम वास्तव में इसे वास्तव में बदल नहीं सकते हैं, शायद बिना बहिष्करण के, सॉल्वर का वर्तमान परिवर्तन देखें)।
क्या आप एक पीआर भेजना चाहते हैं?

मेरे पास इसके लिए गोल ट्यूट नहीं हैं; क्षमा मांगना।

@ कोडियोलॉजिस्ट कम से कम आपने मुझे एक मुहावरा सिखाया जिसके बारे में मुझे नहीं पता था;)

तो योगदानकर्ताओं के लिए खुला: एक विकल्प के रूप में penalty='none' जोड़ें। यह भी संभावित रूप से जांचें कि कौन से सॉल्वर इसका समर्थन करते हैं/इसके साथ कुशल हैं (liblinear शायद नहीं है) और उन सॉल्वरों तक सीमित है।

मैं डॉकस्ट्रिंग और उपयोगकर्ता मार्गदर्शिका में जोड़ने का सुझाव दूंगा
"LogisticRegregression मॉडल को डिफ़ॉल्ट रूप से दंडित किया जाता है। आप C=np.inf और सॉल्वर='lbfgs' सेट करके एक दंडरहित मॉडल प्राप्त कर सकते हैं।"

यह मुझे वाजिब लगता है। मैं पहले वाक्य को बोल्ड करने का भी सुझाव दूंगा क्योंकि यह वैध रूप से अन्य मशीन लर्निंग या डेटा विश्लेषण वातावरण से आने वाले लोगों के लिए आश्चर्यजनक है।

@shermstats तो @Kodiologist ने इसे और अधिक स्पष्ट करने के लिए penalty="none" जोड़ने का सुझाव दिया, जो कि केवल एक उपनाम होगा C=np.inf । इस तरह से इसे और अधिक स्पष्ट करना मेरे लिए समझ में आता है। क्या आपके पास उस पर विचार हैं?
फिर वही होगा जो दस्तावेज़ीकरण में है। और मैं मानता हूं कि बोल्ड एक अच्छा विचार हो सकता है।
मुझे लगता है कि एमएल पृष्ठभूमि वाले किसी व्यक्ति के लिए यह (शायद?) अपेक्षित है, आंकड़े पृष्ठभूमि वाले किसी व्यक्ति के लिए, यह बहुत आश्चर्यजनक लगता है।

बिल्कुल! मेरे पास आंकड़ों की पृष्ठभूमि है और मैंने आर या यहां तक ​​कि बिंदु और क्लिक इंटरफेस से आने वाले कई आंकड़ों के साथ काम किया है, और यह व्यवहार हमारे लिए बहुत आश्चर्यजनक है। मुझे लगता है कि अभी के लिए penalty=None ( "none" बनाम None बारे में निश्चित नहीं है) एक अच्छा समाधान है। भविष्य में, हमारे पास एक अलग सॉल्वर होना चाहिए जो कि @mblondel द्वारा वर्णित मुद्दों को रोकने के लिए स्वचालित रूप से अनपेक्षित लॉजिस्टिक रिग्रेशन के लिए कहा जाता है।

माफ़ करें, आप किस मुद्दे से मतलब रखते हैं? हम डिफ़ॉल्ट रूप से l-bfgs पर स्विच कर रहे हैं, और यदि कोई penalty='none' निर्दिष्ट करता है तो हम सॉल्वर को आंतरिक रूप से l-bfgs में स्वचालित रूप से स्विच कर सकते हैं (अक्सर कोई भी एक विशेष टोकन नहीं होता है जिसका उपयोग हम बहिष्कृत मापदंडों के लिए करते हैं, लेकिन हमने रोक दिया है ऐसा कर रहे हैं। फिर भी 'कोई नहीं' बाकी पुस्तकालय के साथ अधिक संगत होगा)।
हमें वैसे भी solver="auto" है इसलिए दंड के आधार पर सॉल्वर को बदलना कोई समस्या नहीं होनी चाहिए।

यह मुद्दा , जो बड़े सी के लिए पुनरावृत्त एल्गोरिदम को बहुत धीमा होने को संदर्भित करता है। मैं एक संख्यात्मक विश्लेषण विशेषज्ञ नहीं हूं, लेकिन अगर एल-बीएफजीएस इसे धीमा होने से रोकता है तो यह सही समाधान की तरह लगता है। penalty='none' भी इसे संभालने का सही तरीका लगता है।

@shermstats हाँ, l-bfgs के साथ यह कोई समस्या नहीं लगती है। हालाँकि, मैंने व्यापक बेंचमार्क नहीं चलाए हैं, और मेरे पास इसके लिए समय नहीं होगा। अगर कोई बेंचमार्क चलाना चाहता है, तो यह बहुत मददगार होगा।

यदि दंड = 'कोई नहीं' शामिल किया जाना है, तो मेरा सुझाव है कि उपयोगकर्ता गाइड में कॉलिनियर एक्स के बारे में वही चेतावनी जोड़ें जो ओएलएस के लिए है (विशेष रूप से एक-हॉट एन्कोडेड सुविधाओं के लिए)।