Scikit-learn: GridSearchCV.fit(...,n_job=-1) समांतरता में बग हो सकता है

बग सबमिट करने से पहले, कृपया सुनिश्चित करें कि पिछले मुद्दों को खोज कर समस्या का समाधान नहीं किया गया है।

बग का वर्णन करें

GridSearchCV.fit() को n_jobs=-1 के साथ कॉल करने से अपवाद ' बढ़ जाता है ।
GridSearchCV.fit() को n_jobs=None साथ कॉल करना पूरी तरह से काम करता है

के मामले में n_jobs=None , आउटपुट से पता चलता है कि यह n_jobs=1 को हल करता है (हालांकि मेरे अन्य कार्यक्रमों में, GridSearchCV का कोई भी सफल रन उसी मशीन पर n_jobs=6 को हल करेगा, यह एक बड़ा मुद्दा नहीं हो सकता है। सिर्फ आपकी जानकारी के लिए)।

संभवतः, समस्या (1) lib\site-packages\joblib\parallel.py या _parallel_backends.py या (2) lib\concurrent\futures_base.py में हो सकती है, जैसा कि नीचे दिए गए ट्रेसबैक में दिखाया गया है।

चरण/कोड पुन: उत्पन्न करने के लिए

कृपया एक न्यूनतम उदाहरण जोड़ें कि हम कोड चलाकर त्रुटि को पुन: उत्पन्न कर सकते हैं। यथासंभव संक्षिप्त रहें, बाहरी डेटा पर निर्भर न रहें। संक्षेप में, हम आपके कोड को कॉपी-पेस्ट करने जा रहे हैं और हमें आपके जैसा ही परिणाम मिलने की उम्मीद है। उदाहरण: md5-0c48dcb0a123e7134795a5b1cc42e4f2 यदि कोड बहुत लंबा है, तो बेझिझक इसे सार्वजनिक सार में डालें और इसे इस मुद्दे से लिंक करें: https://gist.github.com

search = GridSearchCV(RandomForestClassifier(), param_grid, cv=3, n_jobs=-1, return_train_score=True, verbose=2)
search.fit(feature_matrix, labels)

अपेक्षित परिणाम

कोई त्रुटि नहीं फेंकी जाती है।

वास्तविक परिणाम

OSError: [Errno 22] अमान्य तर्क

विस्तृत ट्रैकबैक नीचे संलग्न है:

---

_RemoteTraceback ट्रेसबैक (सबसे हालिया कॉल अंतिम)
_रिमोट ट्रेसबैक:
"""
ट्रेसबैक (सबसे हालिया कॉल अंतिम):
फ़ाइल "C:Users\tlbh9\Anaconda3\lib\site-packages\joblib\externals\loky\process_executor.py", लाइन 431, _process_worker में
आर = कॉल_आइटम ()
फ़ाइल "C:Users\tlbh9\Anaconda3\lib\site-packages\joblib\externals\loky\process_executor.py", लाइन 285, __call__
स्व.fn ( self.args, * self.kwargs) वापस करें
फ़ाइल "C:Users\tlbh9\Anaconda3\lib\site-packages\joblib_parallel_backends.py", लाइन 595, __call__
स्व.func (तर्क , * kwargs) वापस करें
फ़ाइल "C:Users\tlbh9\Anaconda3\lib\site-packages\joblib\parallel.py", लाइन 252, __call__
वापसी [func ( तर्क, * kwargs)
फ़ाइल "C:Users\tlbh9\Anaconda3\lib\site-packages\joblib\parallel.py", लाइन 252, में
वापसी [func ( तर्क, * kwargs)
फ़ाइल "C:Users\tlbh9\Anaconda3\lib\site-packages\sklearn\model_selection_validation.py", लाइन 505, _fit_and_score में
प्रिंट ("[सीवी]% s% s"% (संदेश, (64 - लेन (संदेश)) * '।'))
OSError: [Errno 22] अमान्य तर्क
"""

उपरोक्त अपवाद निम्नलिखित अपवाद का प्रत्यक्ष कारण था:

OSError ट्रेसबैक (सबसे हालिया कॉल अंतिम)
में
.......
212 खोज = GridSearchCV(RandomForestClassifier(), param_grid, cv=3, n_jobs=-1, return_train_score=True, verbose=2)
--> 213 सर्च.फिट (फीचर_मैट्रिक्स, लेबल्स)
.......

~\Anaconda3\lib\site-packages\sklearn\utils\validation.py में inner_f(*args, kwargs)71 भविष्य की चेतावनी)72 kwargs.update({k: arg for k, arg in zip(sig.parameters, args)})---> 73 रिटर्न f ( kwargs)
74 वापसी आंतरिक_f
75

~\Anaconda3\lib\site-packages\sklearn\model_selection_search.py ​​in fit(self, X, y, group, **fit_params)
734 रिटर्न परिणाम
735
--> 736 स्व._run_search(evaluate_candidates)
737
738 # बहु-मीट्रिक मूल्यांकन के लिए, best_index_, best_params_ और . स्टोर करें

~\Anaconda3\lib\site-packages\sklearn\model_selection_search.py ​​_run_search में (स्वयं, मूल्यांकन_उम्मीदवार)
1186 डीईएफ़ _run_search(स्वयं, मूल्यांकन_उम्मीदवार):
1187 """सभी उम्मीदवारों को param_grid में खोजें"""
-> 1188 मूल्यांकन_उम्मीदवार (पैरामीटरग्रिड (स्वयं.परम_ग्रिड))
1189
1190

~\Anaconda3\lib\site-packages\sklearn\model_selection_search.py ​​मूल्यांकन_उम्मीदवारों (उम्मीदवार_परम) में
706 n_splits, n_candidates, n_candidates * n_splits))
707
-> 708 आउट = समानांतर (विलंबित (_fit_and_score) (क्लोन (बेस_एस्टिमेटर),
709 एक्स, वाई,
710 ट्रेन = ट्रेन, परीक्षण = परीक्षण,

~\Anaconda3\lib\site-packages\joblib\parallel.py __call__ (स्वयं, चलने योग्य)
1040
1041 स्वयं के साथ._बैकएंड.पुनर्प्राप्ति_संदर्भ ():
-> 1042 स्व.पुनर्प्राप्ति ()
1043 # सुनिश्चित करें कि हमें एक अंतिम संदेश मिलता है जो बताता है कि हम कर चुके हैं
1044 elapsed_time = time.time() - self._start_time

~\Anaconda3\lib\site-packages\joblib\parallel.py पुनः प्राप्त करने में (स्वयं)
919 प्रयास करें:
920 अगर getattr(self._backend, 'supports_timeout', False):
--> 921 स्व._आउटपुट। विस्तार (नौकरी। प्राप्त करें (समयबाह्य = स्वयं। समयबाह्य))
922 अन्य:
923 स्व._आउटपुट.विस्तार (नौकरी। प्राप्त ())

~\Anaconda3\lib\site-packages\joblib_parallel_backends.py में wrap_future_result(भविष्य, समयबाह्य)
540 AsyncResults.get मल्टीप्रोसेसिंग से।" ""
541 प्रयास करें:
--> 542 रिटर्न फ्यूचर। रिजल्ट (टाइमआउट = टाइमआउट)
543 CfTimeoutError को छोड़कर e के रूप में:
544 e . से TimeoutError बढ़ाएँ

~\Anaconda3\lib\concurrent\futures_base.py परिणाम में (स्वयं, समयबाह्य)
430 बढ़ाएँ रद्द की गई त्रुटि ()
431 elif self._state == समाप्त:
--> 432 स्वयं लौटाएं .__get_result ()
433
434 स्व._कंडीशन.प्रतीक्षा (समयबाह्य)

~\Anaconda3\lib\concurrent\futures_base.py __get_result(self) में
386 डीईएफ़ __get_result(स्वयं):
387 यदि स्व._अपवाद:
--> 388 स्वयं उठाएँ।_अपवाद
389 अन्य:
390 स्व._परिणाम लौटाएं

OSError: [Errno 22] अमान्य तर्क

संस्करणों

प्रणाली:
अजगर: 3.8.3 (डिफ़ॉल्ट, 2 जुलाई 2020, 17:30:36) [एमएससी v.1916 64 बिट (AMD64)]
निष्पादन योग्य: सी: उपयोगकर्ता\tlbh9\Anaconda3\python.exe
मशीन: विंडोज-10.0.18362-SP0

पायथन निर्भरता:
पिप: 20.1.1
सेटअपटूल: 49.2.0.पोस्ट200714
स्केलेर: 0.23.1
सुन्न: 1.18.5
scipy: 1.5.0
साइथन: 0.29.21
पांडा: 1.0.5
मैटप्लोटलिब: 3.2.2
जॉबलिब: 0.16.0
थ्रेडपूलक्टल: 2.1.0

ओपनएमपी के साथ निर्मित: सच

योगदान के लिए धन्यवाद!