Scikit-learn: GridSearchCV मल्टीथ्रेडिंग सक्षम (यानी w / n_jobs! = 1) के साथ अनिश्चित काल के लिए जमा देता है

क्या आपको उस प्लेटफ़ॉर्म पर लगातार समस्याएं हैं ??

मल्टीथ्रेडिंग के संदर्भ में: कुछ अनुमानक हैं, जिनके लिए मल्टीथ्रेडिंग की संभावना काफी लाभ देगी, वे जहां अधिकांश काम बिना जीआईएल के साथ संख्यात्मक या साइथन संचालन में किए जाते हैं। वास्तव में, मुझे नहीं लगता कि इसका मूल्यांकन बहुत अधिक किया गया है; backend='threading' काफी हाल की बात है।

असली सवाल यह है कि समस्या की पहचान के लिए हम और क्या कर सकते हैं?

एक शुरुआत के लिए, आपने किन आधार अनुमानकों पर विचार किया है?

@jnothman मंच से आप OSX 10.9.5 करते हैं? यदि हां, तो हाँ, यह पहली बार नहीं है जब मुझे वह समस्या हुई है।

संभवतः इससे पहले कि मैं पहले छोड़ दिया गया एक बड़ा विस्तार यह था कि जब मैं समस्या हो तो मैं हमेशा IPython नोटबुक का उपयोग कर रहा हूं। मेरे पास अभी भरी हुई नोटबुक के लिए एक कर्नेल है, जहां अगर मैं n_jobs के साथ "स्कोरिंग" तर्क जोड़ता हूं! = 1 तो GridSearchCV हमेशा के लिए हैंग हो जाता है, लेकिन यदि मैं उस तर्क को हटा देता हूं, तो सब ठीक है। यहां तक ​​कि अगर मैं जो स्कोरिंग फ़ंक्शन देता हूं, वह कुछ भी नहीं करता है, लेकिन एक निरंतर फ्लोट मान लौटाता है, तो यह अभी भी जमा देता है (लेकिन बिल्कुल वही है जो आप n_jobs = 1 के साथ उम्मीद करेंगे)।

पुन: यह सुनने के लिए अच्छा है, इसलिए हो सकता है कि GridSearchCV के लिए यह विकल्प वास्तव में समझ में आता है।

जहाँ तक मुझे अनुमान है कि मुझे क्या समस्या है, मुझे यकीन नहीं है कि मैं इसे बहुत कम कर सकता हूँ। मैं आम तौर पर उनमें से कई का प्रयास करता हूं क्योंकि मैं यहां आपके लिए कुछ उपयोगी जानकारी प्राप्त करने के लिए प्रबंधन कर सकता हूं, मैंने अभी सत्यापित किया है कि मैं किसी भी अनुमानक के साथ ऊपर बताई गई शर्तों को पुन: उत्पन्न कर सकता हूं और पाया कि मैं सभी मामलों में (या कम से कम मैंने कोशिश की थी) LogisticRegression, SGDClassifier, GBRT, और RF)।

मैं कुछ भी करना पसंद करता हूं और मैं जो कुछ भी कर सकता हूं उसे आगे बढ़ने के लिए कुछ और प्रदान कर सकता हूं, हालांकि मैं इस संदर्भ से परिचित नहीं हूं कि आम तौर पर इस तरह के मुद्दों को हल करने के लिए सबसे अधिक उपयोगी है। मेरे लिए कोई सुझाव है?

क्या आप गति के ढांचे से जुड़े खसखस ​​का उपयोग करते हैं?

नहीं, जब तक मैं कुछ याद कर रहा हूँ। मैंने सोचा था कि जब आप ऐसा करते हैं या बहुत कम से कम गतिमान संस्करण स्थापित होता है, तो त्वरित पैकेज मौजूद होगा:

(research3.4) ईचिंग $ पाइप फ्रीज | जीआरपी सुन्न
numpy == 1.9.2
(research3.4) इकोचेड $ कोंडा अपडेट में तेजी आई
त्रुटि: पैकेज 'एक्सीलेंट' को /Users/eceshop/anaconda/envs/research3.4 में इंस्टॉल नहीं किया गया है

100% आत्मविश्वास के साथ जवाब देने में असमर्थ होने के लिए मेरी अज्ञानता को क्षमा करें, लेकिन मैंने इसे स्थापित करने के लिए जानबूझकर कुछ नहीं किया।

कोंडा की गति सेब की गति के समान नहीं है:
http://docs.continuum.io/accelerate/index
https://developer.apple.com/library/mac/documentation/Accelerate/Reference/AccelerateFWRef/

कोंडा की गति एमकेएल संकुल के त्वरित संस्करण हैं, सेब की गति एमकेएल के लिए उनका विकल्प है।

क्या आप हमें numpy.__config__.show() दे सकते हैं?

मल्टीप्रोसेसिंग IIRC में तेजी के साथ काम नहीं करता है। पिंग @ogrisel

निश्चित रूप से:

एन पी। config .show ()
atlas_3_10_blas_threads_info:
उपलब्ध नहीं है
atlas_info:
उपलब्ध नहीं है
atlas_3_10_info:
उपलब्ध नहीं है
atlas_threads_info:
उपलब्ध नहीं है
atlas_3_10_blas_info:
उपलब्ध नहीं है
blas_opt_info:
extra_compile_args = ['-msse3', '-DAPPLE_ACCELERATE_SGEMV_PATCH', '-I / सिस्टम / लाइब्रेरी / फ्रेमवर्क / vecLib.fatwork / Headers']
extra_link_args = ['-Wl, -framework', '-Wl, Accelerate']
define_macros = [('NO_ATLAS_INFO', 3)]
lapack_mkl_info:
उपलब्ध नहीं है
atlas_blas_info:
उपलब्ध नहीं है
mkl_info:
उपलब्ध नहीं है
lapack_opt_info:
extra_compile_args = ['-msse3', '-DAPPLE_ACCELERATE_SGEMV_PATCH']
extra_link_args = ['-Wl, -framework', '-Wl, Accelerate']
define_macros = [('NO_ATLAS_INFO', 3)]
blas_mkl_info:
उपलब्ध नहीं है
atlas_3_10_threads_info:
उपलब्ध नहीं है
openblas_info:
उपलब्ध नहीं है
openblas_lapack_info:
उपलब्ध नहीं है
atlas_blas_threads_info:
उपलब्ध नहीं है

हाँ तो यह एक ज्ञात मुद्दा है कि मैं इस मुद्दे पर नजर रखने में नहीं मिल सकता है। Accelerate मल्टीप्रोसेसिंग के साथ काम नहीं करता है।

मैं थोड़ा उलझन में हूँ। जीआईएल जारी होने पर थ्रेडिंग बैकएंड ही कुछ करता है?

समझ गया, क्या आप जानते हैं कि मुझे फिर से खसखस ​​के पुनर्निर्माण के बारे में कैसे जाना चाहिए? क्या मुझे सिर्फ इसके लिए कोंडा पैकेज का उपयोग करने के बजाय इसे स्थापित करना चाहिए? या मैं स्रोत से निर्माण करना और उन सेब को सुनिश्चित करना बेहतर होगा जो तर्क प्रस्तुत नहीं कर रहे हैं?

इस तरह लगता है कि एक मुद्दे की परवाह किए बिना थोड़ा सा है। बंद करो अगर यह सिर्फ एक मरे हुए घोड़े की पिटाई कर रहा है।

यदि आप कोंडा को गति दे सकते हैं, तो यह काम करेगा;)

शायद हम joblib में जमानत देने की कोशिश कर सकते हैं?

आह महान, सातत्य ने उस हाहा को करने के लिए सेब का भुगतान किया होगा।

कोई $ 0 सुझाव मिला? और वैसे भी अंतर्दृष्टि के लिए धन्यवाद।

ओह, और मुझे यह भी पता है कि यह पहले पूछा गया है, लेकिन क्या यह तथ्य है कि मैं केवल अपने मौजूदा मंच पर इस मुद्दे पर चल रहा हूं जब एक कस्टम स्कोरिंग फ़ंक्शन का उपयोग करना है? मेरे जीवन के लिए मैं यह नहीं देख सकता कि ग्रिड_सर्चहोम स्रोत कोड दिए जाने के बारे में संभवतः क्या समस्या हो सकती है, लेकिन क्या यह कस्टम फ़ंक्शन के अचार के साथ कुछ करने के लिए हो सकता है?

और इससे कुछ हद तक असंबंधित है, मुझे सिर्फ इतना याद है कि मैंने पूर्व में GridSearchCV के एक संशोधित संस्करण का निर्माण करके इसके चारों ओर काम करने की कोशिश की थी जो कि IPython समानांतर बैकेंड का उपयोग करता है, इसलिए यह मानकर कि मैंने उस समाधान पर दोबारा गौर किया है, क्या यह किसी तरह से साझा करने लायक होगा? यह समाधान ठीक काम करता था लेकिन उपयोग करने के लिए थोड़ा दर्द होता था क्योंकि किसी भी कस्टम वर्ग और कार्यों को नोटबुक में खुद के बजाय पाइथनथ पर उपलब्ध होना था, लेकिन अगर कोई अन्य बेहतर विकल्प नहीं हैं, तो हो सकता है कि किसी के पास कुछ पैर हों।

आप एटलस के खिलाफ लिंक कर सकते हैं, लेकिन यह धीमी गति से होगा [सेब] तेजी, मेथिंक।
शायद वहाँ एक मुक्त MKL OS X के लिए वहाँ बाहर खसखस ​​जुड़ा हुआ है? खिड़कियों के लिए एक है।

[यदि आप एक अकादमिक हैं, तो निरंतरता में तेजी मुफ्त btw है]

मुझे पूरा यकीन है कि यह पूरी तरह से कस्टम स्कोरिंग फ़ंक्शन का उपयोग करने के लिए असंबंधित है।
क्या आप स्व-निहित स्नाइपर्स दे सकते हैं जो एक कस्टम स्कोरिंग फ़ंक्शन के साथ टूटते हैं लेकिन बिना नहीं?

हो सकता है कि कस्टम स्कोरिंग फ़ंक्शन का तथ्य प्रासंगिक हो (उदाहरण के लिए, अचार वाले मुद्दे या नेस्टेड पैरेललिज़्म प्रासंगिक हो सकते हैं)। क्या हम कोड देख सकते हैं?

या क्या आपको सिर्फ make_scorer साथ एक मानक मीट्रिक का मतलब है?

निश्चित रूप से, यहां एक प्रासंगिक हिस्सा है और ऐसा लगता है कि चीजें make_scorer के साथ ठीक हैं, लेकिन कस्टम फ़ंक्शन के साथ नहीं:

from sklearn.linear_model import LogisticRegression
from sklearn.grid_search import GridSearchCV
from sklearn.cross_validation import StratifiedKFold
from sklearn.metrics import average_precision_score, make_scorer
import functools

res = []
clfs = []

for response in responses:
    X, y = d_in[features], d_in[response]
    for i, (train, test) in enumerate(StratifiedKFold(y, 5)):
        X_train, y_train, X_test, y_test = X.iloc[train], y.iloc[train], X.iloc[test], y.iloc[test]
        clf = LogisticRegression(penalty='l1')
        grid = {
            'class_weight': [{0: 1, 1: 10}, {0: 1, 1: 100}, {0: 1, 1: 1000}],
            'C': np.logspace(-3, 0, num=4)
        }

        # Using make_scorer doesn't cause any issues
        # clf = GridSearchCV(clf, grid, cv=StratifiedKFold(y_train, 3),  
        #                    scoring=make_scorer(average_precision_score), n_jobs=-1)

        # This however is a problem:
        def avg_prec_score(estimator, X, y):
            return average_precision_score(y, estimator.predict_proba(X)[:, 1])
        clf = GridSearchCV(clf, grid, cv=StratifiedKFold(y_train, 5),  
                           scoring=avg_prec_score, n_jobs=-1)

        clf = clf.fit(X_train, y_train)
        print('Best parameters for response {} inferred in fold {}: {}'.format(response, i, clf.best_params_))

        y_pred = clf.predict(X_test)
        y_proba = clf.predict_proba(X_test)

        clfs.append((response, i, clf))
        res.append(pd.DataFrame({
            'y_pred': y_pred, 
            'y_actual': y_test, 
            'y_proba': y_proba[:,1],
            'response': np.repeat(response, len(y_pred))
        }))

res = functools.reduce(pd.DataFrame.append, res)
res.head()

मैं एक स्व-निहित संस्करण पर काम करूँगा जिसमें डेटा का कुछ संस्करण शामिल है जिसका मैं भी उपयोग कर रहा हूं (लेकिन इसमें अधिक समय लगेगा)। इस बीच, हालांकि, उन कस्टम फ़ंक्शंस का चयन एक अच्छा लीड लगता है - मैंने इसे फिर से सुनिश्चित करने के लिए कई बार कोशिश की है और यह एक कस्टम फ़ंक्शन के साथ 100% समय लटकाता है और 0% उस समय का उपयोग करता है जब make_scorer का उपयोग किया जाता है कुछ ज्ञात, आयातित मीट्रिक फ़ंक्शन।

और यह कि मुख्य (यानी शीर्ष स्तर की स्क्रिप्ट की व्याख्या की जा रही है) या ए
आयातित मॉड्यूल?

15 अगस्त 2015 को 23:37 पर, एरिक चेक नोटिफिकेशन @github.com ने लिखा:

निश्चित रूप से, यहां एक प्रासंगिक हिस्सा है और ऐसा लगता है कि चीजें ठीक हैं
make_scorer के साथ, लेकिन कस्टम फ़ंक्शन के साथ नहीं:

sklearn.linear_model आयात से LogisticRegressionfrom sklearn.grid_search आयात GridSearchCVfrom sklearn.cross_validation आयात StratifiedKFoldfromlll.lmet. आयात आयात औसत_प्रदर्शन_सर्किट, मेक_सेंपरिमपोर्ट फ़ंक्शंस

रेस = []
clfs = []
प्रतिक्रियाओं में प्रतिक्रिया के लिए:
X, y = d_in [विशेषताएं], d_in [प्रतिक्रिया]
i के लिए, (ट्रेन, टेस्ट) में एनुमरेट (स्ट्रैटिफाइडकेफोल्ड (y, 5)):
X_train, y_train, X_test, y_test = X.iloc [ट्रेन], y.iloc [ट्रेन], X.iloc [परीक्षण], y.iloc [परीक्षण]
clf = LogisticRegression (दंड = 'l1')
ग्रिड = {
'क्लास_वेट': [{0: 1, 1: 10}, {0: 1, 1: 100}, {0: 1, 1: 1000}]
'C': np.logspace (-3, 0, संख्या = 4)
}

    # Using make_scorer doesn't cause any issues
    # clf = GridSearchCV(clf, grid, cv=StratifiedKFold(y_train, 3),
    #                    scoring=make_scorer(average_precision_score), n_jobs=-1)

    # This however is a problem:
    def avg_prec_score(estimator, X, y):
        return average_precision_score(y, estimator.predict_proba(X)[:, 1])
    clf = GridSearchCV(clf, grid, cv=StratifiedKFold(y_train, 5),
                       scoring=avg_prec_score, n_jobs=-1)

    clf = clf.fit(X_train, y_train)
    print('Best parameters for response {} inferred in fold {}: {}'.format(response, i, clf.best_params_))

    y_pred = clf.predict(X_test)
    y_proba = clf.predict_proba(X_test)

    clfs.append((response, i, clf))
    res.append(pd.DataFrame({
        'y_pred': y_pred,
        'y_actual': y_test,
        'y_proba': y_proba[:,1],
        'response': np.repeat(response, len(y_pred))
    }))

रेस = फंक्शनलसेलेरसेड (pd.DataFrame.append, res)
res.head ()

मैं एक स्व-निहित संस्करण पर काम करूँगा जिसमें कुछ संस्करण शामिल हैं
डेटा मैं भी उपयोग कर रहा हूँ (लेकिन इसमें अधिक समय लगेगा)। हालांकि इस बीच,
उन कस्टम फ़ंक्शंस का अचार एक अच्छा लीड लगता है - मैंने इसे आज़माया है
कई बार फिर से सुनिश्चित किया जाता है और यह 100% समय एक रिवाज के साथ लटका रहता है
कुछ ज्ञात के साथ make_scorer का उपयोग करते समय फ़ंक्शन और 0%
आयातित मीट्रिक समारोह।

-
इस ईमेल का उत्तर सीधे दें या इसे GitHub पर देखें
https://github.com/scikit-learn/scikit-learn/issues/5115#issuecomment -131376298
।

ओह, यह ipynb है। हम्म्म दिलचस्प। हाँ, अचार बनाना एक मुद्दा हो सकता है ..?

15 अगस्त 2015 को 23:51 पर, जोएल नथमैन जोएल। [email protected] ने लिखा है:

और यह मुख्य (यानी शीर्ष स्तर की स्क्रिप्ट की व्याख्या की जा रही है) या
एक आयातित मॉड्यूल?

15 अगस्त 2015 को 23:37 पर, एरिक चेक नोटिफिकेशन @github.com ने लिखा:

निश्चित रूप से, यहां एक प्रासंगिक हिस्सा है और ऐसा लगता है कि चीजें ठीक हैं
make_scorer के साथ, लेकिन कस्टम फ़ंक्शन के साथ नहीं:

sklearn.linear_model आयात से LogisticRegressionfrom sklearn.grid_search आयात GridSearchCVfrom sklearn.cross_validation आयात StratifiedKFoldfromlll.lmet. आयात आयात औसत_प्रदर्शन_सर्किट, मेक_सेंपरिमपोर्ट फ़ंक्शंस

रेस = []
clfs = []
प्रतिक्रियाओं में प्रतिक्रिया के लिए:
X, y = d_in [विशेषताएं], d_in [प्रतिक्रिया]
i के लिए, (ट्रेन, टेस्ट) में एनुमरेट (स्ट्रैटिफाइडकेफोल्ड (y, 5)):
X_train, y_train, X_test, y_test = X.iloc [ट्रेन], y.iloc [ट्रेन], X.iloc [परीक्षण], y.iloc [परीक्षण]
clf = LogisticRegression (दंड = 'l1')
ग्रिड = {
'क्लास_वेट': [{0: 1, 1: 10}, {0: 1, 1: 100}, {0: 1, 1: 1000}]
'C': np.logspace (-3, 0, संख्या = 4)
}

    # Using make_scorer doesn't cause any issues
    # clf = GridSearchCV(clf, grid, cv=StratifiedKFold(y_train, 3),
    #                    scoring=make_scorer(average_precision_score), n_jobs=-1)

    # This however is a problem:
    def avg_prec_score(estimator, X, y):
        return average_precision_score(y, estimator.predict_proba(X)[:, 1])
    clf = GridSearchCV(clf, grid, cv=StratifiedKFold(y_train, 5),
                       scoring=avg_prec_score, n_jobs=-1)

    clf = clf.fit(X_train, y_train)
    print('Best parameters for response {} inferred in fold {}: {}'.format(response, i, clf.best_params_))

    y_pred = clf.predict(X_test)
    y_proba = clf.predict_proba(X_test)

    clfs.append((response, i, clf))
    res.append(pd.DataFrame({
        'y_pred': y_pred,
        'y_actual': y_test,
        'y_proba': y_proba[:,1],
        'response': np.repeat(response, len(y_pred))
    }))

रेस = फंक्शनलसेलेरसेड (pd.DataFrame.append, res)
res.head ()

मैं एक स्व-निहित संस्करण पर काम करूँगा जिसमें कुछ संस्करण शामिल हैं
डेटा मैं भी उपयोग कर रहा हूँ (लेकिन इसमें अधिक समय लगेगा)। हालांकि इस बीच,
उन कस्टम फ़ंक्शंस का अचार एक अच्छा लीड लगता है - मैंने इसे आज़माया है
कई बार फिर से सुनिश्चित किया जाता है और यह 100% समय एक रिवाज के साथ लटका रहता है
कुछ ज्ञात के साथ make_scorer का उपयोग करते समय फ़ंक्शन और 0%
आयातित मीट्रिक समारोह।

-
इस ईमेल का उत्तर सीधे दें या इसे GitHub पर देखें
https://github.com/scikit-learn/scikit-learn/issues/5115#issuecomment -131376298
।

यह एक नोटबुक में है

मैं इसके बजाय एक मॉड्यूल से इसे आयात करने का प्रयास करूंगा और देखूंगा कि यह कैसे जाता है

हम्म तुम क्या जानते हो, ठीक काम करता है जब नोटबुक के बाहर परिभाषित किया जाता है।

मेरे पास अनिवार्य रूप से एक ही कोड है जो अजगर २. have में चल रहा है (मुझे एक लीब की आवश्यकता है जो पुरानी है) और साथ ही अजगर ३.४ में भी यह कोड है और जबकि मेरे पास २. 2.7 में हैंगिंग इश्यू है चाहे वह कोई कस्टम फंक्शन हो या मेक_सैपर का उपयोग कर कुछ हो। लगता है कि मेरी सभी समस्याओं को नए संस्करण में हल करता है ताकि मैं पुराने में वर्कअराउंड के साथ रह सकूं।

और कुछ भी मैं नीचे ट्रैक करने के लिए क्यों कर सकता हूं कि नोटबुक में परिभाषित अचार कार्य एक समस्या हो सकती है?

ठीक है, हम समझना चाहेंगे:

• आम तौर पर उस प्लेटफ़ॉर्म पर स्थानीय रूप से परिभाषित कार्यों के लिए अचार और अनपैकिंग एक समस्या है, या हम एक विशेष रोड़ा मार रहे हैं?
• क्यों, अगर अचार एक समस्या है, तो क्या यह अपवाद को बढ़ाने के बजाय लटका हुआ है? यदि आप pickle.dumps(function) जगह ले रहे हैं, तो यह देखने के लिए कृपया बंदर-पैचिंग या इसी तरह की कोशिश करें, https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/externals-joblib/parallel। एक त्रुटि में pickle.loads(pickle.dumps(function)) परिणामों के साथ py # L150 ? (समझाने के लिए, यह मल्टीप्रोसेसिंग चलाने से पहले अचार को सुनिश्चित करने के लिए एक सुरक्षा जांच है।)

@ogrisel इसमें दिलचस्पी

खिड़कियों पर मैंने जो कुछ देखा, उससे नोटबुक में मल्टीप्रोसेसिंग के साथ अजीब बातचीत होती है।

क्या आपने एक ही नोटबुक में परिभाषित फ़ंक्शन को चुनने और अनपिक करने की कोशिश की है?

आज मैंने गलती से यह https://pythonhosted.org/joblib/parallel.html#bad -interaction-of-multiprocessing-and-third-l पुस्तकालयों को देखा है, क्या यह संबंधित नहीं है?
हो सकता है कि आप सिर्फ अजगर 3.4 या नए में अपग्रेड करें?

सॉरी लंबी छुट्टी पर चला गया। हालांकि आपके सवालों के जवाब देने के लिए:

1. re @jnothman : मैंने pickle.loads(pickle.dumps(function)) डाला और एक प्रिंट स्टेटमेंट के बाद यह सुनिश्चित करने के लिए कि यह सफाई से निष्पादित हो रहा था, और वहां कोई समस्या नहीं थी। स्पष्ट होने के लिए, नोटबुक से कॉल किया गया GridSearchCV.fit अभी भी बिना किसी बदलाव के साथ पहले ही अटक गया था (प्रिंट स्टेटमेंट को छोड़कर मैंने n_jobs = -1 के साथ 16 बार दिखाया)।
2. re @amueller : अगर मैं आपको सही तरीके से समझ रहा हूं, तो मैंने कुछ मुद्दों के साथ नोटबुक में इस तरह से भाग लिया:

def test_function(x):
    return x**2
pickle.loads(pickle.dumps(test_function))(3)
# 9

1. re @olologin : मैं 3.4.3 पर हूं। या अधिक विशेष रूप से: '3.4.3 | कॉन्टिनम एनालिटिक्स, इंक (डिफ़ॉल्ट, 6 मार्च 2015, 12:07:41) n [GCC 4.2.1 (Apple Inc. build 5577)] '

मैंने उपरोक्त वार्तालाप नहीं पढ़ा है, लेकिन मैं यह नोट करना चाहूंगा कि यह न्यूनतम परीक्षण पायथन 2.6 बिल्ड ऑफ़ ट्रैविस के तहत विफल रहता है, लेकिन मेरे पीसी में एक समान कॉन्फ़िगरेशन के तहत पारित किया गया ... (यह सुझाव विफल होने पर n_jobs = -1 पुराने अजगर / जॉबलिब / स्केपी संस्करणों के लिए एक ही कोर मशीन के तहत स्थापित किया गया है?)

def test_cross_val_score_n_jobs():
    # n_jobs = -1 seems to hang in older versions of joblib/python2.6
    # See issue 5115
    cross_val_score(LinearSVC(), digits.data, digits.target, cv=KFold(3),
                    scoring="precision_macro", n_jobs=-1)

इस समस्या के लिए +1, यदि यह मदद करेगा तो विवरण प्रदान करने में प्रसन्नता होगी

@ एरिक-चेक यदि आप पायथॉन 3.4 या 3.5 के अधीन हैं, तो कृपया निम्न पर्यावरण चर सेट करने का प्रयास करें और फिर अपने पायथन प्रोग्राम को पुनः आरंभ करें:

export JOBLIB_START_METHOD="forkserver"

जैसा कि joblib डॉक्स में बताया गया है। Forkserver मोड डिफ़ॉल्ट रूप से सक्षम नहीं है क्योंकि यह अंतःक्रियात्मक रूप से परिभाषित कार्यों को तोड़ता है।

OS X 10.11.4 और Ubuntu 14.04 दोनों पर एक ही मुद्दा है जिसमें नवीनतम सॉफ्टवेयर इंस्टॉल किए गए हैं।

# Metrics
B_R = 10.0

def raw_TPR(y_true, y_pred):
    return np.sum((y_true == 1) & (y_pred == y_true))

def raw_FPR(y_true, y_pred):
    return np.sum((y_true == 0) & (y_pred != y_true))

def AMS(y_true, y_pred):
    print("Hello")
    tpr = raw_TPR(y_true, y_pred)
    fpr = raw_FPR(y_true, y_pred)
    score = np.sqrt(2 * ((tpr + fpr + B_R) * np.log(1 + tpr / (fpr + B_R))) - tpr)
    return score


# Grid search

param_grid = {
    "max_depth":[6, 10],
    "learning_rate":[0.01, 0.5],
    "subsample":[0, 1],
    "min_child_weight":[0.1, 1],
    "colsample_bytree":[0.1, 1],
    "base_score":[0.1, 1],
    "gamma":[0.5, 3.5]
}

scorer = make_scorer(AMS, greater_is_better=True)


clf = XGBClassifier()
gridclf = GridSearchCV(clf, param_grid, scorer, n_jobs=-1, verbose=2)
gridclf.fit(X_train, y_train)

दरअसल, यह कोड केवल n_jobs=1 फ्रीज नहीं करता है।

यह अब python 3 पर डिफ़ॉल्ट रूप से काम करना चाहिए और python 2, सही @ogrisel पर एक wontfix होना चाहिए? क्या हमें बंद कर देना चाहिए?

यदि यह किसी चेतावनी या त्रुटि ("n_jobs> 1 पायथन 2 पर समर्थित नहीं है") को फेंकने के बिना अजगर 2 पर चुपचाप लटका रहता है, तो यह स्वीकार्य नहीं है; क्या हम एक त्रुटि फेंक सकते हैं?

पायथन 3 पर @amueller आप समस्या के आसपास काम करने के लिए https://github.com/scikit-learn/scikit-learn/issues/5115#issuecomment -187683383 का अनुसरण कर सकते हैं, अर्थात यह पायथन 3 पर भी डिफ़ॉल्ट रूप से काम करेगा।

निश्चित नहीं है कि हमें हालांकि बंद कर देना चाहिए क्योंकि मूल ओपी यह कहने लगा था कि जॉबलीब start_method को फोर्स्किवर में सेट करना हमेशा काम नहीं करता था ...

BTW xgboost एक ज्ञात एक है, https://github.com/scikit-learn/scikit-learn/issues/6627#issuecomment -206351138 देखें।

संपादित करें: नीचे परिवर्तन वास्तव में चीजों को ठीक नहीं कर सकता है। एक असंबंधित परिवर्तन जो मैंने किया था कि मैं कैसे पाथोस के साथ मल्टीप्रोसेसिंग को संभाल रहा था जो कि मेरा वास्तविक निर्धारण हो सकता था।

जल्दी ठीक:
np.random.seed(0)

स्पष्टीकरण:
मैं इस मुद्दे में भी दौड़ रहा हूं, सबसे अधिक ऑटो-एमएल के टेस्ट सूट में। पहले (2?) बार मैंने GridSearchCV चलाया, यह ठीक था, लेकिन फिर बाद के रन बिना किसी बदलाव के लटक गए।

मैंने अभी भी अपने प्रत्येक परीक्षण के अंदर np.random.seed(0) सेट किया है, ताकि फिर भी यादृच्छिकता के साथ खिलवाड़ किए बिना समय-समय पर परीक्षणों को फिर से आदेश देने के लिए खुद को लचीलापन देने के लिए, पुनरुत्पादन सुनिश्चित करने के लिए। जैसे ही मैंने किया, GSCV त्रुटि पर लटकाए गए सभी परीक्षण फिर से काम करना शुरू कर दिए।

def test_name():
    np.random.seed(0)
    test_code_involving_gscv_here

आशा है कि यह डिबगिंग के साथ मदद करता है!

देव वातावरण:
मैक ओएस एक्स (सिएरा)
पायथन 2.7
पुस्तकालयों के अद्यतित संस्करण।

@ClimbsRocks अच्छी तरह से यह शायद अपने

@ वामर : अच्छा फोन। मैं इसे पुन: पेश करने के लिए आप लोगों के लिए एक शाखा काटने के लिए रवाना हुआ, लेकिन इस बार सब कुछ सही ढंग से चला।

मुझे लगता है कि यह शायद जीएससीवी के समानांतरकरण का उपयोग करने वाला एक मुद्दा था, जब मैं प्रोग्राम के अन्य हिस्सों में पाथोस के समानांतरकरण का उपयोग कर रहा हूं। यह केवल एक अन्य संबंधित चीज है जिसे मैंने पिछले एक सप्ताह में बदला है।

मैंने तब से और अधिक अच्छी तरह से बंद कर दिया है और उनके मल्टीप्रोसेसिंग पूल को खोल दिया है।

मुझे क्या लगता है यह अनुमान लगाने वालों में से एक में सिर्फ एक बग नहीं था कि टेस्ट सूट का निर्माण करते समय, प्रत्येक परीक्षण व्यक्तिगत रूप से चला और पारित हो गया। जब मैं एक ही पास में कई परीक्षण चला रहा था तभी जीएससीवी पर निर्भर था कि यह लटका हुआ था।

इस अनिश्चितता को नोट करने के लिए पहले टिप्पणी संपादित की गई।

यदि आप जॉबलिब को किसी अन्य समानांतरकरण के साथ जोड़ते हैं, तो यह बहुत संभावना है कि यह दुर्घटनाग्रस्त हो जाएगा और आपको यह कोशिश नहीं करनी चाहिए।

इस धागे को क्षमा करें, लेकिन मैं भी इस समस्या का सामना करता हूं।
मैंने पायथन 3.5 कर्नेल और परिभाषित जॉब लिबर स्टार्ट विधि को फोर्केस्वर बनाया है, लेकिन मुझे अभी भी समस्या है।

वास्तव में यह n_jobs = 1 के साथ भी काम नहीं करता है। मुझे लगता है कि यह अंतिम पैरामीटर को छोड़कर गणना करता है।

कोई खबर है ?

वास्तव में यह n_jobs = 1 के साथ भी काम नहीं करता है। मुझे लगता है कि यह अंतिम पैरामीटर को छोड़कर गणना करता है।

यह अजीब है और बहुत संभवत: इस मुद्दे से संबंधित नहीं है (जो लगभग n_jobs != 1 )। अच्छी प्रतिक्रिया पाने का सबसे अच्छा तरीका यह होगा कि समस्या को दोहराते हुए एक अलग-अलग मुद्दे के साथ एक अलग मुद्दा खोला जाए।

मुझे पूरा यकीन है कि मैं इस मुद्दे पर खुद आ रहा हूं। कई संयोजनों की कोशिश करने के बाद, मैं सब कुछ n_jobs के साथ करता हूं> 1 बस कुछ सिलवटों के बाद जमा देता है। मैं sklearn = 0.19.0 के साथ उबंटू लिनक्स लैपटॉप पर हूं, इसलिए यह उन अन्य लोगों से अलग कॉन्फ़िगरेशन है, जिन्हें मैंने पढ़ा है। यहाँ "अपमानजनक" कोड है:

import xgboost as xgb
from sklearn.model_selection import GridSearchCV
cv_params = {'max_depth': [3,5,7], 'min_child_weight': [1,3,5]}

ind_params = {'learning_rate': 0.1, 'n_estimators': 1000, 'seed':0, 'subsample': 0.8, 'colsample_bytree': 0.8,  'objective': 'binary:logistic'}
optimized_XGB = GridSearchCV(xgb.XGBClassifier(**ind_params), 
                            cv_params, scoring = 'roc_auc', cv = 5, n_jobs = 1, verbose=2) 
optimized_XGB.fit(xgboost_train, label_train,eval_metric='auc')

दिलचस्प चीजों में से एक यह है कि जब मैं xgboost को आयात करता हूं, तो मुझे GridSearchCV पर एक पदावनति चेतावनी मिलती है जैसे कि यह model_selection से आयात नहीं कर रहा था। हालाँकि, मैं xgboost 0.62 पर हूं और उनकी रिपॉजिटरी को देखकर ऐसा लग रहा है कि वे सही ग्रिडसर्चवीवी आयात कर रहे हैं। स्पष्ट होने के लिए, पदावनति की चेतावनी वह मुद्दा नहीं है जो मुझे चिंतित करता है, बल्कि इसके लिए एक है: n_jobs> 1 के साथ निष्पादन फ्रीज। सिर्फ मामले में यह मदद कर सकता है।

क्या आप समस्या को दोहराने में मदद करने के लिए डेटा प्रदान कर सकते हैं?

24 अगस्त 2017 को 20:29 पर, जेवियर अमत्रियन सूचनाएं @github.com
लिखा था:

मुझे पूरा यकीन है कि मैं इस मुद्दे पर खुद आ रहा हूं। कई कोशिश करने के बाद
संयोजन, सब कुछ मैं n_jobs के साथ करता हूं> 1 बस कुछ के बाद जमा देता है
परतों। मैं sklearn = 0.19.0 के साथ उबंटू लिनक्स लैपटॉप पर हूं, इसलिए यह ए
दूसरों से अलग विन्यास मैंने चारों ओर पढ़ा है। यहाँ है
"अपमानजनक" कोड:

`xgboost को xgb के रूप में आयात करें
Sklearn.model_selection आयात GridSearchCV से
cv_params = {'max_depth': [3,5,7], 'min_child_weight': [1,3,5]}

ind_params = {'learning_rate': 0.1, 'n_estimators': 1000, 'बीज': 0,
'सदस्यता': 0.8, 'colsample_bytree': 0.8, 'उद्देश्य': ' बाइनरी: लॉजिस्टिक '}
अनुकूलित_XGB = ग्रिडसर्च सीवी (xgb.XGBClassifier (** ind_params),
cv_params, स्कोरिंग = 'roc_auc', cv = 5, n_jobs = 1, क्रिया = 2)
अनुकूलित_XGB.fit (xgboost_train, label_train, eval_metric = 'auc')

दिलचस्प चीजों में से एक यह है कि जब मैं xgboost आयात करता हूं, तो मुझे ए
GridSearchCV पर पदावनति चेतावनी जैसे कि यह आयात नहीं कर रहा था
model_selection। हालाँकि, मैं xgboost 0.62 पर हूं और उनकी तलाश में हूं
रिपॉजिटरी में ऐसा लगता है कि वे सही GridSearchCV का आयात कर रहे हैं। होने के लिए
स्पष्ट है, पदावनति चेतावनी वह मुद्दा नहीं है जो मुझे चिंतित करता है बल्कि
एक हाथ में: निष्पादन n_jobs> 1 के साथ ठंड। बस अंदर जाने का इशारा किया
मामला यह मदद कर सकता है।

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का उत्तर सीधे दें, इसे GitHub पर देखें
https://github.com/scikit-learn/scikit-learn/issues/5115#issuecomment-324597686 ,
या धागा म्यूट करें
https://github.com/notifications/unsubscribe-auth/AAEz66DbfTlnU_-dcxLKa5zkrcZ-0qVOks5sbVCmgaJpZM4FqYlN
।

ज़रूर, आप मेरे द्वारा उपयोग की जा रही सटीक फ़ाइलों को डाउनलोड कर सकते हैं:
https://xamat.github.io/xgboost_train.csv
https://xamat.github.io/label_train.csv

HTTP404

क्षमा करें, पहले लिंक में एक गलती थी, इसे अब ठीक किया जाना चाहिए। दूसरा भी ठीक होना चाहिए, मैंने अभी जाँच की है।

Xgboost के साथ ज्ञात समस्या, उदाहरण के लिए https://github.com/scikit-learn/scikit-learn/issues/6627#issuecomment -206351138 देखें।

FYI करें, जॉबलिब में

क्या यह अभी भी एक बग है? मुझे चूक (n_jobs = 1) के साथ-साथ pre_dispatch = 1 के साथ भी समस्या हो रही है, मापदंडों के 80 संयोजनों और ShuffleSplit CV (n = 20) के साथ RandomForestClassifier का उपयोग करते हुए।

यह एक पाइपलाइन के लिए भी लटका है ( SelectKBest(score_func=mutual_info_classif, k=10) RandomForestClassifier ), दोनों नवीनतम रिलीज के साथ-साथ डेवेल संस्करण के तहत।

मुझे बताएं कि क्या आप लोगों को वर्कअराउंड, या अन्य मॉडल चयन के तरीके मिलते हैं जो मज़बूती से काम करते हैं। scikit-optimize एक कोशिश देने की सोच।

क्या आपका मतलब है n_jobs = 1 या यह टाइपो है? यह समस्या n_jobs के बारे में है! = 1।

गुणवत्ता फीड-बैक प्राप्त करने का सबसे अच्छा तरीका समस्या को पुन: उत्पन्न करने का एक तरीका प्रदान करना है। कृपया इस मामले में एक अलग मुद्दा खोलें यदि आप जो समस्या देख रहे हैं वह वास्तव में n_jobs = 1 के साथ है।

मैंने लिखा है कि मेरा क्या मतलब है, जो "सक्षम सक्षम है"
n_jobs! = 1 के रूप में '1 के बराबर नहीं'। समान रूप से, n_jobs> 1. उदाहरण के लिए, n_jobs = 4

क्या आप कह रहे हैं कि आप n_jobs = 4 के लिए फ़्रीज को रिप्रोज़ नहीं कर सकते हैं?

यदि ऐसा है, तो मैं एक महीने के भीतर टेस्टकेस प्रदान करूंगा (मैं एक नई मशीन में बदल रहा हूं।)

12 सितं,, 2017, पर 7:10 AM पर, Loic Estève < [email protected] [email protected] > ने लिखा:

क्या आपका मतलब है n_jobs = 1 या यह टाइपो है? यह समस्या n_jobs के बारे में है! = 1।

गुणवत्ता फीड-बैक प्राप्त करने का सबसे अच्छा तरीका समस्या को पुन: उत्पन्न करने का एक तरीका प्रदान करना है। कृपया इस मामले में एक अलग मुद्दा खोलें यदि आप जो समस्या देख रहे हैं वह वास्तव में n_jobs = 1 के साथ है।

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का उत्तर सीधे दें, इसे GitHub https://github.com/scikit-learn/scikit-learn/issues/5115#issuecomment-328864498 पर https://itithub.com/notifications/unsubscribe- पर म्यूट

@smcinerney क्या आप @ कामना हैं? मुझे लगता है कि @lesteve @raamana का जवाब दिया जिसने लिखा n_jobs=1 है, जो इस मुद्दे से संबंधित नहीं हो रहा है।

ओह सॉरी, नहीं मैं @raamana नहीं हूं। हां @ रमाना का मुद्दा अलग है (लेकिन शायद उसी कोड के कारण)

12 सितं,, 2017, पर 9:23 AM पर, एंड्रियास मुलर < [email protected] [email protected] > ने लिखा:

@smcinerney https://github.com/smcinerney क्या आप @raamana https://github.com/raamana हैं ? मैं @lesteve लगता https://github.com/lesteve @raamana का जवाब दिया https://github.com/raamana जो जो इस मुद्दे से संबंधित नहीं हो रहा है n_jobs = 1, लिखा था।

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का उत्तर सीधे दें, इसे GitHub https://github.com/scikit-learn/scikit-learn/issues/5115#issuecomment-328905819 पर https://adithub.com/notifications/unsubscribe- पर म्यूट

मेरा बुरा, मैं सामान मिश्रण मतलब नहीं था। मैं एक और मुद्दा (कम से कम कोड के साथ इसे पुन: पेश करने के लिए) खोलूंगा, लेकिन क्या GridSearchCV डिफ़ॉल्ट n_jobs = 1 के साथ भी लटका नहीं है एक बड़ी चिंता है (यह डिफ़ॉल्ट है और काम करने वाला है) n_jobs> 1 की तुलना में।

@ कामना हाँ, यह एक बड़ी चिंता है लेकिन यह भी एक संबंधित मुद्दे के कारण होने की संभावना नहीं है।

@ एरिक-चेक @jnothman
इसलिए यदि आप बैकएंड = 'थ्रेडिंग' का उपयोग करने का निर्णय लेते हैं। स्केलेर कोड को बदलने के बिना एक आसान तरीका यह होगा कि समानांतर_बैकेंड संदर्भ प्रबंधक का उपयोग किया जाए और जीएसवी के फिट तरीके में बदलाव न किया जाए।

from sklearn.externals.joblib import parallel_backend

clf = GridSearchCV()
with parallel_backend('threading'):
    clf.fit(x_train, y_train)

पुनश्च: मुझे यकीन नहीं है कि "थ्रेडिंग" सभी अनुमानकों के लिए काम करता है। लेकिन मैं अपने अनुमानक के साथ GSV njob> 1 के साथ एक ही मुद्दा रख रहा था और पुस्तकालय को बदले बिना मेरे लिए इस काम का उपयोग कर रहा था।

सिस्टम ने कोशिश की:
मैक ओएस: 10.12.6
अजगर: 3.6
numpy == 1.13.3
पांडा == 0.21.0
scikit सीखने == 0.19.1

हम्म ... बैकएंड में थ्रेडिंग का उपयोग करने के साथ कुछ समसामयिक मुद्दे हो सकते हैं
उदाहरण के लिए ग्रिड खोज, # 10329 में बग रेस की स्थिति बनाता है ...

22 दिसंबर 2017 को 03:59 बजे, त्रिदीप रथ सूचनाएँ @ithub.com ने लिखा:

@ एरिक-चेक https://github.com/eric-ceshop @jnothman
https://github.com/jnothman
इसलिए यदि आप बैकएंड = 'थ्रेडिंग' का उपयोग करने का निर्णय लेते हैं। बिना एक आसान विधि
स्केलेर कोड को बदलना समानांतर_बैक संदर्भ प्रबंधक का उपयोग करना होगा
और जीएसवी के फिट तरीके में बदलाव नहीं हुआ।

sklearn.externals.joblib से समांतर_बैकेंड आयात करें

clf = GridSearchCV ()
समानांतर_बैक के साथ ('सूत्रण'):
clf.fit (x_train, y_train)

पुनश्च: मुझे यकीन नहीं है कि "थ्रेडिंग" सभी अनुमानकों के लिए काम करता है। लेकिन मैं था
जीएसवी njob> 1 के साथ मेरे अनुमानक के साथ एक ही मुद्दा रहा है और इसका उपयोग कर रहा हूं
पुस्तकालय को बदले बिना मेरे लिए अपेक्षित रूप से काम करता है।

सिस्टम ने कोशिश की:
मैक ओएस: 10.12.6
अजगर: 3.6
numpy == 1.13.3
पांडा == 0.21.0
scikit सीखने == 0.19.1

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का उत्तर सीधे दें, इसे GitHub पर देखें
https://github.com/scikit-learn/scikit-learn/issues/5115#issuecomment-353402474 ,
या धागा म्यूट करें
https://github.com/notifications/unsubscribe-auth/AAEz64SfwYpjLU1JK0vukBRXJvWYs3LKks5tCo51gaJpZM4FqYlN
।

केस: बैकएंड का उपयोग "थ्रेडिंग" के रूप में और एस्टीमेटर का उपयोग करके जो बेसिस्टिमेटर और क्लासिफायरमिक्सिन का विस्तार करता है। मुझे यकीन नहीं है कि दौड़ की स्थिति कहां है। क्या आप कृपया विस्तार से बता सकते हैं।

मेरी समझ और प्रयोगों के अनुसार, मैंने कोई दौड़ की स्थिति नहीं देखी।

out = Parallel(
    n_jobs=self.n_jobs, verbose=self.verbose,
    pre_dispatch=pre_dispatch
)(delayed(_fit_and_score)(clone(base_estimator), X, y, scorers, train,
                          test, self.verbose, parameters,
                          fit_params=fit_params,
                          return_train_score=self.return_train_score,
                          return_n_test_samples=True,
                          return_times=True, return_parameters=False,
                          error_score=self.error_score)
  for parameters, (train, test) in product(candidate_params,
                                           cv.split(X, y, groups)))

_fit_and_score को क्लोन (base_estimator) पर बुलाया जाता है। यह एक deep_copy करता है और इसकी एक प्रति स्वयं के डेटा में है।

बाहर _fit_and_score पद्धति का आउटपुट है। इसलिए इसके बाद, सभी थ्रेड्स ने अनुमानक की फिट विधि को पूरा करना और परिणामों की सूचना दी।

परिणाम आपको GCV_clf.cv_results_ से मिलता है

क्या आप कृपया इस विशिष्ट मामले में बता सकते हैं कि यह दौड़ की स्थिति का कारण क्यों बनेगा?

रेस की स्थिति तब होती है जब आप नेस्टेड पैरामीटर सेट कर रहे होते हैं, जब कि
एक परम परिवर्तित एक अनुमानक है और दूसरा उसी का एक पैरामीटर है
आकलनकर्ता।

मैं हाल के संस्करणों के साथ विन 7 के तहत GridSearchCv और n_jobs=-1 के साथ संयोजन में make_scorer का उपयोग कर एक ही समस्या का सामना कर रहा हूं:

Windows-7-6.1.7601-SP1
Python 3.6.4 |Anaconda, Inc.| (default, Jan 16 2018, 10:22:32) [MSC v.1900 64 bit (AMD64)]
NumPy 1.12.1
SciPy 1.0.0
Scikit-Learn 0.19.1

@mansenfranzen अपने संस्करणों और मंच को पोस्ट करने के लिए धन्यवाद! कुछ अच्छी गुणवत्ता वाले फीड-बैक प्राप्त करने का सबसे अच्छा मौका समस्या को पुन: उत्पन्न करने के लिए एक स्टैंड-अलोन स्निपेट प्रदान करना है। अधिक जानकारी के लिए कृपया https://stackoverflow.com/help/mcve पढ़ें।

Win7 के तहत एक ही समस्या का अनुभव किसी भी कस्टम प्रीप्रोसेसिंग चरणों के साथ।
toolchain:

Python 3.6.2
NumPy 1.13.1, 1.14.2 (under both)
SciPy 1.0.0
SkLearn 0.19.1

MCVE:

from sklearn.pipeline import Pipeline, make_pipeline
from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score
import numpy as np

class CustomTransformer:
    def fit(self, X, y):
        return self

    def transform(self, X):
        return X

pipeline = make_pipeline(CustomTransformer(),
                         SVC())

X_train = np.array([[1.0, 2.0], [3.0, 4.0], [5.0, 6.0], [7.0, 8.0]])
y_train = np.array([1.0, 0.0, 0.0, 1.0])

print(cross_val_score(pipeline, X_train, y_train, cv=2, n_jobs=-1))

क्या आप जानते हैं कि पायथन मल्टीप्रोसेसिंग if __name__ == '__main__' बिना विंडोज में काम नहीं करेगी?

हां मैं हूं। क्षमा करें, यह बताना भूल गया कि मैं ज्यूपिटर का उपयोग कर रहा हूं।
if __name__ == '__main__' साथ एक स्टैंडअलोन स्क्रिप्ट निम्नलिखित निशान प्रिंट करती है और फिर भी जमा होती है:

Process SpawnPoolWorker-1:
Traceback (most recent call last):
  File "C:\Python\Python36\lib\multiprocessing\process.py", line 249, in _bootstrap
    self.run()
  File "C:\Python\Python36\lib\multiprocessing\process.py", line 93, in run
    self._target(*self._args, **self._kwargs)
  File "C:\Python\Python36\lib\multiprocessing\pool.py", line 108, in worker
    task = get()
  File "C:\Python\Python36\lib\site-packages\sklearn\externals\joblib\pool.py", line 362, in get
    return recv()
  File "C:\Python\Python36\lib\multiprocessing\connection.py", line 251, in recv
    return _ForkingPickler.loads(buf.getbuffer())
AttributeError: Can't get attribute 'CustomTransformer' on <module '__mp_main__' from 'C:\\projects\\Python\\Sandbox\\test.py'>
< same for SpawnPoolWorker-3 here >

ओह दिलचस्प। सादे आलस्य से बाहर मैंने पूरी स्क्रिप्ट if __name__ == '__main__' तहत रखी और पिछले टिप्पणी से परिणाम प्राप्त किया।

अब मैंने केवल pipeline = make_pipeline... , और इसे सफलतापूर्वक निष्पादित किया गया। शायद यह जुपिटर में कारण है?

वैसे भी, मुझे नहीं पता कि पिछली टिप्पणी में व्यवहार वैध है और if __name__ == '__main__' के अनुचित उपयोग के कारण है, या यदि यह स्केलेर की गलती है।

ऐसा लगता है कि यह हमारे पुस्तकालय के साथ समस्या नहीं है, लेकिन निष्पादन के बारे में है
विंडोज़ में मल्टीप्रोसेसिंग के लिए संदर्भ ...

ये गन्दा हे। और वास्तव में, मैं Ubuntu के तहत किसी भी समस्या को हर चीज के समान संस्करणों के साथ पुन: पेश नहीं कर सका। मदद के लिए शुक्रिया!

पुष्टि कर सकते हैं कि यह बग जीवित है और अच्छी तरह से।

एक जूपीटर नोटबुक में विंडोज 10 पर चल रहा है, Python3, Sklearn 0.19.1

लिनक्स टकसाल (उबंटू 16.10) पायथन 3.5 पर समान समस्या

प्रत्येक कोर पर पहले एपोच में सब कुछ फंस जाता है, और सीपीयू बेकार हो जाता है, इसलिए कोई काम नहीं किया जा रहा है।

@MrLobs कि एक अचार त्रुटि की तरह लगता है, है ना? कस्टमट्रांसफॉर्मर को एक अलग अजगर फ़ाइल में रखें।

@ Chrisjw42 @avatsaev अधिक संदर्भ के बिना हम वास्तव में बहुत कुछ नहीं कर सकते।
@avatsaev लगता है कि आप टेंसरफ़्लो का उपयोग कर रहे हैं?

@amueller हाँ यह टेंसरफ़्लो है

@avatsaev अभी भी वास्तव में पर्याप्त जानकारी नहीं है। क्या आपके पास प्रजनन करने के लिए एक न्यूनतम उदाहरण है? आप किस blas का उपयोग कर रहे हैं, क्या आप GPU का उपयोग कर रहे हैं, scikit- क्या संस्करण का उपयोग कर रहे हैं ...

ठीक है, यह पता चला है क्योंकि मैं TF GPU का उपयोग कर रहा हूं इसलिए n_jobs को> 1 पर सेट करना वास्तव में काम नहीं करता है, जो सामान्य है क्योंकि मेरे पास केवल GPU GPU है

हाँ, आपको वास्तव में TF के साथ n_jobs का उपयोग नहीं करना चाहिए।

क्यों नहीं?

@amueller , हाँ, कस्टम ट्रांसफार्मर को एक अलग फ़ाइल में डालकर इसे हल करता है

क्या n_jobs के लिए यह संभव है! = 1 वातावरण में एक त्रुटि (या कम से कम एक चेतावनी) फेंकने के लिए जो इसे लटका देने वाला है? मुझे सिर्फ ज्यूपिटर नोटबुक्स में इस समस्या का सामना करना पड़ा, और अगर मैं अधिक शुरुआती उपयोगकर्ता था (मेरी कक्षा के बाकी हिस्सों की तरह), तो मुझे कभी भी यह पता नहीं चलता था कि ग्रिडसर्चकव क्यों लटका रहता है, वास्तव में, हमारे शिक्षक ने भी हमें n_jobs = का उपयोग करने की सलाह दी थी। 1। अगर यहाँ समस्या का पता चल जाता है, तो क्या पैकेज (keras, या sklearn, जो भी) चेतावनी दे सकता है कि यह घटित होगा और हैंग को रोकेगा?

मुझे नहीं लगता कि किसी को भी पता है कि यह किस माहौल में लटका हुआ है ... मुझे विश्वास नहीं होता कि किसी ने भी इस बग को विश्वसनीय तरीके से पुन: पेश करने में कामयाबी हासिल की है।

लेकिन हम अपने मल्टीप्रोसेसिंग इन्फ्रास्ट्रक्चर को बेहतर बनाने की दिशा में काम कर रहे हैं।
यह मेरे लिए स्पष्ट नहीं है कि क्या ऐसे सभी मुद्दों को हल किया जाएगा।

@jnothman 👍

यह सुनकर अच्छा लगा!

मुझे यकीन नहीं है कि इसे 0.21 क्यों टैग किया गया है। यह ज्यादातर उदाहरणों में 0.20 में हल किया गया है। मुझे लगता है कि हमें इसे बंद करना चाहिए और लोगों को नए मुद्दे खोलने चाहिए। यह एक बहुत लंबा और अनिर्दिष्ट है।

मैं ज्यूपिटर के साथ एडब्ल्यूएस उबंटू पर ही सामना कर चुका हूं ...

समानांतर_बैक का उपयोग करना काम करने लगता है ...

from sklearn.externals.joblib import parallel_backend

clf = GridSearchCV(...)
with parallel_backend('threading'):
    clf.fit(x_train, y_train)

@morienor यदि आप scikit-learn 0.20.1 के साथ इस मुद्दे को पुन: पेश कर सकते हैं, तो कृपया किसी अन्य व्यक्ति के लिए समस्या के पुन: उत्पन्न करने में सक्षम होने के लिए सभी आवश्यक विवरणों के साथ एक नया मुद्दा खोलें (एक नकली यादृच्छिक डेटासेट पर आयात विवरणों के साथ पूर्ण स्क्रिप्ट) अजगर के लिए सभी संस्करण संख्याओं के साथ, scikit-learn, numpy, scipy और ऑपरेटिंग सिस्टम।

मैं ज्यूपिटर के साथ एडब्ल्यूएस उबंटू पर ही सामना कर चुका हूं ...

समानांतर_बैक का उपयोग करना काम करने लगता है ...

from sklearn.externals.joblib import parallel_backend

clf = GridSearchCV(...)
with parallel_backend('threading'):
    clf.fit(x_train, y_train)

यह मेरे लिए काम करता है! आपका बहुत बहुत धन्यवाद!

@ jmq19950824 @morienor हाँ, लेकिन GIL के कारण threading बैकेंड का उपयोग करने का कोई मतलब नहीं है।

मैं ज्यूपिटर के साथ एडब्ल्यूएस उबंटू पर ही सामना कर चुका हूं ...

समानांतर_बैक का उपयोग करना काम करने लगता है ...

from sklearn.externals.joblib import parallel_backend

clf = GridSearchCV(...)
with parallel_backend('threading'):
    clf.fit(x_train, y_train)

प्रतिभा मेरे लिए काम करती है