Scikit-learn: मुझे समझ में नहीं आता कि एनाकोंडा/एमकेएल के साथ कैसे बनाया जाए

आपने इसे कैसे स्थापित किया?

यह मेरे लिए बहुत स्वचालित है क्योंकि मुझे बस एक लाइसेंस फ़ाइल जोड़ने और चलाने की आवश्यकता है
कोंडा अपग्रेड (या ऐसा ही कुछ)

मैंने वह भी किया, और यह मुझे mkl के साथ सुन्न कर देता है। लेकिन अगर मैं स्केलेर को संकलित करने का प्रयास करता हूं तो मुझे आयात पर त्रुटियों को जोड़ने में त्रुटि मिलती है।

हुम मुझे नहीं पता। शायद आपके स्थानीय अजगर और एनाकोंडा के साथ संघर्ष
सेटअप के दौरान :(

एचएम, शायद मुझे LD_LIBRARY_PATH या कुछ और सेट करने की ज़रूरत है?

मेरे पास कुछ ऐसा करने के लिए मेरा सेट है

LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/u/kkastne/miniconda/lib/

हालांकि आदेश देना महत्वपूर्ण हो सकता है अगर यह अन्य पुस्तकालयों को दूसरे से पाता है
पायथन पहले स्थापित करता है।

बुधवार, 29 जुलाई, 2015 को शाम 5:01 बजे, एंड्रियास म्यूएलर सूचनाएं @github.com
लिखा था:

एचएम, शायद मुझे LD_LIBRARY_PATH या कुछ और सेट करने की ज़रूरत है?

-
इस ईमेल का सीधे उत्तर दें या इसे GitHub पर देखें
https://github.com/scikit-learn/scikit-learn/issues/5046#issuecomment-126094651
.

यह सिस्टम सुन्न और LD_LIBRARY_PATH को मिलाने का एक संयोजन था... हमेशा अच्छा मज़ा... शोर के लिए क्षमा करें।

मुझे वही समस्या हो रही है। @amueller नोब प्रश्न: आप मिश्रण के लिए कहां खोजते हैं? (ld_lib_path)

मुझे अपने प्रोग्राम को संकलित करने के लिए एनाकोंडा में pyinstaller का उपयोग करके एक ही समस्या हो रही है। जब मैं इसे कुछ मशीनों पर निष्पादित करता हूं, तो यह उपर्युक्त त्रुटि उठाता है। मेरे मामले में, अगर मैं $LD_LIBRARY_PATH को प्रतिध्वनित करता हूं तो मुझे कुछ ऐसे रास्ते दिखाई देते हैं जो हमारे सिस्टम मैनेजर ने कुछ कार्यक्रमों के काम करने के लिए निर्धारित किए हैं। मैंने इसे एनाकोंडा लिब पथ पर सेट करने और इसे खाली छोड़ने का प्रयास किया, लेकिन यह त्रुटि उत्पन्न करता रहता है।

मुझे लगता है कि एक नई त्रुटि है, मैंने इसे ट्रैविस इंस्टेंस पर अभी प्राप्त किया है।

आपकी समस्या कब होती है? क्योंकि मेरे मामले में, मैं conda install numpy के साथ स्थापित कर सकता था, और त्रुटि संदेश नहीं मिला। बाद में, मैंने pyinstaller के साथ सफलतापूर्वक एक-फ़ाइल बाइनरी उत्पन्न की। यह तब होता है जब वास्तव में निष्पादन योग्य का उपयोग किया जाता है, किसी बिंदु पर, कुछ बायोपीथन कोड पर कॉल त्रुटि को बढ़ा रहा है। तो मुझे लगता है कि रनटाइम पर, कोड का परीक्षण करते समय आपको भी समस्या हो रही है, है ना?

अगर मैं अपने कोंडा इंस्टॉलेशन की जांच करता हूं, तो दोनों libmkl_avx2.so और libmkl_def.so $home/anaconda2/lib फ़ोल्डर में मौजूद हैं। मैंने पाइंटलर स्पेक फ़ाइल में फ़ाइलों को बायनेरिज़ के रूप में जोड़ने का भी प्रयास किया है, लेकिन इनमें से कोई भी काम नहीं करता है ...

मुझे लगता है कि एक नई त्रुटि है, मैंने इसे ट्रैविस इंस्टेंस पर अभी प्राप्त किया है।

@amueller मैंने यह त्रुटि देखी है:

Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so.

ट्रैविस पर भी। जो मैं इकट्ठा कर सकता था, वह 1.10.2 के कारण कुछ एमकेएल सामान गायब था। numpy 1.10.4 ठीक था। यह https://github.com/scikit-learn/scikit-learn/pull/6508#issuecomment -194908920 में नोट किया गया था।

रिकॉर्ड के लिए मुझे एनाकोंडा (एमकेएल के साथ या उसके बिना) के साथ स्किकिट-लर्न बनाने के लिए कभी भी LD_LIBRARY_PATH सेट नहीं करना पड़ा।

@clacri क्या आपकी समस्या विज्ञान-सीखने से संबंधित है? यदि नहीं, तो ऐसा लगता है कि आपको अपना प्रश्न या तो pyinstaller या Biopython लोगों से पूछना चाहिए ...

जो मैं इकट्ठा कर सकता था, वह 1.10.2 के कारण कुछ एमकेएल सामान गायब था।

यहां एक स्निपेट है जो मेरी मशीन पर समस्या को पुन: उत्पन्न करता है:

conda create -n mkl --yes python=3.5 pip nose numpy=1.10.2 scipy=0.16.1 cython=0.23.4 mkl
. activate mkl
cd ~/dev/scikit-learn
make in
python -c 'import sklearn.linear_model.tests.test_randomized_l1'

Intel MKL FATAL ERROR: Cannot load libmkl_mc3.so or libmkl_def.so.

नहीं, तुम सही हो। मुझे उनकी मुद्दों की सूची पर पोस्ट करना चाहिए। यह सिर्फ इतना है कि मैंने देखा कि यहां बताई गई त्रुटि वही थी और एनाकोंडा का उपयोग करते समय भी, इसलिए मैंने सोचा कि यह संबंधित हो सकता है। मैंने पहले से ही pyinstaller प्रोजेक्ट पर पूछा है, क्योंकि ऐसा लगता है कि अन्य एमकेएल पुस्तकालयों के साथ एक समान समस्या है। किसी भी स्थिति में, मैंने एनाकोंडा में अपने सुन्न संस्करण की जाँच की, और यह 1.10.4 है। फिर भी धन्यवाद :)

केवल रिकॉर्ड के लिए, आपकी संदर्भित टिप्पणी के माध्यम से ब्राउज़ करते हुए, मुझे एनाकोंडा ब्लॉग पर पोस्ट मिली जहां वे वर्णन करते हैं कि पुस्तकालयों के एमकेएल संस्करणों को कैसे निष्क्रिय किया जाए (https://www.continuum.io/blog/developer-blog/anaconda-25) -रिलीज-अब-एमकेएल-ऑप्टिमाइज़ेशन) और अब कम से कम मैं एक वर्किंग वर्जन संकलित कर सकता हूं। धन्यवाद!

मेरे लिए एक ही समस्या के कारण, मैं mkl by conda install nomkl को बंद कर देता हूं। मैं अब खुश हूं। अगर यह समस्या ठीक हो गई है, तो कृपया हमारे साथ साझा करें ताकि मैं फिर से चालू कर सकूं। इस समस्या को विस्तार से बताने के लिए धन्यवाद।

समान समस्या

ऊपर दिए गए लिंक का पालन किया और मेरी समस्या का समाधान किया। धन्यवाद।

यह अब कम से कम मेरे लिए हल हो गया था। आप नए numpy 11 के साथ प्रयास कर सकते हैं।
बुध, अप्रैल 27, 2016 को 10:42 pm पर gjzhu [email protected] लिखा है:

समान समस्या। पता नहीं इससे कैसे निपटा जाए।

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपने टिप्पणी की थी।
इस ईमेल का सीधे उत्तर दें या इसे GitHub पर देखें
https://github.com/scikit-learn/scikit-learn/issues/5046#issuecomment -215292024

सुंगजिन (जेम्स) किम, पीएचडी

पोस्टडॉक, हार्वर्ड में सीसीबी

[email protected]

[वेब] http://aspuru.chem.harvard.edu/james-sungjin-kim/

[लिंक्डिन] https://www.linkedin.com/in/jamessungjinkim

[फेसबुक] https://www.facebook.com/jamessungjin.kim

[वैकल्पिक ईमेल] Jamessungjin. [email protected]

conda install numpy
मेरे लिए त्रुटि को ठीक किया

अच्छा। यह मेरे लिए भी काम करता है जैसा कि मैंने पहले उल्लेख किया था।

मंगल, 3 मई, वर्ष 2016 11:26 alinabee पर पर [email protected] लिखा है:

कोंडा इंस्टाल numpy
मेरे लिए त्रुटि को ठीक किया

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपने टिप्पणी की थी।
इस ईमेल का सीधे उत्तर दें या इसे GitHub पर देखें
https://github.com/scikit-learn/scikit-learn/issues/5046#issuecomment -216563766

सुंगजिन (जेम्स) किम, पीएचडी

पोस्टडॉक, हार्वर्ड में सीसीबी

[email protected]

[वेब] http://aspuru.chem.harvard.edu/james-sungjin-kim/

[लिंक्डिन] https://www.linkedin.com/in/jamessungjinkim

[फेसबुक] https://www.facebook.com/jamessungjin.kim

[वैकल्पिक ईमेल] Jamessungjin. [email protected]

नमस्ते,

बस यह नोट करना चाहता था कि एनाकोंडा 4.0.0, डिफ़ॉल्ट रूप से सक्षम एमकेएल के साथ भेज दिया गया है, इसमें यह समस्या है।
समस्या वास्तव में एनाकोंडा के साथ है, क्योंकि इसे @pcgreat द्वारा ऊपर सुझाए गए पायथन स्केलेर परीक्षण के साथ पुन: प्रस्तुत किया जा सकता है।

वास्तविक मुद्दा यह है कि एनाकोंडा mkl से जुड़ा है, लेकिन libmkl_core.so के साथ नहीं, इस प्रकार इसका एक लापता प्रतीक है, और इसे चलाकर देखा जा सकता है:

$ LD_DEBUG=symbols python -c 'import sklearn.linear_model.tests.test_randomized_l1' 2>&1 | grep -i error
      2200:     /opt/anaconda/lib/python2.7/site-packages/scipy/special/../../../../libmkl_avx.so: error: symbol lookup error: undefined symbol: mkl_dft_fft_fix_twiddle_table_32f (fatal)

मैं एमकेएल को अनइंस्टॉल नहीं करना चाहता था, क्योंकि मैं प्रदर्शन को बढ़ावा देना चाहता हूं, इसलिए मुझे एक वर्कअराउंड मिला जो मेरे लिए काम करता था - निष्पादन से पहले libmkl_core.so को प्रीलोड करें।

$ python -c 'import sklearn.linear_model.tests.test_randomized_l1'
Intel MKL FATAL ERROR: Cannot load libmkl_avx.so or libmkl_def.so.
$

$ LD_PRELOAD=/opt/anaconda/lib/libmkl_core.so python -c 'import sklearn.linear_model.tests.test_randomized_l1'
$

सादर,
यानिर।

बहुत बढ़िया उपाय सोचा है।

बुध, 11 मई, वर्ष 2016 7:00 पूर्वाह्न पर पर yanirj [email protected] लिखा है:

नमस्ते,

बस यह नोट करना चाहता था कि एनाकोंडा 4.0.0, mkl द्वारा सक्षम के साथ भेज दिया गया
डिफ़ॉल्ट, यह समस्या है।
समस्या वास्तव में एनाकोंडा के साथ है, क्योंकि इसके साथ पुन: पेश किया जा सकता है
पायथन स्केलेर परीक्षण ऊपर @ pcgreat . द्वारा सुझाया गया है
https://github.com/pcgreat.

वास्तविक मुद्दा यह है कि एनाकोंडा एमकेएल से जुड़ा है, लेकिन इसके साथ नहीं
libmkl_core.so, इस प्रकार इसमें एक लापता प्रतीक है, और इसे चलाकर देखा जा सकता है:

$ LD_DEBUG=प्रतीक अजगर-सी 'आयात sklearn.linear_model.tests.test_randomized_l1' 2>&1 | ग्रेप-आई एरर
2200: /opt/anaconda/lib/python2.7/site-packages/scipy/special/../../../../libmkl_avx.so: त्रुटि: प्रतीक लुकअप त्रुटि: अपरिभाषित प्रतीक: mkl_dft_fft_fix_twiddle_table_32f (घातक)

मैं एमकेएल को अनइंस्टॉल नहीं करना चाहता था, क्योंकि मैं प्रदर्शन को बढ़ावा देना चाहता हूं,
इसलिए मुझे एक वर्कअराउंड मिला जो मेरे लिए काम करता था - प्रीलोड libmkl_core.so पहले
क्रियान्वयन।

$ अजगर-सी 'आयात sklearn.linear_model.tests.test_randomized_l1'
इंटेल एमकेएल घातक त्रुटि: libmkl_avx.so या libmkl_def.so लोड नहीं कर सकता।
$

$ LD_PRELOAD=/opt/anaconda/lib/libmkl_core.so python -c 'आयात sklearn.linear_model.tests.test_randomized_l1'
$

सादर,
यानिर।

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपने टिप्पणी की थी।
इस ईमेल का सीधे उत्तर दें या इसे GitHub पर देखें
https://github.com/scikit-learn/scikit-learn/issues/5046#issuecomment -218427199

सुंगजिन (जेम्स) किम, पीएचडी

पोस्टडॉक, हार्वर्ड में सीसीबी

[email protected]

[वेब] http://aspuru.chem.harvard.edu/james-sungjin-kim/

[लिंक्डिन] https://www.linkedin.com/in/jamessungjinkim

[फेसबुक] https://www.facebook.com/jamessungjin.kim

[वैकल्पिक ईमेल] Jamessungjin. [email protected]

नवीनतम उपलब्ध पैकेजों का उपयोग करने के बावजूद, मुझे भी यही समस्या थी। मेरे विचार से समाधान आसान था: किसी भी कारण से एनाकोंडा ने एमकेएल-सक्षम संस्करणों को numpy/scipy स्टैक के स्थापित किया, लेकिन वास्तव में mkl स्वयं स्थापित नहीं किया। जुपिटर न्यूनतम नोटबुक स्टैक के आधार पर डॉकर छवियों का निर्माण करते समय मैंने इसे देखा है।

एक साधारण conda install --yes mkl mkl-service ने इसे मेरे लिए हल कर दिया।

मैं पहले से लोड की गई लाइब्रेरी के साथ एक आईपीथॉन टर्मिनल खोल रहा था और जब मैं पीसीए रूटीन में से एक चलाता हूं तो निम्न त्रुटि में चला जाता है।
:
/home/rp2801/anaconda2/bin/python: प्रतीक लुकअप त्रुटि: /home/rp2801/anaconda2/lib/libmkl_core.so: अपरिभाषित प्रतीक: mkl_serv_get_max_threads
मैंने अपना ipython टर्मिनल इस प्रकार खोला
$ LD_PRELOAD=/path/to/libmkl_core.so ipython

https://www.continuum.io/blog/developer-blog/anaconda-25-release-now-mkl-optimizations
इस लिंक ने समस्या हल की

मुझे वही त्रुटि मिल रही थी। एमकेएल स्विचिंग को पहले के cvxopt में बदलने के विकल्प ने भी मेरे लिए इस मुद्दे को हल किया:

कोंडा स्थापित करें cvxopt=1.1.8=py35_0

मैं समस्या को सफलतापूर्वक हल करता हूं, यह ट्यूटोरियल है https://docs.continuum.io/mkl-optimizations/
आदेश:
कोंडा अपडेट कोंडा
कोंडा अद्यतन एनाकोंडा
conda अद्यतन mkl

मैंने पाया कि मुझे numpy: 1.11.2 तहत एक ही समस्या
$ python -c 'import sklearn.linear_model.tests.test_randomized_l1'
इंटेल एमकेएल घातक त्रुटि: libmkl_avx.so या libmkl_def.so लोड नहीं कर सकता।

numpy को 1.11.1 में डाउनग्रेड करने के बाद यह त्रुटि गायब हो गई।
conda install numpy=1.11.1
निर्भरता संघर्षों के कारण निम्नलिखित पैकेजों को डाउनग्रेड किया जाएगा:
सुन्न: 1.11.2-py35_0 -> 1.11.1-py35_0
आगे बढ़ें ([y]/n)? आप

[हल किया गया] http://debugjournal.tumblr.com/post/98401758462/intel-mkl-dynamic-link-library-error

जोड़ा जा रहा है
np . के रूप में numpy आयात करें
लिपि की शुरुआत में समस्या हल हो गई :-)

एमकेएल को नॉमक्ल के साथ अक्षम नहीं करना चाहता था।
जोड़ा जा रहा है

import mkl
mkl.get_max_threads()

मेरे लिए इस समस्या का समाधान किया।

conda install numpy
मेरे लिए समस्या का समाधान किया।

कोंडा इंस्टाल-सी इंटेल एमकेएल

मेरे लिए काम किया

कोंडा इंस्टाल numpy
मेरे लिए भी समस्या का समाधान किया।