Scikit-learn: t-SNE में विफल रहता है सरणी के साथ infs या NaNs (OSX विशिष्ट) नहीं होना चाहिए

('स्किटिट-लर्न', '0.18.dev0') के साथ भी

क्या आप अपने डेटा एक्स को मेरे साथ साझा करने का मन बनाते हैं?

सुनिश्चित करें कि आप इसे कहाँ और किस प्रारूप में पसंद करेंगे?

17 अप्रैल 2016 को 09:11 बजे, ith ith सूचनाएँ @ithub.com ने लिखा:

क्या आप अपने डेटा एक्स को मेरे साथ साझा करने का मन बनाते हैं?

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपने थ्रेड को अधिकृत किया है।
इस ईमेल का उत्तर सीधे दें या इसे GitHub https://github.com/scikit-learn/scikit-learn/issues/6665#issuecomment -210968577 पर

मेरा ईमेल [email protected] है
जैसा कि मुझे पता है, एक सरणी को बाइनरी फ़ाइल में .npy प्रारूप ~~ में सहेजने के लिए एक फ़ंक्शन numpy.save है

मैं ubuntu 14.04 LTS के साथ आपके डेटा का परीक्षण करता हूं
अजगर == 2.7.6
scikit सीखने == 0.17.1
numpy == 1.8.2
scipy == 0.13.3
यह ठीक है और ValueError नहीं बढ़ाता है। परीक्षण कोड है:
`आयात सुन्न
a = numpy.load ('/ root / test.npy')
a.shape प्रिंट करें
प्रिंट numpy.isnan (a) .all () #False
numpy.isfinite (a) .all () #True प्रिंट करें
प्रिंट numpy.isinf (a) .all () #False

sklearn.manifold से TSNE आयात करें
proj = TSNE ()। fit_transform (a) # [[2.35503527e + 00 1.15976751e + 01] .... [3.29832591e + 00 8.98212513e + 00]]
प्रिंट करें

फिर मैं numpy को अपग्रेड करता हूं, 1.11.0, 0.17.0 पर स्काइप करता हूं और एक ही कोड के साथ टेस्ट करता हूं और इसमें कोई त्रुटि नहीं होती है।

ओएस एक्स एल कैपिटान के तहत एनाकोंडा के साथ 3.5 के लिए पुन: प्रस्तुत किया गया।

Darwin 15.4.0
Python 3.5.1 :: Anaconda custom (x86_64)
numpy 1.10.4
scipy 0.17.0
scikit-learn 0.17.1

उदाहरण रन:

import random
from sklearn.manifold import TSNE
random.seed(1)
a = np.random.uniform(size=(100,20))
TSNE(n_components=2).fit_transform(a)

धन्यवाद @ ivan-krukov, लेकिन मैं पायथन 3.3 में दोहराने में विफल रहा हूं। 3.5 की कोशिश करेंगे

यह 3.5 के तहत समान पैकेज के साथ linux (4.4.0-21, Ubuntu 16.04) पर लागू नहीं होता है।

मैं एल-कैपिटन पर हूं, लेकिन मैं पायथन 3.5 की स्थापना और चलने में असफल हो रहा हूं।

क्या इस पर कोई अपडेट है?

एनाकोंडा, Py 3.5, sklearn 0.17.1, OSX El Capitan पर मेरा एक डेटासेट पर मुद्दा है।
मैं @ ivan-krukov द्वारा दिए गए उदाहरण के साथ त्रुटि को पुन: उत्पन्न कर सकता हूं।

वही मुद्दा। 0.17 पर OS X El Capitan पर पायथन 2.7.6। लिनक्स पर पायथन 2.7.6 और 0.17 का उपयोग करके समान कोड की कोशिश की, और यह काम करता है।

वही मुद्दा।
OSX El Capitan पायथन 3.5.1
scikit सीखने == 0.17.1
scipy == 0.17.1

मेरे पास एक ही समस्या है और क्या वास्तव में एक फिक्स (या वर्कअराउंड) की सराहना करेंगे?
सिस्टम संस्करण: OS X 10.11.5
पायथन 3.5.1 :: एनाकोंडा 4.0.0 (x86_64)
numpy.version.version 1.11.0
scipy.version 0.17.1
sklearn। संस्करण 0.17.1

मैं ivan-krukov से कोड नमूने के साथ बग को पुन: पेश कर सकता हूं

पायथन 3.5 का उपयोग करते हुए ओएस एक्स ईआई कैपिटन पर एक ही मुद्दा

सिस्टम संस्करण: OS X 10.11.5
पायथन 3.5.1 :: कॉन्टिनम एनालिटिक्स, इंक।
numpy। संस्करण 1.11.1
scipy। संस्करण 0.16.0
sklearn। संस्करण 0.17.1

एक ही समस्या है। हालांकि मैंने देखा है कि यह केवल मेरे डेटासेट के सबसेट के लिए होता है न कि पूरी चीज़ के साथ । यही है, अगर मैं पूरे डेटा सेट पर TSNE करता हूं तो यह करता हूं तो यह नहीं होता है।

o_O ;; यह बस में है, अगर मैं उसी 'टूटी' सबसेट को दोहराता हूं जो काम नहीं करता है (सूची * 10 के माध्यम से) तो यह काम करता है। प्रत्येक व्यक्ति के वेक्टर को 10 से गुणा करने से काम नहीं होता है, लेकिन तारीख को दोहराता है। सूची की लंबाई दोगुनी अपर्याप्त है। हो सकता है कि यह स्वतंत्रता जांच रन एमोक की कुछ प्रकार की डिग्री है?

@ ivan-krukov मैंने आज बुलेट को थोड़ा सा हिलाया और एक एल कैपिटन वीएम स्थापित किया। दुर्भाग्य से मैं आपकी समस्या को पुन: पेश नहीं कर सकता

@ संयोजक क्या आप https://github.com/scikit-learn/scikit-learn/issues/6665#issuecomment -218365487 में दिए गए स्टैंड-अलोन उदाहरण पर त्रुटि को पुन: प्रस्तुत कर सकते हैं?

मैं एल-कैपिटन पर हूं, लेकिन मैं पायथन 3.5 की स्थापना और चलने में असफल हो रहा हूं।

@ जैनमन यह केवल पायथन 3.5 पर ही नहीं लगता है, इसलिए यदि आप पायथन 2.7 (स्निपेट: https://github.com/scikit-learn/scikit-learn/issues-6665#issuecomment-218365487) के साथ पुन: पेश करने की कोशिश कर सकते हैं ) वह महान होगा।

@lesteve मैं इस मुद्दे को पुन: पेश कर सकता हूं।

import numpy as np
import random
from sklearn.manifold import TSNE
random.seed(1)
a = np.random.uniform(size=(100,20))
TSNE(n_components=2).fit_transform(a)

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Users/dshank/miniconda3/envs/python3/lib/python3.5/site-packages/sklearn/manifold/t_sne.py", line 866, in fit_transform
    embedding = self._fit(X)
  File "/Users/dshank/miniconda3/envs/python3/lib/python3.5/site-packages/sklearn/manifold/t_sne.py", line 777, in _fit
    skip_num_points=skip_num_points)
  File "/Users/dshank/miniconda3/envs/python3/lib/python3.5/site-packages/sklearn/manifold/t_sne.py", line 832, in _tsne
    params, error, it = _gradient_descent(obj_func, params, **opt_args)
  File "/Users/dshank/miniconda3/envs/python3/lib/python3.5/site-packages/sklearn/manifold/t_sne.py", line 387, in _gradient_descent
    grad_norm = linalg.norm(grad)
  File "/Users/dshank/miniconda3/envs/python3/lib/python3.5/site-packages/scipy/linalg/misc.py", line 115, in norm
    a = np.asarray_chkfinite(a)
  File "/Users/dshank/miniconda3/envs/python3/lib/python3.5/site-packages/numpy/lib/function_base.py", line 1033, in asarray_chkfinite
    "array must not contain infs or NaNs")
ValueError: array must not contain infs or NaNs

एक ही कोड के बाद, हालांकि:

>>> a = np.random.uniform(size=(10000,20))
>>> TSNE(n_components=2).fit_transform(a)
array([[  3.25766047e+11,  -2.74708004e+11],
       [  2.43498802e+11,  -7.68189047e+10],
       [ -6.00107639e+09,  -1.13548763e+11],
       ..., 
       [  3.02794039e+10,   6.64402020e+11],
       [  2.55855781e+10,   5.67932400e+10],
       [  1.42040378e+11,  -7.55188994e+10]])

विचित्र।

मैं OSX El Capitan के साथ एक वर्चुअलबॉक्स पर minthonda (MKL के साथ) से 0.17.1, डरावना 1.11.1, डरावना 0.17.1 और स्किटिट-लर्निंग 0.17.1 के साथ या तो पुन: पेश नहीं कर सकता। मैं बाद में एक असली मैक हार्डवेयर पर कोशिश करूंगा।

इसके अलावा @joelkuiper और @Concomitant क्या आप जाँच सकते हैं कि आप scikit-learn मास्टर ब्रांच की वर्तमान स्थिति पर समस्या को पुन: उत्पन्न कर सकते हैं?

@ लेस्टवे और अन्य मैं पहले पायथन 2.7 के साथ नवीनतम मास्टर पर

व्यवस्था की सूचना:

Darwin-15.0.0-x86_64-i386-64bit
('Python', '2.7.10 (v2.7.10:15c95b7d81dc, May 23 2015, 09:33:12) \n[GCC 4.2.1 (Apple Inc. build 5666) (dot 3)]')
('NumPy', '1.11.0')
('SciPy', '0.17.0')
('Scikit-Learn', '0.18.dev0')

मैंने एक वास्तविक मैक पर फिर से प्रयास किया OSX El Capitan 10.11.3 (एनाकोंडा के नवीनतम सुन्न चीख़ और शिकवे के साथ, उसी सेटिंग के रूप में https://github.com/scikit-learn/scikit-learn/issues पर @Concomitant द्वारा रिपोर्ट की गई / 6665 # जारी करने -229703129) लेकिन समस्या को या तो पुन: उत्पन्न नहीं कर सका (कई बार स्निपेट चलाने की कोशिश की)।

हालांकि यह अजीब है कि np.random.seed(1) लाइन के बावजूद मुझे fit_transform के आउटपुट के लिए अलग-अलग परिणाम मिलते हैं। यह अपने आप में एक बग हो सकता है।

हालांकि यह अजीब है कि np.random.seed (1) लाइन के बावजूद मुझे fit_transform के आउटपुट के लिए अलग-अलग परिणाम मिलते हैं। यह अपने आप में एक बग हो सकता है।

वास्तव में मैंने @Concomitant का कोड स्निपेट बहुत तेज़ी से पढ़ा: random.seed(1) बजाय इसे np.random.seed(1) होना चाहिए अन्यथा सुव्यवस्थित RNG को उचित रूप से नहीं बदला गया है और किसी को भी परिणाम प्राप्त नहीं हो सकते हैं।

इसके अलावा मुझे अब एहसास हुआ कि मैंने पूरी चर्चा बहुत जल्दी पढ़ ली और बग केवल अजगर 2.7 के साथ होता है। फिर से कोशिश करेंगे।

मैं OSX 10.11.3 पर कोंडा से अजगर 2.7.12 के साथ या तो पुन: पेश नहीं कर सकता।

वास्तव में @ ईक्लिप्टर कोंडा से अजगर 3.5.1 के साथ इस मुद्दे को पुन: पेश कर सकता है, इसलिए यह शायद पायथन के संस्करण से संबंधित नहीं है। शायद यह OSX के मामूली संस्करण पर निर्भर करता है। अपग्रेड और रिटायर होगा।

मैं OSX 10.11.5 के साथ या तो दोहरा नहीं सकता। मैंने पायथन 2.7.12 और 3.5.2 के साथ दोनों की कोशिश की जो कोंपा के साथ 1.11.1, स्किपी 0.17.1 और स्किटिट-लर्न 0.17.1 के साथ स्थापित किया गया।

मुझे नहीं पता क्या करना है। यदि आप में से कोई भी समस्या को पुन: उत्पन्न कर सकता है, तो कृपया एक सुव्यवस्थित यादृच्छिक बीज खोजने की कोशिश करें जो कि मुद्दे को ट्रिगर करता है (उपरोक्त स्निपेट में random.seed(1) बजाय np.random.seed(my_seed) का उपयोग करके) और यहां मूल्य के साथ संवाद करें OSX का संस्करण और आप अजगर पैकेज)।

मैं पुष्टि कर सकता हूं कि नवीनतम संस्करण के साथ समस्या ठीक हो गई है। मैं अब इसे पहले की तरह पुन: पेश नहीं कर सकता।
मैंने केवल अद्यतन किया है:
numpy.version.version 1.11.1

Tensorflow के साथ काम करने वाले सभी लोगों को मैं जोड़ सकता हूँ:
जब मैं एक बहुत छोटा नमूना (<200 अंक) प्लॉट करने की कोशिश करता हूं तो मैं कभी-कभी इस त्रुटि में भाग जाता हूं। नमूना आकार बढ़ाने के बाद मैं tsne.fit_transform () में काम करता हूं।

यह जाँच करने के लिए @Ekliptor धन्यवाद कि यह scikit-learn मास्टर के साथ काम करता है। @joelkuiper और @Concomitant क्या आप इस बात की पुष्टि करते हैं कि शिक्षाप्रद-गुरु भी आपके लिए काम करते हैं? यदि हां, तो हम इस मुद्दे को बंद कर सकते हैं।

मैंने मास्टर स्थापित किया, कोड स्निपेट अब सफाई से चलता है।

अब हर किसी के लिए काम करने लगता है। समापन।

क्षमा करें, लेकिन मुझे अभी भी यह Python 3.5.1, scikit 0.17, scikit-learn 0.18 (9e913c04d748 के लिए), और मैक ओएस 10.11.5 पर Numpy 1.11.1 पर मिलता है।

@dmyersturnbull क्या आपको https://github.com/scikit-learn/scikit-learn/issues/6665#issuecomment -218365487 से स्निपेट चलाते समय त्रुटि मिलती है?

@ लेस्तवे मैंने उस सटीक स्निपेट के साथ किया, हां। हालाँकि, मैं अपने एनाकोंडा इंस्टॉलेशन को क्लीयर करने और पायथन 3.5.2 के साथ स्क्रैच से फिर से इंस्टॉल करने के बाद अब इसे प्राप्त नहीं करता हूं।

मुझे Mac OS X El Capitan 10.11.3 पर Python 3.5.2, scikit-learn 0.17.1, scipy 0.17.1, numpy 1.11.1 के साथ यही समस्या है। यह तब काम करता है जब मेरे पास 2100 से अधिक अंक होते हैं, लेकिन कम मूल्यों के लिए विफल रहता है।

मुझे Mac OS X El Capitan 10.11.3 पर Python 3.5.2, scikit-learn 0.17.1, scipy 0.17.1, numpy 1.11.1 के साथ यही समस्या है। यह तब काम करता है जब मेरे पास 2100 से अधिक अंक होते हैं, लेकिन कम मूल्यों के लिए विफल रहता है।

निम्न बिंदुओं के मूल्यों के लिए अनुरूप रूप से

रोपेन, कृपया

मुझे OS X 10.11.6, अजगर 3.5.1, स्केलेनर 0.17.1 और अंक 1.11.1 पर समान समस्या हो रही है।
इस डेटासेट पर: https://dl.dropboxusercontent.com/u/103591/vals.out (np.sctt के साथ)

निम्न बिंदुओं के मूल्यों के लिए अनुरूप रूप से विफल रहता है

@ ल्यूसीडैन मुझे समझ नहीं आ रहा है कि आपका क्या मतलब है।

मुझे OS X 10.11.6, अजगर 3.5.1, स्केलेनर 0.17.1 और अंक 1.11.1 पर समान समस्या हो रही है।
इस डेटासेट पर: https://dl.dropboxusercontent.com/u/103591/vals.out (np.sctt के साथ)

@pbnsilva आप नीचे पोस्ट की गई इस स्निपेट को np.random.seed बजाय random.seed )।

import random
from sklearn.manifold import TSNE
random.seed(1)
a = np.random.uniform(size=(100,20))
TSNE(n_components=2).fit_transform(a)

बोनस अंक यदि आप बीज तर्क np.random.seed और random_state तर्क TSNE जो स्निपेट निर्धारक बनाता है।

वैकल्पिक रूप से कुछ लोगों ने बताया कि यह बग मास्टर में तय किया गया था। क्या आप यह देखने के लिए कि क्या समस्या गायब हो जाती है, क्या आप शिक्षाप्रद गुरु बनाने की कोशिश कर सकते हैं?

@ लेस्टवे का मतलब है कि मुझे समान सिस्टम पैरामीटर (Python 3.5.2, scikit-learn 0.17.1, scipy 0.17.1, numpy 1.11.1) के साथ Mac OS El Capitan पर समान त्रुटि मिलती है। 10.11.3)

@pbnsilva आप नीचे पोस्ट की गई इस स्निपेट को

मैंने इसे आज़माया, और यह X_SIZE <= 1750 (Y_SIZE = 20, n_compenders = 2 स्थिरांक बन गया) के साथ विफल हो गया। अगर मैं स्थिर X_SIZE = 1750 के साथ स्थिरांक (वृद्धि) बदलना शुरू करता हूं, तो यह भी विफल हो जाता है।

@ ल्यूसीडैन आप एक ही स्निपेट को स्किकिट-लर्न मास्टर के साथ आज़मा सकते हैं और देख सकते हैं कि क्या यह भी विफल हो जाता है?

मेरे लिए काम नहीं कर रहा है (संख्या 1.11.1, एल कैपिटान 10.11, स्केलेर 0.17.1, अजगर 3.5.2) नाराज होकर उसने पुराने कोड को तोड़ दिया है जिसने काम किया था। तुम लोग क्या बदल गए ...?

@ act65 हम इस की तह तक जाने के लिए उत्सुक हैं, लेकिन हम पुन: पेश नहीं कर पाए हैं और ऐसा लगता है कि हम उपयोगकर्ताओं से दुर्भाग्य से अब तक मिश्रित रिपोर्ट प्राप्त कर रहे हैं।

इसलिए यदि आप पहले से ही नहीं हैं (दुर्भाग्य से हम पाठकों के दिमाग में नहीं हैं और "मेरे लिए काम नहीं कर रहे हैं" हमें यह नहीं बताता है कि आपने क्या कोशिश की थी) क्या आप https://github.com/scikit-learn में ऊपर बताए गए स्निपेट को चलाने की कोशिश कर सकते हैं

यदि आप 0.18 रिलीज उम्मीदवार को स्थापित करने के लिए (जो एक अलग वर्चुअन या कोंडा env में इसे करने के लिए अत्यधिक अनुशंसित है) के साथ प्रयास कर सकते हैं तो वास्तव में क्या बहुत अच्छा होगा:

pip install --pre scikit-learn -U

संपादित: 0.18 जारी किया गया है ताकि आप बस उपयोग कर सकें ( --pre का उपयोग करने की आवश्यकता नहीं):

pip install scikit-learn -U

और यह देखने के लिए स्निपेट को फिर से चलाएं कि क्या यह 0.18 में तय किया गया है क्योंकि कुछ उपयोगकर्ताओं ने पहले ही इस थ्रेड में रिपोर्ट किया है।

०.१ if कुछ हफ्तों में रिलीज़ होने वाला है यदि दिन नहीं हैं तो आप जानते हैं कि रिलीज होने से पहले आपको इसकी मदद करने के लिए क्या करना होगा।

हाँ मेरे बुरे, स्पष्ट होना चाहिए था। (मैं लगभग एक ही बात दूसरों की कोशिश की थी, सिर्फ MNIST पर)।

वैसे भी, यह काम करता है! धन्यवाद :)
pip install --pre scikit-learn -U इसे तय किया

ठीक है, वापस रिपोर्ट करने के लिए धन्यवाद और यह सुनने के लिए महान है कि यह आपके लिए 0.18 रिलीज उम्मीदवार में तय है! ऐसा लगता है कि जब दूसरे कहते हैं कि यह मास्टर में तय किया गया था तो दूसरे ने क्या रिपोर्ट किया है।

हालांकि पूर्णता के लिए, उत्पादन कोड के लिए रिलीज़ किए गए संस्करणों से चिपके रहने की सिफारिश की जाती है, इसलिए आपको 0.18 रिलीज़ होने तक थोड़ा और इंतजार करना पड़ सकता है।

@lesteve
मैंने संस्करण 0.18rc2 पर स्निपेट की कोशिश की, जिसके द्वारा स्थापित किया गया था

पाइप स्थापित - scikit-learn -U

और यह काम करने लगता है! चीयर्स!

धन्यवाद @Lucidyan इसे देने की कोशिश करने के लिए।

क्षमा करें, मुझे यह त्रुटि अभी भी उपरोक्त कोड स्निपेट के साथ scikit-learn 0.18 ( pip install --pre scikit-learn -U ) में उन्नयन के बाद मिल रही है।

यहाँ मेरी प्रणाली की जानकारी है:
OS X El Capitan संस्करण 10.11.4
पायथन 2.7.12
sklearn 0.18 (sklearn 0.17.1 पर भी यही त्रुटि मिली)
numpy 1.11.1 (numpy 1.11.2 पर भी यही त्रुटि मिली)
scipy 0.18.1

हालाँकि, मैंने लिनक्स सिस्टम पर समान कोड स्निपेट चलाया, मुझे कोई त्रुटि नहीं मिली।
लिनक्स सिस्टम की सिस्टम जानकारी है:
Ubuntu 14.04.5 LTS (GNU / Linux 3.13.0-91-जेनेरिक x86_64)
अजगर 2.7.6
sklearn 0.18
सुन्न 1.11.2
scipy 0.13.3

सुन्न, डरावना और डरावना जानने की स्थापना रद्द करने और पुन: स्थापित करने का प्रयास करें। यदि वह अभी भी विफल रहता है, तो यह सुनिश्चित करने के लिए कि आपके पायथन वातावरण में कुछ गलत नहीं है, एक अलग वर्चुअनव (या अगर आप कोंडा का उपयोग कर रहे हैं) तो कोशिश करें।

अभी भी समान त्रुटि ( ValueError: array must not contain infs or NaNs ) स्केलेर 0.18 ( 0.18-np111py35_0 ) में कोंडा के माध्यम से प्राप्त करें। पाइप पहियों हालांकि ठीक काम करने लगते हैं!

अभी भी एक ही त्रुटि प्राप्त करें (ValueError: सरणी में कंकाल 0.18 (0.18-np111py35_0) कोंडा के साथ infs या NaNs नहीं होना चाहिए)। पाइप पहियों हालांकि ठीक काम करने लगते हैं!

हम्म् दिलचस्प ... क्या आप एमकेएल के बिना कोंडा पैकेज का उपयोग करने की कोशिश कर सकते हैं, अर्थात conda create -n sklearn_nomkl python scikit-learn nomkl जैसा कुछ हम देख सकते हैं कि क्या एमकेएल बनाम ओपनब्लास चीज है?

यदि आप एक निश्चित यादृच्छिक बीज के साथ समस्या को दोहराते हुए स्निपेट प्रदान कर सकते हैं (तो np.random.RandomState(some_int) का उपयोग करके) जो कि एक संदर्भ स्निपेट के रूप में उपयोग किया जा सकता है। अब तक हमारे पास मौजूद स्निपेट गैर-नियतात्मक है ( random.seed का उपयोग किया जाता है और इसमें अंकुरित बीज का कोई प्रभाव नहीं होता है)।

बिलकुल कोई परेशानी नही। यह वास्तव में एक BLAS समस्या हो सकती है, conda create -n sklearn_nomkl python scikit-learn nomkl env ठीक काम करता है।

स्निपेट के बारे में ... यह दिलचस्प है। उदाहरण के लिए,

from sklearn.manifold import TSNE
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_digits

digits = load_digits()

X_train, X_test, y_train, y_test = train_test_split(digits.data, 
                                                    digits.target, 
                                                    random_state=1)

tsne = TSNE(random_state=1)
digits_tsne_train = tsne.fit_transform(X_train)

मेरी मशीन पर समस्या को पुन: पेश करता है। हालाँकि, जब मैं digits_tsne_train = tsne.fit_transform(X_train) की जगह digits_tsne_train = tsne.fit_transform(digits.data) लेता हूँ तो यह ठीक प्रतीत होता है। ट्रैविस परीक्षणों में इस विशेष मामले को जोड़ने के लिए, शायद अधिक हल्के वजन का उदाहरण ढूंढना अच्छा होगा।

EDIT: आईरिस के लिए भी यही सच है। iris.data fit_transform में काम करता है, एक स्प्लिटेड डेटासेट ( X_train ) नहीं होता है। शायद train_test_split । हालाँकि, दोनों X_train और iris.data 64 सरणियाँ लगते हैं ...

Https://github.com/scikit-learn/scikit-learn/issues/6665#issuecomment -243782185 से स्निपेट के बारे में क्या, आपको यह निर्धारित करने का कोई तरीका नहीं मिला और अभी भी आपकी मशीन पर विफल है?

स्निपेट

import numpy as np
from sklearn.manifold import TSNE

np.random.seed(1)

a = np.random.uniform(size=(100, 20))
TSNE(n_components=2, random_state=1).fit_transform(a)

त्रुटि को पुन: उत्पन्न करता है (लेकिन यह नामांकित एनवी पर ठीक काम करता है)

ठीक है इसके लिए बहुत बहुत धन्यवाद, कम से कम हमारे पास अभी एक निर्णायक स्निपेट है। रिकॉर्ड के लिए, क्या आप इस स्निपेट के आउटपुट को पोस्ट कर सकते हैं:

import platform; print(platform.platform())
import sys; print("Python", sys.version)
import numpy; print("NumPy", numpy.__version__)
import scipy; print("SciPy", scipy.__version__)
import sklearn; print("Scikit-Learn", sklearn.__version__)

इसके अलावा, सिर्फ पवित्रता के लिए, क्या आप यह सुनिश्चित कर सकते हैं कि आप एक ताजा कोंडा वातावरण में समस्या को पुन: उत्पन्न कर सकते हैं।

ईमानदार होने के लिए, मुझे यकीन नहीं है कि हम इस से कहाँ जाते हैं। मैंने तब से कोशिश नहीं की है, लेकिन मैं एल कैपिटल वर्चुअल बॉक्स पर पुन: पेश करने में सक्षम नहीं था, @ogrisel OSX लैपटॉप पर या तो पुन: पेश नहीं कर सकता था, इसलिए उस समय उन्होंने कहा कि इसमें कुछ हार्डवेयर-विशिष्ट समस्या शामिल हो सकती है।

ज़रूर,

मशीन जो इस समस्या का कारण बनती है:

Darwin-16.1.0-x86_64-i386-64bit
Python 3.5.2 |Continuum Analytics, Inc.| (default, Jul  2 2016, 17:52:12) 
[GCC 4.2.1 Compatible Apple LLVM 4.2 (clang-425.0.28)]
NumPy 1.11.2
SciPy 0.18.1
Scikit-Learn 0.18

(यह एक ताजा conda वातावरण में परीक्षण किया)

इसमें कुछ हार्डवेयर-विशिष्ट समस्या शामिल हो सकती है।

मुझे लगता है कि आप sth पर हो सकते हैं! मैंने इसे अपने दूसरे मैक पर आज़माया, और यह वहाँ ठीक काम करता है। फर्क सिर्फ इतना है कि यह पुराने कर्नेल ( Darwin-15.6.0-x86_64-i386-64bit ) पर चल रहा है। MacOS सिएरा के लिए दूसरे मैक को अभी तक अपडेट नहीं किया गया है, जो इस समस्या वाले पूर्व मशीन पर चल रहा है। OS से संबंधित हो सकता है। मैं अगले महीने या तो (मैं एक परियोजना के बीच में हूं और चीजों को तोड़ना नहीं चाहता) के लिए दूसरी मशीन को अपग्रेड कर दूंगा, लेकिन मैं आपको बता सकता हूं कि सिएरा के लिए अपडेट इस मुद्दे पर आगे बढ़ता है या नहीं दूसरी मशीन (या शायद macOS Sierra के साथ कोई और व्यक्ति इसका परीक्षण कर सकता है ताकि हम अब अगर यह OS चीज है)

यह देखते हुए कि समस्या को विभिन्न OSX संस्करणों पर सूचित किया गया है, मुझे संदेह है कि यह केवल एक OSX संस्करण समस्या है। IIRC @ogrisel का कूबड़ यह था कि यह सीपीयू वास्तुकला से संबंधित था।

इस समस्या को डीबग करने का दूसरा (अधिक समय-गहन) तरीका यह होगा कि कोड में NaNs दिखाई दें।

IIRC @ogrisel का कूबड़ यह था कि यह सीपीयू वास्तुकला से संबंधित था।

हम्म, पाइप के पहिए से भिन्न कोंडा-स्किट-वर्जन संस्करण कैसे होगा? क्योंकि बाद वाले एक ही मशीन पर काम करने लगते हैं। शायद यह किसी तरह से कॉन्डा से संबंधित है

इस समस्या को डीबग करने का दूसरा (अधिक समय-गहन) तरीका यह होगा कि कोड में NaNs दिखाई दें।

मैंने देखा कि https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/manifold/t_sne.py#L387 में ग्रेडिएंट तब तक मिलता है, जब तक कि यह एक स्थिति में -inf हो जाए। https://github.com/scikit-learn/scikit-learn/blob/master/sklearn/manifold/t_sne.py#L386 में 25 वें पुनरावृत्ति-पाश के लिए

...
   0.00000000e+00   0.00000000e+00   0.00000000e+00   0.00000000e+00
   0.00000000e+00   0.00000000e+00   6.06587795e+32  -1.10699515e+33
  -1.55245133e+34              inf  -1.52569936e+33  -3.43926080e+33
  -1.92332051e+32  -2.73996151e+32  -2.57570880e+33  -3.64962271e+33
...

अन्य मशीन पर (जो ठीक काम करता है), ग्रेडिएंट सभी एक ही पुनरावृत्ति के बाद <0 हैं। तो, किसी भी तरह _gradient_descent फ़ंक्शन ठीक से काम नहीं करता है (शायद किसी BLAS चीज के कारण)।

हम्म, पाइप के पहिए से भिन्न कोंडा-स्किट-वर्जन संस्करण कैसे होगा? क्योंकि बाद वाले एक ही मशीन पर काम करने लगते हैं। शायद यह किसी तरह से कॉन्डा से संबंधित है

पाइप के पहिये OpenBLAS का उपयोग कर रहे हैं और आपको कोंबा के साथ OpenBLAS का उपयोग करते समय समस्या नहीं है ( nomkl ट्रिक के माध्यम से) इसलिए यह MKL समस्या की तरह दिखता है, जिसके शीर्ष पर संभवतः CPU-विशिष्ट है।

जिस तरह से इस मुद्दे पर डिबगिंग महान काम! बोनस अंक यदि आप समस्या को और अलग करने का प्रबंधन करते हैं (जैसे कि पुनरावृत्ति inf प्रकट होने से पहले डेटा उठाकर)। Sklearn / मैनिफोल्ड / _barnes_hut_tsne.pyx में कुछ साइथन कोड में समस्या बहुत संभावित है।

क्या नवीनतम निष्कर्षों को देखते हुए इस मुद्दे को दोबारा नहीं खोला जाना चाहिए? मैंने इसे भी हिट किया और इसे नॉमल ट्रिक के साथ पास्ट करने में भी कामयाब रहा, लेकिन एक सक्रिय बग बनाम एक बंद की तरह महसूस करता है, नहीं?

अन्य लोग जो इसे मार रहे हैं: https://discussions.udacity.com/t/assignment-5-error-in-the-main-code-valueerror-array-must-not-contain-infs-or-orans/178187 / 7

आप सही हैं, फिर से खोलना। यह एक गंभीर एक है, हार्डवेयर विशिष्ट लगता है और कोर देवों में से कोई भी इसे पुन: पेश नहीं कर सकता है। एकमात्र तरीका यह तय हो सकता है यदि समस्या वाले लोग आगे समस्या को डीबग करने में कुछ समय निवेश करते हैं।

जिस तरह से इस मुद्दे पर डिबगिंग महान काम! यदि आप समस्या को और अलग करने का प्रबंधन करते हैं तो बोनस अंक (जैसे कि सूचना के आने से पहले डेटा को उठाकर)। Sklearn / मैनिफोल्ड / _barnes_hut_tsne.pyx में कुछ साइथन कोड में समस्या बहुत संभावित है।

मैं सभी नवंबर की समयसीमा के बाद दिसंबर में इसे आगे देखने के लिए खुश हूं ... हालांकि, यहां तक ​​कि इसे और अलग किया जा सकता है, अगर मैं इस तरह के हार्डवेयर-विशिष्ट समस्या के लिए कोई समस्या है तो मैं उत्सुक हूं। हो सकता है, जब तक यह पूरी तरह से हल नहीं हो जाता है, तब तक अधिक विशिष्ट अपवाद / चेतावनी को उठाना सार्थक हो सकता है यदि ग्रेडिएंट में इस समस्या के बारे में नोट के साथ infs हैं?

मैंने अभी एक नया conda virtualenv बनाया है और स्केयर के एक अल्पविराम संस्करण का निर्माण किया है जो स्रोत कोड से ताज़गी से स्किकी-लर्न मास्टर शाखा से लिया गया था, त्रुटि गायब हो गई। क्या MKL के बजाय OpenBLAS का उपयोग कर सोर्स कोड से डेप स्केलेर बनाया गया है?

नवंबर की सभी डेडलाइन के बाद दिसंबर में इसे आगे देख कर मैं खुश हूं ...

बहुत अच्छा लगता है, बहुत बहुत धन्यवाद!

हालांकि, यहां तक ​​कि इसे और अलग किया जा सकता है, मैं उत्सुक हूं कि क्या इस तरह के हार्डवेयर-विशिष्ट समस्या के लिए कोई समाधान है।

एक फिक्स के बारे में निश्चित नहीं है, एक उम्मीद होगी कि अगर हम अलग-थलग पड़ने के बाद अपने साइबर कोड को कार्य-समस्या में बदल सकते हैं। इसके अलावा यह अच्छी तरह से एक ओपनब्लस मुद्दा हो सकता है और यह बहुत अच्छी तरह से ऊपर की ओर रिपोर्टिंग करेगा, खासकर जब से पहियों में ओपनब्लस का उपयोग होता है।

हो सकता है, जब तक यह पूरी तरह से हल नहीं हो जाता है, तब तक अधिक विशिष्ट अपवाद / चेतावनी को उठाना सार्थक हो सकता है यदि ग्रेडिएंट में इस समस्या के बारे में नोट के साथ infs हैं?

त्रुटि संदेश में कुछ सलाह जोड़ना (केवल ओएस एक्स पर), एक अच्छा विचार जैसा लगता है, लेकिन मुझे यकीन नहीं है कि इसे क्या कहना चाहिए, शायद "एमकेएल के साथ काका-सीखने का उपयोग करने पर विचार करें और" इस ​​तरह से स्थापित करें।

क्या MKL के बजाय OpenBLAS का उपयोग कर सोर्स कोड से डेप स्केलेर बनाया गया है?

@zhongyuk निर्भर करता है कि आपने कौन सी लाइब्रेरी स्थापित की है। एक बार जानने के लिए कि आपने स्रोत से स्किटिट-लर्न बनाया है, ldd के बराबर चलना है (Google otool -L पर sklearn/cluster/_k_means.so (नाम अलग होगा यदि आप पायथन 3 का उपयोग कर रहे हैं, अर्थात sklearn/cluster/_k_means.cpython-35m-x86_64-linux-gnu.so जैसा कुछ)। उदाहरण के लिए मेरे उबंटू मशीन पर, मुझे यह मिलता है:

sklearn/cluster/_k_means.so:
        linux-vdso.so.1 =>  (0x00007ffc2312a000)
        libmkl_intel_lp64.so => /home/lesteve/miniconda3/envs/py27/lib/libmkl_intel_lp64.so (0x00007fadc2865000)
        libmkl_intel_thread.so => /home/lesteve/miniconda3/envs/py27/lib/libmkl_intel_thread.so (0x00007fadc0ee4000)
        libmkl_core.so => /home/lesteve/miniconda3/envs/py27/lib/libmkl_core.so (0x00007fadbf483000)
        libiomp5.so => /home/lesteve/miniconda3/envs/py27/lib/libiomp5.so (0x00007fadbf139000)
        libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007fadbeeeb000)
        libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007fadbebe1000)
        libpython2.7.so.1.0 => /home/lesteve/miniconda3/envs/py27/lib/libpython2.7.so.1.0 (0x00007fadbe7fa000)
        libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fadbe431000)
        libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007fadbe22c000)
        libgcc_s.so.1 => /lib/x86_64-linux-gnu/libgcc_s.so.1 (0x00007fadbe016000)
        /lib64/ld-linux-x86-64.so.2 (0x0000563bdeda1000)
        libutil.so.1 => /lib/x86_64-linux-gnu/libutil.so.1 (0x00007fadbde12000)

तो आप तीसरी पंक्ति से देख सकते हैं, कि यह एमकेएल का उपयोग कर रहा है।

लेकिन मुझे यकीन नहीं है कि इसे क्या कहना चाहिए, हो सकता है कि "conda का उपयोग करने पर विचार करें और MKL के साथ स्किकिट-इनस्टॉल करें" या ऐसा ही कुछ।

मैं सिर्फ यह लिखना चाहता था कि मुझे लगता है कि आप इसे फ़्लिप कर चुके हैं: पहियों ने काम किया और समस्या केवल तब हुई जब मैं इसे एमकेएल के साथ कोंडा के माध्यम से उपयोग कर रहा था ... अब, मुझे लगता है कि मुझे किसी तरह से अच्छी खबर है: मैं बस चाहता था उपर्युक्त उदाहरण को फिर से लिखें जो पहले इस समस्या की पुष्टि करता है

import numpy as np
from sklearn.manifold import TSNE

np.random.seed(1)

a = np.random.uniform(size=(100, 20))
TSNE(n_components=2, random_state=1).fit_transform(a)

और मुझे अब यह समस्या नहीं है। मुझे याद है कि मैंने कुछ अन्य समस्याओं के कारण दूसरे सप्ताह में मिनीकोन्डा को फिर से स्थापित किया। क्या आपको लगता है कि यह पुराने कॉन्डा में किसी मुद्दे से संबंधित हो सकता है? बहुत अच्छा होगा अगर कुछ अन्य लोग जिनके पास यह मुद्दा था, शायद कॉन्डा को अपडेट / पुनः इंस्टॉल करने का भी प्रयास कर सकते हैं और जांच सकते हैं कि क्या उनके लिए समस्या हल है। इस बीच, मैं यह देखने की कोशिश करूंगा कि क्या मैं एक पुराना बैकअपस्टैट पा सकता हूं ताकि यह पता लगाया जा सके कि मैंने पहले कौन सा कोंडा संस्करण स्थापित किया था। (अभी, मेरे पास conda 4.2.12 है)

केवल यह कहना चाहता हूं कि मैंने otool -L sklearn/manifold/_barnes_hut_tsne.so (मुझे लगता है कि यह t_sne.py संकलित फ़ाइल है?), ऐसा लगता है कि यह वास्तव में BLAS का उपयोग कर रहा है। और जो त्रुटि फेंक दिया, वह एमकेएल का उपयोग करता है।

मेरे पास मौजूद conda संस्करण 4.2.13 है, दोनों env जो त्रुटि को फेंकते हैं और env स्रोत निर्मित स्केलेर के साथ (जो त्रुटि नहीं फेंकते हैं) conda के अंदर हैं।

हम्म, दिलचस्प है, तो यह सब के बाद एक conda मुद्दा नहीं है ... उत्सुक क्यों यह मेरे लिए अब काम करता है: /
(सभी मैं सोच सकता हूं कि बदल गया है (कोंडा को पुन: स्थापित करने के अलावा) रिबूट हो रहा था: पी)

मैं सिर्फ यह लिखना चाहता था कि मुझे लगता है कि आप इसे फ़्लिप कर गए: पहियों ने काम किया और समस्या केवल तब हुई जब मैं इसे एमकेएल के साथ कोंडा के माध्यम से उपयोग कर रहा था

हाँ, इस बारे में खेद है। मैं अगली बार इसे ठीक से याद रखने की कोशिश करने के लिए समस्या शीर्षक को संपादित करूँगा।

हम्म, दिलचस्प है, तो यह सब के बाद एक conda मुद्दा नहीं है ... उत्सुक क्यों यह मेरे लिए अब काम करता है: /
(सभी मैं सोच सकता हूं कि बदल गया है (कोंडा को पुन: स्थापित करने के अलावा) रिबूट हो रहा था: पी)

हम्म, यादृच्छिक अनुमान शायद mkl संस्करण है, हालांकि अगर मुझे लगता है कि conda info mkl नवीनतम mkl संस्करण (11.3.3) का उत्पादन 2016-05-13 से है।

@zhongyuk एक conda env के अंदर scikit-learn बनाने की कोशिश करता है जो mkl का उपयोग करता है, मेरा मानना ​​है कि यह mkl को लेने के लिए पर्याप्त होना चाहिए (शायद इस मामले में एक अच्छा विचार make clean और फिर make in खरोंच से पुनर्निर्माण करने के लिए)।

@ लेस्टवे I ने स्रोत कोड (शाखा 0.18 रिलीज) से दो कॉन्डा वर्चुअल वातावरण में स्किकिट-लर्न बनाया, जो एमकेएल का उपयोग करता है वह वास्तव में त्रुटि फेंकता है; एक का उपयोग करता है libBLAS त्रुटि नहीं फेंकता है।

आउटपुट otool -L sklearn/manifold/_barnes_hut_tsne.so चल रहा है (यदि MKL संस्करण कोई संकेत देता है?)

``@rpath/libmkl_intel_lp64.dylib (संगतता संस्करण 0.0.0, वर्तमान संस्करण 0.0.0)
@ rpath / libmkl_intel_thread.dylib (संगतता संस्करण 0.0.0, वर्तमान संस्करण 0.0.0)
@ rpath / libmkl_core.dylib (संगतता संस्करण 0.0.0, वर्तमान संस्करण 0.0.0)
@ rpath / libiomp5.dylib (संगतता संस्करण 5.0.0, वर्तमान संस्करण 5.0.0)
/usr/lib/libSystem.B.dylib (संगतता संस्करण 1.0.0, वर्तमान संस्करण 1226.10.1)

@zhongyuk महान! पूर्णता के लिए, क्या आप conda list '(mkl|cython|numpy|scipy)$' (अपने MKL conda वातावरण में) का आउटपुट पोस्ट कर सकते हैं? जबकि हम इसमें आपकी CPU जानकारी (Google के अनुसार sysctl -n machdep.cpu.brand_string ) और आपके प्लेटफ़ॉर्म की जानकारी ( python -c 'import platform; print(platform.platform())' ) बहुत अच्छी होगी।

क्या वास्तव में बहुत अच्छा होगा, जहां @rabst को रोकना और समस्या को अलग करना है:
https://github.com/scikit-learn/scikit-learn/issues/6665#issuecomment -258311980

चूंकि यह बीएलएएस से संबंधित है, मेरा कूबड़ यह है कि इस लाइन में कुछ गलत हो जाता है, जिसके कारण ढाल कुछ गैर-परिमित मूल्य है।

कंडोम MKL पर्यावरण की जानकारी के

Cython                    0.25.1                    <pip>
mkl                       11.3.3                        0  
numpy                     1.11.1                    <pip>
numpy                     1.11.1                   py27_0 
scipy                     0.18.1              np111py27_0 

CPU जानकारी: Intel(R) Core(TM) i5-5257U CPU @ 2.70GHz
प्लेटफ़ॉर्म जानकारी: Darwin-15.4.0-x86_64-i386-64bit

मैं धीरे-धीरे विस्फोट होने वाले मुद्दे पर @rabst ने अन्य टिप्पणी और इस सप्ताह और कभी-कभी या अगले सप्ताह आपके द्वारा बताई गई पंक्ति में पाया, मैं सभी को किसी भी दिलचस्प निष्कर्ष के साथ अपडेट रखूंगा।

@zhongyuk यदि यह मदद करता है, तो मेरे पास एक समान सेटअप है (मिनीकोन्डा को पुनः स्थापित करने के बाद से इस मुद्दे को अब और नहीं दोहरा सकता है), सिवाय इसके कि मेरे पास OS X El Capitan के बजाय macOS Sierra है और मेरे पास 1.11.1 के बजाय 1.11.2 अंक है। ।

@rasbt हम्म, मुझे आश्चर्य है कि अगर समस्या सिएरा में चली जाती है ... मैं ओएस को अभी तक अपग्रेड नहीं करना चाहता हूं b / z मैंने सोचा कि मैंने कहीं पढ़ा है कि TensorFlow सिएरा का अभी तक समर्थन नहीं करता है (गलत हो सकता है या अब सच नहीं हो सकता है अब के बाद से मुझे याद नहीं है कि मैं कहाँ या कितने समय पहले पढ़ा था)? और मैं TF निर्भरता के साथ अपनी परियोजनाओं को तोड़ना नहीं चाहता

@ हज़ोंग्युक हम्म, मुझे लगता है कि यह संबंधित नहीं है। इससे पहले कि मैं मिनीकोन्डा को फिर से स्थापित करता, मुझे macOS सिएरा में भी समस्या थी। पुनश्च: टेन्सराफ़्लो सिएरा पर मेरे लिए ठीक काम करता है, लेकिन मैं केवल सीपीयू और अपने मैक पर प्रोटोटाइप करता हूं, इसलिए मुझे सिएरा से संबंधित GPU मुद्दों के बारे में पता नहीं है

@rasbt हम्म, यह जानना अच्छा है कि TF सिएरा पर ठीक काम करता है। क्या आप अपने प्लेटफ़ॉर्म में otool -L sklearn/manifold/_barnes_hut_tsne.so फ़ाइल चलाना चाहते हैं, यह देखने के लिए कि कौन सी गणित लाइब्रेरी स्केलेर का उपयोग कर रही है? कम से कम उस तरह से हमें पता चल सकता है कि क्या समस्या दूर हो गई है जब मिनीकोन्डा को फिर से स्थापित करना मौलिक रूप से गणित पुस्तकालय से जुड़ा हुआ है?

मैं _barnes_hut_tsne.cpython-35m-darwin.so पर निम्नलिखित प्राप्त कर रहा हूं:

    @rpath/libmkl_intel_lp64.dylib (compatibility version 0.0.0, current version 0.0.0)
    @rpath/libmkl_intel_thread.dylib (compatibility version 0.0.0, current version 0.0.0)
    @rpath/libmkl_core.dylib (compatibility version 0.0.0, current version 0.0.0)
    @rpath/libiomp5.dylib (compatibility version 5.0.0, current version 5.0.0)
    /usr/lib/libSystem.B.dylib (compatibility version 1.0.0, current version 1197.1.1)

@rasbt हम्म, यह वास्तव में दिलचस्प है। यह एमकेएल का भी उपयोग कर रहा है। मुझे गणित पुस्तकालय के बारे में पर्याप्त जानकारी नहीं है कि यह अनुमान लगाने के लिए कि इसका क्या मतलब है ... @lesteve शायद इससे अधिक अनुमान लगा पाएगा?

मैंने देखा कि मेरे प्लेटफ़ॉर्म में libmkl_intel_lp64.dylib लोड नहीं हुआ है ... क्या यह संभव है कि समस्या का कारण बने?

वाह, हाँ! यह libmkl_intel_lp64.dylib लोड न होने के कारण होता है !!! मुझे स्टैक ओवरफ्लो पर यह धागा मिला और फिर conda install --debug mkl भागा, फिर otool -L sklearn/manifold/_barnes_hut_tsne.so फ़ाइल पर भागा, फिर libmkl_intel_lp64.dylib लोड हुआ, और कोड स्निपेट भागा , त्रुटि दूर हो गई! पाँच टीम काम है! @rasbt

यदि कोई और अपने प्लेटफ़ॉर्म पर जाँच कर सकता है और यह देख सकता है कि libmkl_intel_lp64.dylib लोड होने के बाद त्रुटि दूर हो गई, तो यह बहुत अच्छा होगा!

@lesteve चूँकि ऐसा लगता है कि बहुत सारी ppl ने इस समस्या को मारा है, और ऐसा लगता है कि यह (कुछ संस्करण से संबंधित है?) conda पूर्ण MKL लाइब्रेरीज़ को नहीं निकाल रहा है (अब तक की स्थिति की मेरी समझ), हालांकि यह नहीं है? scikit-learn bug, मुझे लगता है कि (OS X) उपयोगकर्ताओं के लिए किसी प्रकार की टिप्पणी या चेतावनी या त्रुटि संदेश जोड़ना अच्छा होगा? इस तरह से कम से कम वे जांच कर सकते हैं कि क्या एमकेएल का दायित्व पूरी तरह से उनके प्लेटफ़ॉर्म में निकाला गया है और फिर इसे ठीक कर सकते हैं यदि यह नहीं है?

@zhongyuk भयानक, यह सुनकर खुशी हुई कि आप इसे संकीर्ण करने में सक्षम थे! उम्मीद है, यह सिर्फ libmkl_intel_lp64.dylib की टूटी हुई कड़ी / अधूरी स्थापना है - यह भयानक होगा (यह जानने के संदर्भ में कि क्या चल रहा है) :)। यह भी बताएगा कि मिनिकोंडा को फिर से स्थापित करने के बाद यह मेरे लिए क्यों काम करता है ... यदि कोई और व्यक्ति "ठीक करने" का प्रयास कर सकता है तो यह बहुत अच्छा होगा।

यदि उपरोक्त libmkl_intel_lp64.dylib वास्तव में इस मुद्दे का कारण बना है, तो शेष प्रश्न यह होगा कि इससे कैसे निपटा जाए। मेरा मतलब है, यह "बग" एक प्रकार का घृणित है और यह लोगों के लिए यह पता लगाने के लिए थोड़ा मुश्किल हो सकता है कि यह libmkl_intel_lp64.dylib । मैं शायद एक अतिरिक्त "इंजेक्ट नहीं करूंगा" अगर ग्रेडिएंट में कोड में त्रुटि उठाना + संदेश शामिल है "तो सीखें क्योंकि यह काफी कष्टप्रद प्रदर्शन-वार हो सकता है। हालाँकि, मुझे लगता है कि स्थापना में एक टिप्पणी या टिप्पणी जोड़ना और / या टी-एसएनई डॉक्स एक अच्छा विचार होगा।

बस एक त्वरित अपडेट जोड़ना चाहते हैं: मेरे पास MKL का उपयोग करते हुए दोनों में 2 वर्चुअल एनवीयू हैं। उनमें से एक numpy 1.11.1 से सुसज्जित है और दूसरा numpy 1.11.2 । otool -L चलना यह दर्शाता है कि दोनों ने किसी भी तरह libmkl_intel_lp64.dylib लोड नहीं किया है। libmkl_intel_lp64.dylib भरी हुई सुनिश्चित करने के बाद, त्रुटि numpy 1.11.2 साथ वर्चुअल एनवी में गायब हो गई। हालाँकि, env numpy 1.11.1 साथ त्रुटि दिखाई देती रही। numpy 1.11.2 में अपग्रेड करने के बाद, मैं अब conda वर्चुअल वातावरण में त्रुटि को पुन: उत्पन्न नहीं कर सकता। जैसा कि यह जटिल लगता है और त्रुटि का सटीक कारण अभी भी अस्पष्ट है, मैं अनुमान लगाता हूं कि यह संभवतः अपूर्ण एमकेएल पुस्तकालय लोडिंग और स्किटिट-डिपेंडेंट लाइब्रेरी (संभवत: खस्ता?) द्वारा इंटरव्यू किया गया है। (हालांकि मैंने MKL और numpy 1.11.1 साथ एक virtualenv बनाने की कोशिश नहीं की है यह देखने के लिए कि क्या यह त्रुटि को कम करेगा।)

और मैं किसी प्रकार के नोट, टिप्पणी या डॉक्स को जोड़ने पर दूसरा @rasbt सुझाव देता हूं!

@zhongyuk खुशी है कि आप इसे तय कर लिया है! ऐसा लगता है कि कोंडा के साथ संकुल को फिर से स्थापित करने में मदद मिल सकती है, लेकिन मुझे डर है कि समस्या के कारण की बहुत स्पष्ट तस्वीर नहीं है :(

यह एक कोंडा बग है, है ना? या किसी ने बग का उपयोग नहीं किया था?

मैं एक ऐसा तरीका खोजने में कामयाब रहा जो मुझे लगता है कि मैं खस्ता पहिया स्थापित करके और फिर स्किटिट-सीखता हूं, इसके ऊपर कोंडा के माध्यम से सीखता हूं (https://github.com/scikit- में conda list आउटपुट से संकेत मिला है- learn / scikit-learn / issues / 6665 # जारीकरण -262800762 जहां दो numpy सूचीबद्ध हैं)।

conda create -n tmp python=3 -y
. activate tmp
pip install numpy -y
conda install scikit-learn -y

उसके बाद स्निपेट को https://github.com/scikit-learn/scikit-learn/issues/6665#issuecomment -262800762 से निष्पादित

तो ऐसा लगता है कि पाइप और कोंडा के माध्यम से स्थापित खट्टा मिश्रण करते समय ऐसा हो रहा है। मेरी पुस्तक में किसी दिए गए पैकेज के लिए पाइप और कोंडा को मिलाना कभी भी अच्छा विचार नहीं है, लेकिन मुझे लगता है कि यह बहुत आसानी से साकार किए बिना भी हो सकता है (उदाहरण के लिए आप एक प्रोजेक्ट स्थापित करते हैं जो पाइप के माध्यम से संख्यात्मक रूप से निर्भर करता है, और फिर conda के माध्यम से scikit-learn )।

ऐसा वास्तव में क्यों होता है मुझे नहीं पता ... और यह केवल OSX पर ही होता है (यानी मेरे उबंटू बॉक्स पर नहीं)।

इससे प्रभावित किसी के लिए भी, इसे ठीक करना चाहिए:

conda remove numpy --force -y
pip uninstall numpy -y
conda install numpy

मुझे पता है कि अगर आप के लिए काम नहीं करता है।

गहरी गोता लगाने के लिए धन्यवाद (फिर से!) @Lesteve

मैंने सोचा था कि हम ईमानदार होने के लिए इस की तह तक कभी नहीं पहुँचेंगे :)! ठीक है यह काफी नीचे नहीं है, लेकिन जहां तक ​​मेरा संबंध है, यह काफी कम है।

मुझे स्वीकार करना होगा कि मैं अभी भी समझना चाहता हूं कि पाइप और कोंडा दोनों के साथ स्थापित किए गए सुन्न के भीतर क्या हो रहा है ...

नमस्ते
मैंने दो सेटअप की कोशिश की, कहाँ

• TSNE एक सेटअप के साथ अच्छी तरह से काम करता है (जहां Tensorflow de-सक्रिय है, Python-3.x), हालाँकि,

• TSNE दूसरे सेटअप के साथ काम नहीं करता है (जहां Tensorflow सक्रिय है, पायथन 2.x)।

TSNE अच्छा काम करता है:

टर्मिनल:

Macbook:~ BG$ which jupyter
/Users/BG/anaconda/bin/jupyter

बृहस्पति नोटबुक:

import sys
print (sys.version)

>

3.5.2 |Anaconda 4.2.0 (x86_64)| (default, Jul  2 2016, 17:52:12) 
[GCC 4.2.1 Compatible Apple LLVM 4.2 (clang-425.0.28)]

नोट: मैंने कोशिश की

conda remove numpy --force -y
pip uninstall numpy -y
conda install numpy

TSNE को निष्क्रिय करने के साथ TSNE को अच्छी तरह से काम करना।
हालाँकि, नीचे दिए गए नए सेटअप के साथ (जहाँ मुझे Tensorflow का उपयोग करना है), यह किसी भी अधिक काम नहीं करता है।
-------------------------------

वह सेट जहां TSNE काम नहीं करता है:

टर्मिनल:

Macbook:~$ source activate tensorflow
(tensorflow) Macbook:~$ which jupyter
/Users//anaconda/envs/tensorflow/bin/jupyter
(tensorflow) Macbook:~$ 

बृहस्पति नोटबुक:

import sys
print (sys.version)

>

2.7.13 |Continuum Analytics, Inc.| (default, Dec 20 2016, 23:05:08) 
[GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.57)]

त्रुटि :
ValueError: array must not contain infs or NaNs

कोई सुझाव ? बहुत बहुत धन्यवाद

दिलचस्प। मुझे लगता है कि इसका टेंसोफ़्लो से कोई लेना-देना नहीं है; मेरा अनुमान है कि

[GCC 4.2.1 संगत Apple LLVM 4.2 (क्लैंग -425.0.28)]

बनाम

[GCC 4.2.1 संगत Apple LLVM 6.0 (क्लैंग -600.0.57)]

अपराधी है ?!

प्रतिक्रिया के लिए धन्यवाद :) कोई सुझाव दिया समाधान / to_do_list?

दोनों का उपयोग करने की आवश्यकता है
टेन्सरफ्लो और
TSNE
ज्यूपिटर नोटबुक में ...।

BTW: सिर्फ पायथन 2.x में "__future__ आयात डिवीजन से" की कोशिश की और समस्या को हल नहीं किया।

हम्म, निश्चित नहीं कि अगर मदद करता है - व्यक्तिगत रूप से, मुझे यह रहस्यमय मुद्दा अब और नहीं मिल रहा है

Python 3.5.3 |Continuum Analytics, Inc.| (default, Feb 22 2017, 20:51:01) 
[GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.57)] on darwin

मैं Tf (अब 1.0) पर भी हूं, और मेरे पास यह Error: ValueError: array must not contain infs or NaNs मुद्दा नहीं है

import numpy as np
from sklearn.manifold import TSNE

np.random.seed(1)

a = np.random.uniform(size=(100, 20))
TSNE(n_components=2, random_state=1).fit_transform(a)

जो पहले काम नहीं करता था।

हो सकता है कि नया अजगर 3.5 एनवी बनाने की कोशिश करें और उपर्युक्त स्निपेट को यह देखने की कोशिश करें कि क्या यह त्रुटि के बिना काम करता है:

conda create -n yourenv python=3.5 numpy scipy scikit-learn
source activate yourenv
pip install tensorflow(-gpu)

हाय रसब,
हाँ मैंने पायथन 3.5 पर TSNE काम किया।
हालाँकि, किसी अन्य कारण से मैं बेहतर पायथन 2.7 का उपयोग करूँगा, इसलिए मुझे अपनी उंगलियों को पार करना जारी रखना होगा

आपकी सहायता के लिए धन्यवाद।

क्या आपके पास एक पुराना (एर) मिनिकोंडा / एनाकोंडा 2.7 डिस्ट्रो स्थापित है? इस मामले में, हो सकता है कि हाल ही में किसी एक को स्थापित करने पर विचार करें, या अपने कोंडा रूट या डिफ़ॉल्ट अजगर को अपडेट करें और इसे एक और प्रयास दें (या 3.5% conda create -n yourenv python=3.5 numpy scipy scikit-learn 2.7 में LLVM 4.2 (clang-425.0.28) एक मुद्दा हो सकता है; क्योंकि त्रुटि [GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.57)] माध्यम से नहीं होती है)

अपडेट: TSNE (perplexity = 30, n_compenders = 2, init = 'pca', n_iter = 1000, method = 'exact' ) इसे काम करते हैं ...
विधि = 'सटीक' चाल थी।

साथ ही यह समस्या रही है। विधि का उपयोग करना = 'सटीक' मेरे लिए काम करता है, लेकिन यह इतना दर्दनाक रूप से धीमा है। क्या वास्तव में कोई अन्य समाधान नहीं है जो लोगों ने पाया है?

क्या आपने https://github.com/scikit-learn/scikit-learn/issues/6665#issuecomment -264029983 और https://github.com/scikit-learn/scikit-learn/issues/6665#issuecomment -264087057 पढ़ा है। ?

जिस तरह से मैं इस समस्या को पुन: उत्पन्न करने में कामयाब रहा, वह एक ही कोंडा वातावरण में पाइप और कोंडा दोनों के साथ सुपी को स्थापित करने के लिए था। यदि आप खरोंच से एक कोंडा वातावरण बनाते हैं तो आपको यह समस्या नहीं होनी चाहिए।

यदि आपकी समस्या इस विवरण से मेल नहीं खाती है, तो कृपया अपने कॉन्डा वातावरण बनाने के लिए आपके द्वारा चलाए गए सटीक आदेशों को पोस्ट करें, इसलिए हम पुन: पेश करने का प्रयास कर सकते हैं।

नमस्ते,
मैं उपरोक्त टिप्पणियों को पढ़ता हूं और इसे पुन: प्रस्तुत कर सकता हूं। मैंने कुछ हफ़्ते पहले कोड को फिर से चलाया और अब यह समस्या दिखाई देती है। यहाँ एक न्यूनतम उदाहरण है कि अब इस मुद्दे को पुन: पेश करता है:

from sklearn.manifold import TSNE
a = [[1,2,3],[4,5,6], [7,8,9]]
TSNE(n_components=2,).fit_transform(a)

और का उत्पादन

import platform; print(platform.platform())
import sys; print("Python", sys.version)
import numpy; print("NumPy", numpy.__version__)
import scipy; print("SciPy", scipy.__version__)
import sklearn; print("Scikit-Learn", sklearn.__version__)

है

Darwin-16.5.0-x86_64-i386-64bit
Python 3.6.0 |Anaconda 4.3.0 (x86_64)| (default, Dec 23 2016, 13:19:00) 
[GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.57)]
NumPy 1.12.1
SciPy 0.19.0
Scikit-Learn 0.18.1

फिर, सटीक ( TSNE(method='exact') ) विधि को बदलने से त्रुटि से छुटकारा मिलता है।

अधिक आम तौर पर, मैंने लोरेंस वैन डेर मातेन और MATLAB संस्करण द्वारा प्रकाशित bh कार्यान्वयन से स्केलेर के TSNE (पहचान की अनिश्चितता और अन्य मापदंडों के साथ) का उपयोग करते समय बेतहाशा अलग-अलग परिणामों पर ध्यान दिया है। मुझे आश्चर्य है कि क्या कोई संबंध हो सकता है?

क्या आपने https://github.com/scikit-learn/scikit-learn/issues/6665#issuecomment -264087057 का उल्लेख किया

यह तय है। मेरी क्षमायाचना - मैंने अलग से एक पुनः संकलित सुन्नत, स्किकिट सीखें और डरा दिया, लेकिन 6665 में पसंद नहीं किया।

मुझे यहां बताई गई समस्या के समान ही था, और मैं कॉन्डा का उपयोग नहीं करता हूं।

मेरा पायथन संस्करण macOS Sierra 10.12.4 पर काढ़ा के माध्यम से स्थापित किया गया है

Python 3.6.1
scipy==0.19.0
scikit-learn==0.18.1
numpy==1.11.1

mode='exact' जोड़ने से मेरी समस्या हल हो गई।

@ लेस्टवेव : आपके द्वारा बताए गए सेटअप का उपयोग करके मुझे यह त्रुटि हुई थी (दो संस्करण स्थापित किए गए)। बस एक ही संस्करण के लिए खसखस ​​के conda इंस्टॉल को अद्यतन करने के रूप में पाइप स्थापित (1.12.1) ने मेरे लिए चाल चली। मैं पाइप खस्ता स्थापित हटा दिया, हालांकि, जैसा कि मैंने दो संस्करणों के लिए इरादा नहीं था :)

@lesteve : समाधान के लिए धन्यवाद! मुझे यह त्रुटि हुई और फिर मुझे यह चर्चा मिली। सुन्न के डुप्लिकेटेड संस्करण को हटाने के तुरंत बाद इसे ठीक करें।

दोहराया मैं numpy और अद्यतन conda की निकाली गई पिप इंस्टॉल किए जाने की है।

डार्विन-16.7.0-x86_64-i386-64bit
('पायथन', '2.7.13 | एनाकोंडा प्रथा (x86_64) | (डिफ़ॉल्ट, 20 दिसंबर 2016, 23:05:08) \ n [GCC 4.2.1 संगत Apple LLVM 6.0 (क्लैंग -600.0.57)]')
('NumPy', '1.13.1')
('SciPy', '0.19.0')
('स्किट-लर्न', '0.18.1')

यह मेरे लिनक्स मशीन लिनक्स पर ठीक लगता है:
लिनक्स 3.0.101-0.47.71-default-x86_64-साथ-SuSE-11-x86_64
('पायथन', '2.7.12 | एनाकोंडा 2.3.0 (64-बिट)) (डिफ़ॉल्ट, जुलाई 2 2016, 17:42:40) \ n [GCC 4.4.7 20120313 (Red Hat 4.4.7-1) ] ')
('NumPy', '1.12.1')
('साइपीपी', '0.19.1')
('स्किकिट-लर्न', '0.18.1')

@wolfiex तो आपने किया

conda remove numpy --force -y
pip uninstall numpy -y
conda install numpy

कुछ हद तक मैं आपको scikit-0.19 सीखने के लिए अद्यतन करने की सलाह देता हूं, जिसमें t-SNE में कुछ सुधार हैं

अब वही त्रुटि हो रही है

हाय @rahulsnair , क्या आपको कोई नया मुद्दा खोलने का मन है, जो प्रतिलिपि प्रस्तुत करने योग्य कोड, आपके ट्रेसबैक और आपके द्वारा उपयोग किए जा रहे संस्करणों के साथ है? यह मुद्दा बहुत पुराना है और कोड बहुत बदल गया है। धन्यवाद!