Scikit-learn: ImportError: dlopen: जीसीसी 5.5 के साथ निर्मित मशाल के साथ स्थिर टीएलएस के साथ और ऑब्जेक्ट लोड नहीं कर सकता है

को निर्मित 26 जुल॰ 2019 · 12टिप्पणियाँ · स्रोत: scikit-learn/scikit-learn

मुझे यकीन नहीं है कि यह एक PyTorch बग है, एक scikit-learn बग या एक numba है, लेकिन यह scikit-learn 0.20.3 में काम करता था और 0.21.0 श्रृंखला में काम करना बंद कर दिया था, इसलिए अभी के लिए मैं उद्यम करने जा रहा हूं एक अनुमान है कि यह विज्ञान सीखने में एक प्रतिगमन है।

जब मैं आयात की निम्नलिखित श्रृंखला करता हूं (मूल आयात से कम से कम, जो import librosa ), निम्न प्रोग्राम लोड करना विफल रहता है:

import torch
import soundfile
import scipy.signal
import numba
import sklearn

साथ

Traceback (most recent call last):
  File "/opt/conda/lib/python3.6/site-packages/sklearn/__check_build/__init__.py", line 44, in <module>
    from ._check_build import check_build  # noqa
ImportError: dlopen: cannot load any more object with static TLS

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "test_torch.py", line 5, in <module>
    import sklearn
  File "/opt/conda/lib/python3.6/site-packages/sklearn/__init__.py", line 75, in <module>
    from . import __check_build
  File "/opt/conda/lib/python3.6/site-packages/sklearn/__check_build/__init__.py", line 46, in <module>
    raise_build_error(e)
  File "/opt/conda/lib/python3.6/site-packages/sklearn/__check_build/__init__.py", line 41, in raise_build_error
    %s""" % (e, local_dir, ''.join(dir_content).strip(), msg))
ImportError: dlopen: cannot load any more object with static TLS
___________________________________________________________________________
Contents of /opt/conda/lib/python3.6/site-packages/sklearn/__check_build:
_check_build.cpython-36m-x86_64-linux-gnu.so__pycache__               __init__.py
setup.py
___________________________________________________________________________
It seems that scikit-learn has not been built correctly.

If you have installed scikit-learn from source, please do not forget
to build the package before using it: run `python setup.py install` or
`make` in the source directory.

If you have used an installer, please check that it is suited for your
Python version, your operating system and your platform.

स्किकिट-लर्न 0.20.3 में डाउनग्रेड करने से समस्या दूर हो जाती है।

संस्करणों

jenkins<strong i="15">@260bf77532d0</strong>:~/workspace/test$ python
Python 3.6.8 |Anaconda, Inc.| (default, Dec 30 2018, 01:22:34) 
[GCC 7.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import sklearn; sklearn.show_versions()

System:
    python: 3.6.8 |Anaconda, Inc.| (default, Dec 30 2018, 01:22:34)  [GCC 7.3.0]
executable: /opt/conda/bin/python
   machine: Linux-4.15.0-29-generic-x86_64-with-debian-jessie-sid

BLAS:
    macros: SCIPY_MKL_H=None, HAVE_CBLAS=None
  lib_dirs: /opt/conda/lib
cblas_libs: mkl_rt, pthread

Python deps:
       pip: 19.1.1
setuptools: 41.0.1
   sklearn: 0.21.2
     numpy: 1.16.4
     scipy: 1.1.0
    Cython: None
    pandas: None

इसके अलावा, आपकी रुचि हो सकती है:

jenkins<strong i="19">@260bf77532d0</strong>:~/workspace/test$ pip list | grep numba
numba                  0.43.1         
jenkins<strong i="20">@260bf77532d0</strong>:~/workspace/test$ pip list | grep torch
torch                  1.2.0a0+ab800ad

इस समस्या का कारण बनने के लिए मशाल का निर्माण जीसीसी 5.5.0 के साथ किया जाना चाहिए; जीसीसी के अन्य संस्करण इस समस्या का कारण नहीं होने के लिए जाने जाते हैं।

प्रजनन में आसानी के लिए, आप निम्न डॉकटर छवि ezyang/scikit-learn-tls-repro:1 https://cloud.docker.com/repository/registry-1.docker.io/ezyang/scikit-learn-tls-repro का उपयोग कर सकते हैं। जैसा कि ऊपर वर्णित है प्रजनन निर्देशों का पालन करें। (संपादित करें लेखन के समय, डॉकर छवि अभी भी अपलोड हो रही है। जल्द ही किया जाना चाहिए।)

स्रोत

ezyang

👍6 🚀1 ❤1 🎉1 😄1

सबसे उपयोगी टिप्पणी

मैंने इसे आयात स्केलेर द्वारा हल किया, फिर टेंसरफ़्लो आयात करें। इस त्रुटि में आयात आदेश का परिणाम है।

Ningshiqi 25 मई 2020

🚀4 👍3 🎉2

सभी 12 टिप्पणियाँ

रिपोर्ट के लिए धन्यवाद। आपने sklearn कैसे बनाया/स्थापित किया?

amueller 26 जुल॰ 2019

pip install scikit-learn

ezyang 26 जुल॰ 2019

👎22

क्या आपके पास इसके लिए लॉग है? क्या यह स्रोत से बना है या आपने पहिया स्थापित किया है?

amueller 26 जुल॰ 2019

Collecting scikit-learn                                                                           
  Using cached https://files.pythonhosted.org/packages/85/04/49633f490f726da6e454fddc8e938bbb5bfed
2001681118d3814c219b723/scikit_learn-0.21.2-cp36-cp36m-manylinux1_x86_64.whl

ezyang 26 जुल॰ 2019

👍1

@ezyang यदि संभव हो तो आप Dockerfile साझा करना चाहेंगे।

अगर कोई इस त्रुटि को पुन: उत्पन्न करने में रूचि रखता है तो उपयोग करने के लिए सही डॉकर मंत्र कुछ ऐसा है:

docker run -it ezyang/scikit-learn-tls-repro:1 bash

ध्यान दें कि आपको टैग निर्दिष्ट करने की आवश्यकता है अर्थात 1 स्पष्ट रूप से अन्यथा आपको एक गुप्त त्रुटि संदेश मिलता है ('नवीनतम' टैग मौजूद नहीं है):

Unable to find image 'ezyang/scikit-learn-tls-repro:latest' locally
docker: Error response from daemon: manifest for ezyang/scikit-learn-tls-repro:latest not found.

मुझे नहीं पता कि ऐसा क्यों होगा, लेकिन मुझे इससे संबंधित कई बग रिपोर्टें दिख रही हैं जैसे कि पाइटोरच और ओपनसीवी https://github.com/pytorch/pytorch/issues/2083 या OpenCV और Tensorflow https://github.com /टेंसरफ़्लो/मॉडल/मुद्दे/523. कुल मिलाकर मेरा अनुमान है कि यह कोई स्किकिट-लर्न बग नहीं है।

तथ्य यह है कि यह आयात के क्रम पर निर्भर करता है, उदाहरण के लिए यह आपकी डॉकर छवि में काम करता है:

python -c 'import torch; import sklearn; import soundfile; import scipy.signal; import numba'

lesteve 1 अग॰ 2019

नोट मैंने एक कोंडा वातावरण के अंदर पुन: पेश करने की कोशिश की (अच्छे उपाय के लिए आपकी डॉकर छवि के अंदर) और ( scikit-learn 0.21.2 और pytorch 1.1.0 ) नहीं कर सका, इसलिए मुझे लगता है कि इसे पाइटोरच देव में कुछ बदलावों से जोड़ा जा सकता है संस्करण।

conda create -n test -c pytorch pytorch scikit-learn scipy numba scikit-learn -y
conda activate test
pip install soundfile
python -c 'import torch; import soundfile; import scipy.signal; import numba; import sklearn'

$ conda list
# packages in environment at /opt/conda/envs/test:
#
# Name                    Version                   Build  Channel
_libgcc_mutex             0.1                        main  
blas                      1.0                         mkl  
ca-certificates           2019.5.15                     0  
certifi                   2019.6.16                py37_1  
cffi                      1.12.3           py37h2e261b9_0  
cudatoolkit               10.0.130                      0  
intel-openmp              2019.4                      243  
joblib                    0.13.2                   py37_0  
libedit                   3.1.20181209         hc058e9b_0  
libffi                    3.2.1                hd88cf55_4  
libgcc-ng                 9.1.0                hdf63c60_0  
libgfortran-ng            7.3.0                hdf63c60_0  
libstdcxx-ng              9.1.0                hdf63c60_0  
llvmlite                  0.29.0           py37hd408876_0  
mkl                       2019.4                      243  
mkl-service               2.0.2            py37h7b6447c_0  
mkl_fft                   1.0.12           py37ha843d7b_0  
mkl_random                1.0.2            py37hd81dba3_0  
ncurses                   6.1                  he6710b0_1  
ninja                     1.9.0            py37hfd86e86_0  
numba                     0.45.0           py37h962f231_0  
numpy                     1.16.4           py37h7e9f1db_0  
numpy-base                1.16.4           py37hde5b4d6_0  
openssl                   1.1.1c               h7b6447c_1  
pip                       19.1.1                   py37_0  
pycparser                 2.19                     py37_0  
python                    3.7.3                h0371630_0  
pytorch                   1.1.0           py3.7_cuda10.0.130_cudnn7.5.1_0    pytorch
readline                  7.0                  h7b6447c_5  
scikit-learn              0.21.2           py37hd81dba3_0  
scipy                     1.3.0            py37h7c811a0_0  
setuptools                41.0.1                   py37_0  
six                       1.12.0                   py37_0  
soundfile                 0.10.2                   pypi_0    pypi
sqlite                    3.29.0               h7b6447c_0  
tk                        8.6.8                hbc83047_0  
wheel                     0.33.4                   py37_0  
xz                        5.2.4                h14c3975_4  
zlib                      1.2.11               h7b6447c_3

lesteve 1 अग॰ 2019

मुझे लगता है कि यह विज्ञान-सीखने पर एक द्विभाजित करने के लिए उपयोगी और सहायक होगा, अगर समस्या एक देव निर्माण पर पुन: उत्पन्न होती है।

ezyang 1 अग॰ 2019

सामान्यतया, मेरी भावना यह है कि इस तरह की समस्याओं पर विशेषज्ञता PyTorch की तरफ है। व्यक्तिगत रूप से, मैंने पहले कभी स्थिर टीएलएस के बारे में नहीं सुना और मुझे लगता है कि यह कई अन्य मुख्य विज्ञान-सीखने वाले देवों का मामला है, हालांकि मैं अंतिम कथन के बारे में गलत हो सकता हूं।

IIUC आपने मूल रूप से scikit-learn 0.21.2 और एक pytorch dev संस्करण के साथ समस्या देखी। जैसा कि https://github.com/scikit-learn/scikit-learn/issues/14485#issuecomment -517195977 में उल्लेख किया गया है, मैं scikit-learn 0.21.2 और pytorch 1.1.0 पर समस्या का पुनरुत्पादन नहीं कर सकता। अगर मैं इसे और अधिक विस्तार से समझने की कोशिश करता, तो मैं PyTorch पर द्विभाजित करता।

lesteve 1 अग॰ 2019

@ezyang से जुड़े मुद्दे में इस टीएलएस (थ्रेड लोकल स्टोर) मुद्दे पर जानकारी का समूह है।
यहाँ कुछ जानकारी है जो मैंने पहले खोदी थी: https://github.com/pytorch/pytorch/issues/2575#issuecomment -369892859

;TLDR: आयात की श्रृंखला में कुछ C/C++ -gPIC ध्वज के साथ संकलित नहीं था। उस पुस्तकालय को आयात करने से एक समस्या उत्पन्न होती है जो सभी आयातों को "स्थिर टीएलएस" में बदल देती है। ऐसे "स्थिर टीएलएस" स्लॉट की अधिकतम मात्रा है (मेरे द्वारा यहां उपयोग किए जाने वाले नाम निश्चित रूप से गलत हैं)। स्लॉट का सटीक एन ओएस पर निर्भर करता है, और इसे कैसे संकलित किया गया था।

लिंक्ड पाइटोरच इश्यू 2575 में, एक उल्लेख है कि यह ओपनएमपी है जिसे कैस्केड के कारण ध्वज के बिना संकलित किया गया था।
यह स्किकिट-लर्न समस्या कुछ नए पुस्तकालय के शुरू होने या कुछ बदलाव के कारण हो सकती है, बस कुछ और स्थिर टीएलएस स्लॉट खा रहे हैं।

नोट: वास्तविक विशेषज्ञ नहीं। इस त्रुटि के लिए "एक/कुछ lib गायब `-gPIC' ध्वज संकलित होने के अलावा अन्य स्रोत हो सकते हैं"। हालांकि एक नहीं मिला।

lautjy 17 अग॰ 2019

क्या इस पर कोई अपडेट आया है? मैं इस मुद्दे को भी मार रहा हूं, लिब्रोसा आयात करते समय भी।

adarob 18 अक्तू॰ 2019

जाँच करें https://github.com/pytorch/pytorch/issues/2575#issuecomment -523657178

ezyang 22 अक्तू॰ 2019

Ningshiqi 25 मई 2020

🚀4 👍3 🎉2

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Scikit-learn: ImportError: dlopen: जीसीसी 5.5 के साथ निर्मित मशाल के साथ स्थिर टीएलएस के साथ और ऑब्जेक्ट लोड नहीं कर सकता है

संस्करणों

सबसे उपयोगी टिप्पणी

सभी 12 टिप्पणियाँ

संबंधित मुद्दों