Scikit-learn: ImportError: dlopen: gcc 5.5로 빌드된 토치를 사용하여 정적 TLS를 사용하여 더 이상 개체를 로드할 수 없습니다.

에 만든 2019년 07월 26일 · 12코멘트 · 출처: scikit-learn/scikit-learn

이것이 PyTorch 버그인지, scikit-learn 버그인지 또는 숫자인지 확실하지 않지만, 이것은 scikit-learn 0.20.3에서 작동하고 0.21.0 시리즈에서 작동을 멈췄으므로 지금은 모험을 하려고 합니다. scikit learn의 회귀라고 추측합니다.

다음 일련의 가져오기( import librosa 였던 원래 가져오기에서 최소화)를 수행하면 다음 프로그램 로드가 실패합니다.

import torch
import soundfile
import scipy.signal
import numba
import sklearn

~와 함께

Traceback (most recent call last):
  File "/opt/conda/lib/python3.6/site-packages/sklearn/__check_build/__init__.py", line 44, in <module>
    from ._check_build import check_build  # noqa
ImportError: dlopen: cannot load any more object with static TLS

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "test_torch.py", line 5, in <module>
    import sklearn
  File "/opt/conda/lib/python3.6/site-packages/sklearn/__init__.py", line 75, in <module>
    from . import __check_build
  File "/opt/conda/lib/python3.6/site-packages/sklearn/__check_build/__init__.py", line 46, in <module>
    raise_build_error(e)
  File "/opt/conda/lib/python3.6/site-packages/sklearn/__check_build/__init__.py", line 41, in raise_build_error
    %s""" % (e, local_dir, ''.join(dir_content).strip(), msg))
ImportError: dlopen: cannot load any more object with static TLS
___________________________________________________________________________
Contents of /opt/conda/lib/python3.6/site-packages/sklearn/__check_build:
_check_build.cpython-36m-x86_64-linux-gnu.so__pycache__               __init__.py
setup.py
___________________________________________________________________________
It seems that scikit-learn has not been built correctly.

If you have installed scikit-learn from source, please do not forget
to build the package before using it: run `python setup.py install` or
`make` in the source directory.

If you have used an installer, please check that it is suited for your
Python version, your operating system and your platform.

scikit-learn 0.20.3으로 다운그레이드하면 문제가 사라집니다.

버전

jenkins<strong i="15">@260bf77532d0</strong>:~/workspace/test$ python
Python 3.6.8 |Anaconda, Inc.| (default, Dec 30 2018, 01:22:34) 
[GCC 7.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import sklearn; sklearn.show_versions()

System:
    python: 3.6.8 |Anaconda, Inc.| (default, Dec 30 2018, 01:22:34)  [GCC 7.3.0]
executable: /opt/conda/bin/python
   machine: Linux-4.15.0-29-generic-x86_64-with-debian-jessie-sid

BLAS:
    macros: SCIPY_MKL_H=None, HAVE_CBLAS=None
  lib_dirs: /opt/conda/lib
cblas_libs: mkl_rt, pthread

Python deps:
       pip: 19.1.1
setuptools: 41.0.1
   sklearn: 0.21.2
     numpy: 1.16.4
     scipy: 1.1.0
    Cython: None
    pandas: None

또한 다음 항목에 관심이 있을 수 있습니다.

jenkins<strong i="19">@260bf77532d0</strong>:~/workspace/test$ pip list | grep numba
numba                  0.43.1         
jenkins<strong i="20">@260bf77532d0</strong>:~/workspace/test$ pip list | grep torch
torch                  1.2.0a0+ab800ad

이 문제를 일으키려면 토치 빌드를 gcc 5.5.0으로 수행해야 합니다. 다른 버전의 gcc는 이 문제를 일으키지 않는 것으로 알려져 있습니다.

복제의 용이성을 위해 다음 도커 이미지 ezyang/scikit-learn-tls-repro:1 https://cloud.docker.com/repository/registry-1.docker.io/ezyang/scikit-learn-tls-repro를 사용할 수 있습니다. 위에서 설명한 대로 재생산 지침을 따르십시오. (편집 작성 당시 Docker 이미지는 아직 업로드 중입니다. 곧 완료되어야 합니다.)

출처

ezyang

👍6 🚀1 ❤1 🎉1 😄1

가장 유용한 댓글

import sklearn으로 해결한 다음 tensorflow를 가져옵니다. 가져오기 순서로 인해 이 오류가 발생합니다.

Ningshiqi 에 2020년 05월 25일

🚀4 👍3 🎉2

모든 12 댓글

신고해 주셔서 감사합니다. sklearn을 어떻게 빌드/설치하셨나요?

amueller 에 2019년 07월 26일

pip install scikit-learn

ezyang 에 2019년 07월 26일

👎22

그에 대한 로그가 있습니까? 소스에서 빌드했습니까 아니면 휠을 설치했습니까?

amueller 에 2019년 07월 26일

Collecting scikit-learn                                                                           
  Using cached https://files.pythonhosted.org/packages/85/04/49633f490f726da6e454fddc8e938bbb5bfed
2001681118d3814c219b723/scikit_learn-0.21.2-cp36-cp36m-manylinux1_x86_64.whl

ezyang 에 2019년 07월 26일

👍1

@ezyang 가능하다면 Dockerfile 를 공유할 수 있습니다.

누구든지 이 오류를 재현하는 데 관심이 있다면 사용할 올바른 도커 주문은 다음과 같습니다.

docker run -it ezyang/scikit-learn-tls-repro:1 bash

1 태그를 명시적으로 지정해야 합니다.

Unable to find image 'ezyang/scikit-learn-tls-repro:latest' locally
docker: Error response from daemon: manifest for ezyang/scikit-learn-tls-repro:latest not found.

나는 이런 일이 왜 아무 생각이 없다,하지만 난 pytorch으로이 예에 관련된 다수의 버그 리포트를 보일하고 OpenCV의 https://github.com/pytorch/pytorch/issues/2083 또는 OpenCV의 및 Tensorflow https://github.com /tensorflow/models/issues/523. 대체로 나는 이것이 scikit-learn 버그가 아니라고 추측합니다.

가져오기 순서에 의존한다는 사실은 비정상적입니다. 예를 들어 이것은 도커 이미지에서 작동합니다.

python -c 'import torch; import sklearn; import soundfile; import scipy.signal; import numba'

lesteve 에 2019년 08월 01일

참고 나는 conda 환경(좋은 측정을 위해 도커 이미지 내부) 내에서 재현하려고 시도했지만 할 수 없었습니다( scikit-learn 0.21.2 및 pytorch 1.1.0 ). 따라서 이것이 pytorch dev의 일부 변경 사항과 연결될 수 있습니다. 버전.

conda create -n test -c pytorch pytorch scikit-learn scipy numba scikit-learn -y
conda activate test
pip install soundfile
python -c 'import torch; import soundfile; import scipy.signal; import numba; import sklearn'

$ conda list
# packages in environment at /opt/conda/envs/test:
#
# Name                    Version                   Build  Channel
_libgcc_mutex             0.1                        main  
blas                      1.0                         mkl  
ca-certificates           2019.5.15                     0  
certifi                   2019.6.16                py37_1  
cffi                      1.12.3           py37h2e261b9_0  
cudatoolkit               10.0.130                      0  
intel-openmp              2019.4                      243  
joblib                    0.13.2                   py37_0  
libedit                   3.1.20181209         hc058e9b_0  
libffi                    3.2.1                hd88cf55_4  
libgcc-ng                 9.1.0                hdf63c60_0  
libgfortran-ng            7.3.0                hdf63c60_0  
libstdcxx-ng              9.1.0                hdf63c60_0  
llvmlite                  0.29.0           py37hd408876_0  
mkl                       2019.4                      243  
mkl-service               2.0.2            py37h7b6447c_0  
mkl_fft                   1.0.12           py37ha843d7b_0  
mkl_random                1.0.2            py37hd81dba3_0  
ncurses                   6.1                  he6710b0_1  
ninja                     1.9.0            py37hfd86e86_0  
numba                     0.45.0           py37h962f231_0  
numpy                     1.16.4           py37h7e9f1db_0  
numpy-base                1.16.4           py37hde5b4d6_0  
openssl                   1.1.1c               h7b6447c_1  
pip                       19.1.1                   py37_0  
pycparser                 2.19                     py37_0  
python                    3.7.3                h0371630_0  
pytorch                   1.1.0           py3.7_cuda10.0.130_cudnn7.5.1_0    pytorch
readline                  7.0                  h7b6447c_5  
scikit-learn              0.21.2           py37hd81dba3_0  
scipy                     1.3.0            py37h7c811a0_0  
setuptools                41.0.1                   py37_0  
six                       1.12.0                   py37_0  
soundfile                 0.10.2                   pypi_0    pypi
sqlite                    3.29.0               h7b6447c_0  
tk                        8.6.8                hbc83047_0  
wheel                     0.33.4                   py37_0  
xz                        5.2.4                h14c3975_4  
zlib                      1.2.11               h7b6447c_3

lesteve 에 2019년 08월 01일

dev 빌드에서 문제가 재현되는 경우 scikit-learn에서 이등분을 얻는 것이 유용하고 도움이 될 것이라고 생각합니다.

ezyang 에 2019년 08월 01일

일반적으로 말하자면, 이러한 종류의 문제에 대한 전문 지식은 PyTorch 측에 있다고 생각합니다. 개인적으로, 나는 전에 정적 TLS에 대해 들어본 적이 없으며 이것이 다른 많은 핵심 scikit-learn 개발자의 경우라고 추측할 수 있지만 마지막 진술에 대해서는 틀릴 수 있습니다.

IIUC에서는 원래 scikit-learn 0.21.2 및 pytorch dev 버전의 문제를 보았습니다. https://github.com/scikit-learn/scikit-learn/issues/14485#issuecomment -517195977에 명시된 대로 scikit-learn 0.21.2 및 pytorch 1.1.0에서 문제를 재현할 수 없습니다. 이것을 더 자세히 이해하려고 하면 PyTorch를 이등분할 것입니다.

lesteve 에 2019년 08월 01일

@ezyang 링크된 문제에는 이 TLS(스레드 로컬 저장소) 문제에 대한 많은 정보가 있습니다.
다음은 내가 이전에 파헤친 정보입니다. https://github.com/pytorch/pytorch/issues/2575#issuecomment -369892859

;TLDR: 가져오기 체인의 무언가가 -gPIC 플래그로 C/C++ 컴파일되지 않았습니다. 해당 라이브러리를 가져오면 모든 가져오기가 "정적 TLS"로 바뀌는 문제가 발생합니다. 이러한 "정적 TLS" 슬롯의 최대 개수가 있습니다(여기서 사용하는 이름은 확실히 틀립니다). 정확한 슬롯 N은 OS와 컴파일 방식에 따라 다릅니다.

연결된 pytorch 문제 2575에는 캐스케이드를 유발하는 플래그 없이 컴파일된 것이 OpenMP라는 언급이 있습니다.
이 scikit-learn 문제는 몇 가지 새로운 라이브러리가 도입되거나 몇 가지 정적 TLS 슬롯을 더 사용하는 일부 변경으로 인해 발생할 수 있습니다.

참고: 실제 전문가가 아닙니다. 이 오류에 대한 다른 소스가 "컴파일 시 `-gPIC' 플래그가 누락된 하나/일부 라이브러리"가 있을 수 있습니다. 그러나 하나를 찾지 못했습니다.

lautjy 에 2019년 08월 17일

이에 대한 업데이트가 있었습니까? librosa를 가져올 때도 이 문제를 겪고 있습니다.

adarob 에 2019년 10월 18일

https://github.com/pytorch/pytorch/issues/2575#issuecomment -523657178 확인

ezyang 에 2019년 10월 22일

import sklearn으로 해결한 다음 tensorflow를 가져옵니다. 가져오기 순서로 인해 이 오류가 발생합니다.

Ningshiqi 에 2020년 05월 25일

🚀4 👍3 🎉2

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Scikit-learn: ImportError: dlopen: gcc 5.5로 빌드된 토치를 사용하여 정적 TLS를 사용하여 더 이상 개체를 로드할 수 없습니다.

버전

가장 유용한 댓글

모든 12 댓글

관련 문제