Scikit-learn: ImportError: dlopen: больше невозможно загрузить объект со статическим TLS с torch, созданным с помощью gcc 5.5

Спасибо за отчет. Как вы собирали / устанавливали sklearn?

pip install scikit-learn

У вас есть журнал для этого? Он был собран из исходников или вы установили колесо?

Collecting scikit-learn                                                                           
  Using cached https://files.pythonhosted.org/packages/85/04/49633f490f726da6e454fddc8e938bbb5bfed
2001681118d3814c219b723/scikit_learn-0.21.2-cp36-cp36m-manylinux1_x86_64.whl    

@ezyang вы можете захотеть поделиться Dockerfile если это возможно.

Если кто-то заинтересован в воспроизведении этой ошибки, правильное заклинание докера для использования выглядит примерно так:

docker run -it ezyang/scikit-learn-tls-repro:1 bash

Обратите внимание, что вам нужно явно указать тег, т.е. 1 противном случае вы получите загадочное сообщение об ошибке (последний тег не существует):

Unable to find image 'ezyang/scikit-learn-tls-repro:latest' locally
docker: Error response from daemon: manifest for ezyang/scikit-learn-tls-repro:latest not found.

Я понятия не имею, почему это могло произойти, но у меня появилось множество отчетов об ошибках, связанных с этим, например, с pytorch и OpenCV https://github.com/pytorch/pytorch/issues/2083 или OpenCV и Tensorflow https://github.com / tenorflow / модели / вопросы / 523. В общем, я бы предположил, что это не ошибка scikit-learn.

Тот факт, что это зависит от порядка импорта, подозрительно, например, это работает в вашем образе докера:

python -c 'import torch; import sklearn; import soundfile; import scipy.signal; import numba'

Примечание.Я пытался воспроизвести внутри среды conda (внутри вашего образа докера для хорошей меры) и не смог ( scikit-learn 0.21.2 и pytorch 1.1.0 ), поэтому я предполагаю, что это может быть связано с некоторыми изменениями в pytorch dev версия.

conda create -n test -c pytorch pytorch scikit-learn scipy numba scikit-learn -y
conda activate test
pip install soundfile
python -c 'import torch; import soundfile; import scipy.signal; import numba; import sklearn'

$ conda list
# packages in environment at /opt/conda/envs/test:
#
# Name                    Version                   Build  Channel
_libgcc_mutex             0.1                        main  
blas                      1.0                         mkl  
ca-certificates           2019.5.15                     0  
certifi                   2019.6.16                py37_1  
cffi                      1.12.3           py37h2e261b9_0  
cudatoolkit               10.0.130                      0  
intel-openmp              2019.4                      243  
joblib                    0.13.2                   py37_0  
libedit                   3.1.20181209         hc058e9b_0  
libffi                    3.2.1                hd88cf55_4  
libgcc-ng                 9.1.0                hdf63c60_0  
libgfortran-ng            7.3.0                hdf63c60_0  
libstdcxx-ng              9.1.0                hdf63c60_0  
llvmlite                  0.29.0           py37hd408876_0  
mkl                       2019.4                      243  
mkl-service               2.0.2            py37h7b6447c_0  
mkl_fft                   1.0.12           py37ha843d7b_0  
mkl_random                1.0.2            py37hd81dba3_0  
ncurses                   6.1                  he6710b0_1  
ninja                     1.9.0            py37hfd86e86_0  
numba                     0.45.0           py37h962f231_0  
numpy                     1.16.4           py37h7e9f1db_0  
numpy-base                1.16.4           py37hde5b4d6_0  
openssl                   1.1.1c               h7b6447c_1  
pip                       19.1.1                   py37_0  
pycparser                 2.19                     py37_0  
python                    3.7.3                h0371630_0  
pytorch                   1.1.0           py3.7_cuda10.0.130_cudnn7.5.1_0    pytorch
readline                  7.0                  h7b6447c_5  
scikit-learn              0.21.2           py37hd81dba3_0  
scipy                     1.3.0            py37h7c811a0_0  
setuptools                41.0.1                   py37_0  
six                       1.12.0                   py37_0  
soundfile                 0.10.2                   pypi_0    pypi
sqlite                    3.29.0               h7b6447c_0  
tk                        8.6.8                hbc83047_0  
wheel                     0.33.4                   py37_0  
xz                        5.2.4                h14c3975_4  
zlib                      1.2.11               h7b6447c_3  

Я думаю, было бы полезно и полезно получить пополам scikit-learn, если проблема воспроизводится в сборке разработчика.

Вообще говоря, я считаю, что экспертиза по такого рода проблемам находится на стороне PyTorch. Лично я никогда раньше не слышал о статическом TLS, и я предполагаю, что это случай многих других разработчиков ядра scikit-learn, хотя я могу ошибаться в последнем утверждении.

IIUC, вы изначально видели проблему с scikit-learn 0.21.2 и версией pytorch dev. Я не могу воспроизвести проблему на scikit-learn 0.21.2 и pytorch 1.1.0, как указано в https://github.com/scikit-learn/scikit-learn/issues/14485#issuecomment -517195977. Если бы я попытался разобраться в этом более подробно, я бы разделил на PyTorch пополам.

Проблема, связанная с @ezyang, содержит много информации об этой проблеме TLS (локального хранилища потоков).
Вот некоторая информация, которую я выкопал раньше: https://github.com/pytorch/pytorch/issues/2575#issuecomment -369892859

; TL; DR: что-то в цепочке импорта не было скомпилировано на C / C ++ с флагом -gPIC . Импорт этой библиотеки вызывает проблему, которая превращает весь импорт в «статический TLS». Таких «статических TLS-слотов» максимальное количество (имена, которые я здесь использую, безусловно, неверны). Точное количество слотов зависит от ОС и от того, как она была скомпилирована.

В связанной проблеме 2575 pytorch упоминается, что это OpenMP, который был скомпилирован без флага, вызывающего каскад.
Эта проблема с scikit-learn может быть связана с введением какой-либо новой библиотеки или некоторыми изменениями, потребляющими еще несколько статических слотов TLS.

Примечание: не настоящий эксперт. Могут быть другие источники этой ошибки, кроме «в одной / некоторых библиотеках отсутствует флаг` -gPIC 'при компиляции ». Хотя не нашел.

Были ли обновления по этому поводу? Я тоже сталкиваюсь с этой проблемой, когда импортирую librosa.

проверьте https://github.com/pytorch/pytorch/issues/2575#issuecomment -523657178

Я решил это, импортируя sklearn, затем импортируя тензорный поток. Порядок импорта приводит к этой ошибке.