Scikit-learn: 나는 콘다 / MKL로 빌드하는 방법을 이해하지 못합니다

어떻게 설치했습니까?

라이센스 파일을 추가하고 실행하기만 하면 됩니다.
conda 업그레이드(또는 이와 유사한 것)

나도 그렇게했는데 mkl로 numpy를 제공합니다. 그러나 sklearn을 컴파일하려고 하면 가져올 때 연결 오류가 발생합니다.

흠 잘 모르겠습니다. 지역 파이썬 및 아나콘다와 충돌할 수 있습니다.
설정하는 동안 :(

흠, LD_LIBRARY_PATH나 뭔가를 설정해야 할까요?

나는 내 것을 다음과 같이 설정했습니다.

LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/u/kkastne/miniconda/lib/

다른 라이브러리에서 다른 라이브러리를 찾으면 순서가 중요할 수 있지만
파이썬이 먼저 설치됩니다.

2015년 7월 29일 수요일 오후 5:01 Andreas Mueller [email protected]
썼다:

흠, LD_LIBRARY_PATH나 뭔가를 설정해야 할까요?

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/scikit-learn/scikit-learn/issues/5046#issuecomment -126094651
.

그것은 시스템 numpy와 LD_LIBRARY_PATH를 섞은 조합이었습니다... 항상 즐거운 시간이었습니다. 소음에 대해 죄송합니다.

같은 문제가 발생합니다. @amueller Noob 질문:

내 프로그램을 컴파일하기 위해 아나콘다에서 pyinstaller를 사용하여 동일한 문제가 있습니다. 특정 컴퓨터에서 실행하면 위에서 언급한 오류가 발생합니다. 필자의 경우 $LD_LIBRARY_PATH를 에코하면 시스템 관리자가 일부 프로그램이 작동하도록 설정한 몇 가지 경로가 표시됩니다. 나는 그것을 aconda lib 경로로 설정하고 비워 두려고했지만 오류가 계속 발생합니다.

새로운 오류가 있다고 생각합니다. 방금 Travis 인스턴스에서 오류가 발생했습니다.

문제는 언제 발생합니까? 제 경우에는 conda install numpy로 설치할 수 있었고 오류 메시지가 표시되지 않았기 때문입니다. 그 후 pyinstaller를 사용하여 단일 파일 바이너리를 성공적으로 생성했습니다. 실행 파일을 실제로 사용할 때 어떤 시점에서 일부 Biopython 코드에 대한 호출로 인해 오류가 발생합니다. 그래서 런타임에 코드를 테스트할 때도 문제가 있는 것 같은데요?

내 conda 설치를 확인하면 libmkl_avx2.so와 libmkl_def.so가 모두 $home/anaconda2/lib 폴더에 있습니다. 또한 파일을 pyintaller 사양 파일에 바이너리로 추가하려고 시도했지만 아무 것도 작동하지 않습니다...

새로운 오류가 있다고 생각합니다. 방금 Travis 인스턴스에서 오류가 발생했습니다.

@amueller 나는이 오류를 보았습니다 :

Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so.

트래비스에서도. 내가 수집할 수 있었던 것은 numpy 1.10.2가 일부 mkl 항목을 누락했기 때문입니다. numpy 1.10.4는 괜찮았습니다. 이것은 https://github.com/scikit-learn/scikit-learn/pull/6508#issuecomment -194908920에 기록되어

기록을 위해 아나콘다(MKL 포함 또는 제외)로 scikit-learn을 빌드하기 위해 LD_LIBRARY_PATH를 설정할 필요가 없었습니다.

@clacri 는 scikit-learn과 관련된 문제입니까? 그렇지 않다면 pyinstaller나 Biopython 사람들에게 질문을 해야 할 것 같습니다...

내가 수집할 수 있었던 것은 numpy 1.10.2가 일부 mkl 항목을 누락했기 때문입니다.

다음은 내 컴퓨터에서 문제를 재현하는 스니펫입니다.

conda create -n mkl --yes python=3.5 pip nose numpy=1.10.2 scipy=0.16.1 cython=0.23.4 mkl
. activate mkl
cd ~/dev/scikit-learn
make in
python -c 'import sklearn.linear_model.tests.test_randomized_l1'

Intel MKL FATAL ERROR: Cannot load libmkl_mc3.so or libmkl_def.so.

아니, 당신 말이 맞아. 나는 그들의 문제 목록에 게시해야합니다. 여기에서 지적한 오류가 똑같고, 아콘다를 사용하다가도 본 것 같아서 관련이 있지 않을까 하는 생각이 들었습니다. 다른 mkl 라이브러리와 비슷한 문제가 있는 것 같아서 pyinstaller 프로젝트에 대해 이미 질문했습니다. 어쨌든 아나콘다에서 내 numpy 버전을 확인했는데 1.10.4입니다. 어쨌든 감사합니다 :)

기록을 위해 참조된 댓글을 탐색하면서 Anaconda 블로그에서 라이브러리의 mkl 버전을 비활성화하는 방법을 설명하는 게시물을 찾았습니다(https://www.continuum.io/blog/developer-blog/anaconda-25 -release-now-mkl-optimizations) 이제 최소한 작업 버전을 컴파일할 수 있습니다. 감사 해요!

나에게 같은 문제 때문에 conda install nomkl로 mkl을 끕니다. 나는 지금 행복하다. 이 문제가 해결되면 다시 켤 수 있도록 공유해 주세요. 이 문제를 자세히 설명해 주셔서 감사합니다.

같은 문제

위의 링크를 따라가서 내 문제를 해결했습니다. 감사 해요.

적어도 나에게는 이제 해결되었습니다. 새로운 numpy 11로 시도해 볼 수 있습니다.
2016년 4월 27일 수요일 오후 10시 42분에 gjzhu [email protected]에서 다음과 같이 썼습니다.

같은 문제. 어떻게 대처해야 할지 모르겠습니다.

—
당신이 댓글을 달았기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/scikit-learn/scikit-learn/issues/5046#issuecomment -215292024

성진 (제임스) 김, PhD

Postdoc, 하버드 CCB

[email protected]

[웹] http://aspuru.chem.harvard.edu/james-sungjin-kim/

[링크드인] https://www.linkedin.com/in/jamessungjinkim

[페이스북] https://www.facebook.com/jamessungjin.kim

[대체이메일] jamessungjin. [email protected]

conda install numpy
나를 위해 오류 수정

좋은. 이전에 언급했듯이 저에게도 효과적입니다.

2016년 5월 3일 화요일 오전 11시 26분에 alinabee [email protected]에서 다음과 같이 썼습니다.

콘다 설치 numpy
나를 위해 오류 수정

—
당신이 댓글을 달았기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/scikit-learn/scikit-learn/issues/5046#issuecomment -216563766

성진 (제임스) 김, PhD

Postdoc, 하버드 CCB

[email protected]

[웹] http://aspuru.chem.harvard.edu/james-sungjin-kim/

[링크드인] https://www.linkedin.com/in/jamessungjinkim

[페이스북] https://www.facebook.com/jamessungjin.kim

[대체이메일] jamessungjin. [email protected]

안녕,

기본적으로 mkl이 활성화된 상태로 제공되는 Anaconda 4.0.0에 이 문제가 있음을 알고 싶었습니다.
문제는 실제로 Anaconda에 있습니다. @pcgreat이 위에서 제안한 python sklearn 테스트로 재현할 수 있기 때문입니다.

실제 문제는 Anaconda가 mkl과 연결되어 있지만 libmkl_core.so와 연결되어 있지 않으므로 기호가 누락되어 다음을 실행하여 볼 수 있다는 것입니다.

$ LD_DEBUG=symbols python -c 'import sklearn.linear_model.tests.test_randomized_l1' 2>&1 | grep -i error
      2200:     /opt/anaconda/lib/python2.7/site-packages/scipy/special/../../../../libmkl_avx.so: error: symbol lookup error: undefined symbol: mkl_dft_fft_fix_twiddle_table_32f (fatal)

성능 향상을 원했기 때문에 mkl을 제거하고 싶지 않았기 때문에 실행 전에 libmkl_core.so를 미리 로드하는 방법을 찾았습니다.

$ python -c 'import sklearn.linear_model.tests.test_randomized_l1'
Intel MKL FATAL ERROR: Cannot load libmkl_avx.so or libmkl_def.so.
$

$ LD_PRELOAD=/opt/anaconda/lib/libmkl_core.so python -c 'import sklearn.linear_model.tests.test_randomized_l1'
$

문안 인사,
야니르.

너무 멋진 솔루션 생각입니다.

2016년 5월 11일 수요일 오전 7:00 yanirj [email protected]에서 다음과 같이 썼습니다.

안녕,

Anaconda 4.0.0은
기본적으로 이 문제가 있습니다.
문제는 실제로 Anaconda에 있습니다.
@pcgreat이 위에서 제안한 python sklearn 테스트
https://github.com/pcgreat.

실제 문제는 Anaconda가 mkl과 연결되었지만
libmkl_core.so, 따라서 누락된 기호가 있으며 다음을 실행하여 볼 수 있습니다.

$ LD_DEBUG=symbols python -c 'sklearn.linear_model.tests.test_randomized_l1 가져오기' 2>&1 | grep -i 오류
2200: /opt/anaconda/lib/python2.7/site-packages/scipy/special/../../../../libmkl_avx.so: 오류: 기호 조회 오류: 정의되지 않은 기호: mkl_dft_fft_fix_twiddle_table_32f(치명적)

성능 향상을 원하므로 mkl을 제거하고 싶지 않았습니다.
그래서 나는 나를 위해 일한 해결 방법을 찾았습니다 - 전에 libmkl_core.so를 미리로드하십시오
실행.

$ python -c 'sklearn.linear_model.tests.test_randomized_l1 가져오기'
인텔 MKL 치명적 오류: libmkl_avx.so 또는 libmkl_def.so를 로드할 수 없습니다.
$

$ LD_PRELOAD=/opt/anaconda/lib/libmkl_core.so python -c 'sklearn.linear_model.tests.test_randomized_l1 가져오기'
$

문안 인사,
야니르.

—
당신이 댓글을 달았기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/scikit-learn/scikit-learn/issues/5046#issuecomment -218427199

성진 (제임스) 김, PhD

Postdoc, 하버드 CCB

[email protected]

[웹] http://aspuru.chem.harvard.edu/james-sungjin-kim/

[링크드인] https://www.linkedin.com/in/jamessungjinkim

[페이스북] https://www.facebook.com/jamessungjin.kim

[대체이메일] jamessungjin. [email protected]

사용 가능한 최신 패키지를 사용했음에도 불구하고 동일한 문제가 발생했습니다. 솔루션은 내가 생각했던 것보다 쉬웠습니다. 이유가 무엇이든 Anaconda는 numpy/scipy 스택의 MKL 지원 버전을 설치했지만 실제로 mkl 자체를 설치하지는 않았습니다. Jupyter 최소 노트북 스택을 기반으로 Docker 이미지를 빌드할 때 이것을 보았습니다.

간단한 conda install --yes mkl mkl-service 해결했습니다.

라이브러리가 미리 로드된 ipython 터미널을 열 때 pca 루틴 중 하나를 실행할 때 다음 오류가 발생했습니다.
:
/home/rp2801/anaconda2/bin/python: 기호 조회 오류: /home/rp2801/anaconda2/lib/libmkl_core.so: 정의되지 않은 기호: mkl_serv_get_max_threads
내 ipython 터미널을 다음과 같이 열었습니다.
$ LD_PRELOAD=/경로/to/libmkl_core.so ipython

https://www.continuum.io/blog/developer-blog/anaconda-25-release-now-mkl-optimizations
이 링크가 문제를 해결했습니다

나는 같은 오류가 발생했습니다. MKL을 제거하는 대신 빌드된 이전 cvxopt로 전환하는 대신 문제가 해결되었습니다.

콘다 설치 cvxopt=1.1.8=py35_0

문제를 성공적으로 해결했습니다. https://docs.continuum.io/mkl-optimizations/ 튜토리얼입니다.
명령:
콘다 업데이트 콘다
콘다 업데이트 아나콘다
콘다 업데이트 mkl

numpy: 1.11.2 에서 동일한 문제가 있음을 발견했습니다. 이 문제는 다음에 의해 재현될 수 있습니다.
$ python -c 'import sklearn.linear_model.tests.test_randomized_l1'
인텔 MKL 치명적 오류: libmkl_avx.so 또는 libmkl_def.so를 로드할 수 없습니다.

numpy를 1.11.1로 다운그레이드한 후 이 오류가 사라졌습니다.
conda install numpy=1.11.1
다음 패키지는 종속성 충돌로 인해 다운그레이드됩니다.
numpy: 1.11.2-py35_0 --> 1.11.1-py35_0
계속([y]/n)? 와이

[해결됨] http://debugjournal.tumblr.com/post/98401758462/intel-mkl-dynamic-link-library-error

첨가
numpy를 np로 가져오기
스크립트 시작 부분에서 문제가 해결되었습니다 :-)

nomkl로 MKL을 비활성화하고 싶지 않았습니다.
첨가

import mkl
mkl.get_max_threads()

나를 위해이 문제를 해결했습니다.

conda install numpy
나를 위해 문제를 해결했습니다.

콘다 설치 -c 인텔 mkl

나를 위해 일했다

콘다 설치 numpy
나를 위해 문제도 해결했습니다.