Numpy: Numpy 1.10.2 + MKL = 충돌 (Windows)

흠, 여기서 무슨 일이 일어나고 있는지 모르겠습니다. 인텔은 빌드에 몇 가지 변경 사항을 적용했지만 관련 내용이 없다고 생각합니다. Python 3.5는 Windows에서 최신 VS로 컴파일되기 때문에 가능한 범인입니다. @cgohlke 생각?

가장 좋은 방법은 재현 기를 제공하는 것이라고 생각합니다 (이것을 생성하는 "일부 기능"은 무엇입니까?). 그들의 MKL 빌드와 우리는 그렇지 않습니다).

"일부 기능"에 대해 죄송합니다. :)-matplotlib를 통해 간접적으로 충돌했습니다.

이것은 똑같이 충돌합니다.

A = np.arange(2*3).reshape(2,3).astype(np.float32)
B = np.arange(2*3*2731).reshape(2,3,2731).astype(np.int16)

np.dot(A, B)

내 노트북 에서 최신

>>> np.show_config()
openblas_lapack_info:
  NOT AVAILABLE
lapack_mkl_info:
    include_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/include']
    libraries = ['mkl_lapack95_lp64', 'mkl_blas95_lp64', 'mkl_rt', 'mkl_lapack95_lp64', 'mkl_blas95_lp64', 'mkl_rt']
    library_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/lib/intel64_win']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
lapack_opt_info:
    include_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/include']
    libraries = ['mkl_lapack95_lp64', 'mkl_blas95_lp64', 'mkl_rt', 'mkl_lapack95_lp64', 'mkl_blas95_lp64', 'mkl_rt']
    library_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/lib/intel64_win']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
mkl_info:
    include_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/include']
    libraries = ['mkl_lapack95_lp64', 'mkl_blas95_lp64', 'mkl_rt']
    library_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/lib/intel64_win']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
blas_mkl_info:
    include_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/include']
    libraries = ['mkl_lapack95_lp64', 'mkl_blas95_lp64', 'mkl_rt']
    library_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/lib/intel64_win']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
blas_opt_info:
    include_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/include']
    libraries = ['mkl_lapack95_lp64', 'mkl_blas95_lp64', 'mkl_rt']
    library_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/lib/intel64_win']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]

>>> import numpy as np
>>> A = np.arange(2*3).reshape(2,3).astype(np.float32)
>>> B = np.arange(2*3*2731).reshape(2,3,2731).astype(np.int16)
>>> np.dot(A, B)
array([[[  13655.,   13658.,   13661., ...,   21839.,   21842.,   21845.],
        [  38234.,   38237.,   38240., ...,   46418.,   46421.,   46424.]],

       [[  38234.,   38246.,   38258., ...,   70970.,   70982.,   70994.],
        [ 136550.,  136562.,  136574., ...,  169286.,  169298.,  169310.]]], dtype=float32)

둘 다 나에게 예상대로 작동합니다.

나는 오류 추측 Intel MKL FATAL ERROR: Cannot load mkl_intel_thread.dll 잘못된 때문에 설명 될 수이 버전이 mkl_intel_thread.dll 에서 발견 somwhere을 PATH . numpy + MKL에서 수행 한 것처럼 PATH 를 확장하여 MKL DLL을 찾는 것은 시스템에 다른 MKL 런타임이 설치되어있는 경우 취약합니다.

C : \ Windows * 디렉토리에 libiomp5md.dll 또는 mkl_*.dll 파일이 있습니까?

@cgohlke , numpy + MKL에서 numpy.core 을 PATH 에 추가하기 위해 _init_numpy_mkl() 를 도입했습니다.

DLL 검색 순서를 변경하기 위해 https://gist.github.com/matham/f6a07f8fb5e403feb440 의 다음 접근 방식을 고려 했습니까?

또한보십시오:
https://pytools.codeplex.com/workitem/1627 (출처)
https://github.com/numpy/numpy/wiki/windows-dll-notes#python -dlls
http://stackoverflow.com/questions/23804438/find-library-in-ctypes

@cgohlke 다음은 내 Windows 디렉터리에있는 DLL입니다.

['System32\\libiomp5md.dll',
 'System32\\mkl_core.dll',
 'System32\\mkl_def.dll',
 'System32\\mkl_intel_thread.dll',
 'SysWOW64\\libiomp5md.dll',
 'SysWOW64\\mkl_core.dll',
 'SysWOW64\\mkl_intel_thread.dll',
 'SysWOW64\\mkl_p4.dll',
 'SysWOW64\\mkl_p4m.dll',
 'SysWOW64\\mkl_p4m3.dll',
 'SysWOW64\\mkl_p4p.dll']

파이썬을 호출하기 전에 SET PATH=; 내 PATH를 재설정하려고하면 여전히 충돌이 발생하지만 Windows 디렉토리에서 위의 DLL을 완전히 제거하면 충돌이 중지됩니다. 경로 우선 순위 문제 @carlkl처럼 보입니다.

@cgohlke , numpy + MKL의 __init__.py 로 테스트하기 위해 다음 변경을 제안합니다.

def _init_numpy_mkl():
    # Numpy+MKL on Windows only
    import os
    import ctypes
    if os.name != 'nt':
        return
    # disable Intel Fortran default console event handler
    env = 'FOR_DISABLE_CONSOLE_CTRL_HANDLER'
    if env not in os.environ:
        os.environ[env] = '1'
    # extend DLL search order with numpy.core
    # See https://github.com/numpy/numpy/wiki/windows-dll-notes#python-dlls
    # and https://pytools.codeplex.com/workitem/1627
    try:
        _AddDllDirectory = ctypes.windll.kernel32.AddDllDirectory
        _AddDllDirectory.argtypes = [ctypes.c_wchar_p]
        # Needed to initialize AddDllDirectory modifications
        ctypes.windll.kernel32.SetDefaultDllDirectories(0x1000)
    except AttributeError:
        _AddDllDirectory = ctypes.windll.kernel32.SetDllDirectoryW
        _AddDllDirectory.argtypes = [ctypes.c_wchar_p]
    try:
        _core = os.path.join(os.path.abspath(os.path.dirname(__file__)), 'core')
        _AddDllDirectory(_core)
    except Exception:
        pass

_init_numpy_mkl()
del _init_numpy_mkl

Windows 디렉토리에서 위의 DLL을 완전히 제거하면 충돌이 중지됩니다.

좋은 라이딩.

numpy + MKL의 __init__.py 로 테스트하기 위해 다음 변경을 제안합니다.

이것은 구형 시스템에서 실제로 작동하지 않으며 더 중요한 것은 시스템의 DLL 검색 순서 에 의존하는 패키지를 깨뜨립니다. Anaconda 또는 WinPython과 같은 배포판에 허용 될 수 있습니다.

numpy wiki에서 부분적으로 @carlkl 으로 인정 된 AddDllDirectory 메서드를 처음 발견 한 것이 재미 있었지만 , 여기에서 @carlkl 이 예제로 사용을 제안 AddDllDirectory 검색 할 때 해당 예제 코드의 문제에 대한 설명입니다. 풀 서클 ...

어쨌든, 나는 이것을 사용하는 것을 고려하는 다른 사람들을 위해 일부 dll을로드 할 때 ctypes.windll.kernel32.SetDefaultDllDirectories(0x1000) (및 0이 아닌 다른 플래그)이 ImportError: DLL load failed: The parameter is incorrect 예외를 발생 시킨다는 점에 주목하고 싶었습니다. 나에게 그것은 mingw-w64로 데비안에서 크로스 컴파일 된 ffmpeg dll에 연결된 mingw-w64 (mingwpy) 빌드 확장에서만 발생했습니다. 하지만 그게 책임이 있는지는 모르겠습니다.

그러나, 파이썬은 호출하기 때문에 LoadLibraryEx 만에 LOAD_WITH_ALTERED_SEARCH_PATH 하지와 LOAD_LIBRARY_SEARCH_USER_DIRS 하지 않는 한, SetDefaultDllDirectories 도 불려 LOAD_LIBRARY_SEARCH_USER_DIRS , LoadLibraryEx 는 AddDllDirectory 추가 된 디렉토리를 검색하지 않습니다. 나에게 이것은 사용하기가 약간 깨지기 쉬운 것처럼 보이므로 os.environ 경로에 dll 디렉토리를 추가하는 것으로 다시 전환 할 것이라고 생각합니다. 그래도이 정보로 위키를 업데이트해야하는지 궁금합니다.

어쨌든 이것은 너무 멀지 않은 주제가 아니기를 바랍니다.

@matham ,이 코드 스 니펫은 _zooba_에 적립되어야합니다-https://pytools.codeplex.com/workitem/1627 참조. ctypes.windll.kernel32.SetDefaultDllDirectories(0x1000) 행은 LoadLibraryEx 로 LOAD_WITH_ALTERED_SEARCH_PATH LoadLibraryEx 의 동작을 변경하지 않습니다. random \ mtrand.pyd가로드 된 직후 MKL_INTEL_THREAD.DLL 로드에 사용 된 LoadLibraryA (_without_ LOAD_WITH_ALTERED_SEARCH_PATH )의 동작을 _ 희망적으로 _ 변경하고 MKL_RT.DLL 다음 MKL_INTEL_THREAD.DLL 호출 :

python -c "import numpy" 동안 depency walker에서 로그인

...
LoadLibraryExW("d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\random\mtrand.cp35-win_amd64.pyd", 0x0000000000000000, LOAD_WITH_ALTERED_SEARCH_PATH) called from "d:\devel\py\python-3.5.0.amd64\PYTHON35.DLL" at address 0x00000000587E7747.
Loaded "d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\random\MTRAND.CP35-WIN_AMD64.PYD" at address 0x000007FEF3310000.  Successfully hooked module.
DllMain(0x000007FEF3310000, DLL_PROCESS_ATTACH, 0x0000000000000000) in "d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\random\MTRAND.CP35-WIN_AMD64.PYD" called.
DllMain(0x000007FEF3310000, DLL_PROCESS_ATTACH, 0x0000000000000000) in "d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\random\MTRAND.CP35-WIN_AMD64.PYD" returned 1 (0x1).
LoadLibraryExW("d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\random\mtrand.cp35-win_amd64.pyd", 0x0000000000000000, LOAD_WITH_ALTERED_SEARCH_PATH) returned 0x000007FEF3310000.
LoadLibraryA("d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\core\mkl_intel_thread.dll") called from "d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\core\MKL_RT.DLL" at address 0x000007FEE17C4772.
Loaded "d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\core\MKL_INTEL_THREAD.DLL" at address 0x000007FEE0520000.  Successfully hooked module.
Loaded "d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\core\MKL_CORE.DLL" at address 0x000007FEDEEC0000.  Successfully hooked module.
Loaded "d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\core\LIBIOMP5MD.DLL" at address 0x000007FEE43E0000.  Successfully hooked module.
...

@carlkl 사실이지만 위키를 언급했습니다 : (thanks to Steve Dower for the fragment, Carl Kleffner for finding it) , 내가 당신이라고 생각했습니다 :)

내가 언급 한 취약성은 일반적으로 해당 플래그를 설정하는 SetDefaultDllDirectories 호출과 라이브러리가 실제로로드 될 때 실행되는 다른 코드가있을 수 있다는 것입니다. 예를 들어 자신이 SetDefaultDllDirectories 호출하는 것을 가져 오는 경우 아마도 값 (예 : 0)을 사용하여 가져올 때 나중에 dll을 찾지 못할 수 있습니다. 즉시 가져 오면 여기에서 문제가되지 않을 것 같지만.

@cgohlke , numpy.core 내에서 _init_numpy_mkl() numpy.core 대한 명시 적 경로 이름과 함께 MKL_RT.DLL , MKL_INTEL_THREAD.DLL 및 MKL_CORE.DLL 을 (를) 미리로드하는 데 문제가 있습니까? 다른 필요한 MKL DLL의 점진적으로로드가 작동하는지 확실하지 않습니다.

@cgohlke ,

다음 스 니펫은 MKL DLL이 Windows 시스템이나 Intel redist 폴더가 아닌 numpy.core에서로드되도록합니다 (?). DLL을로드하는 순서가 중요합니다. 적어도 Windows 7 python-3.4 비트에서 작동합니다.

def _init_numpy_mkl():
    # Numpy+MKL on Windows only
    import os
    import ctypes
    if os.name != 'nt':
        return
    # disable Intel Fortran default console event handler
    env = 'FOR_DISABLE_CONSOLE_CTRL_HANDLER'
    if env not in os.environ:
        os.environ[env] = '1'
    # preload MKL DLLs from numpy.core
    try:
        _core = os.path.join(os.path.abspath(os.path.dirname(__file__)), 'core')
        for _dll in ('mkl_rt', 'libiomp5md', 'mkl_core', 'mkl_intel_thread', 
                     'libmmd', 'libifcoremd', 'libimalloc'):
            ctypes.cdll.LoadLibrary(os.path.join(_core,_dll))
    except Exception:
        pass

_init_numpy_mkl()
del _init_numpy_mkl

나는 같은 문제가 있었고 danielgeier에 의해 C:\Windows\System32 mkl_intel_thread.dll 를 설치 한 것으로 다시 추적했습니다.
이전 버전에는 무엇보다도 mkl_aa_fw_get_max_memory 가 없었습니다.
생성 시간은 Asio4all 오디오 드라이버 설치와 일치했습니다. 몇 개의 dll을 제거한 후에 다시 작동했습니다 (system32에서 dll을 직접 삭제하는 것보다 낫습니다).
나는 롤백하고 아나콘다 배포판을 업데이트하면서 놀았지만 작동하지 않았습니다. 또한 Windows에서 아나콘다로 mkl을 비활성화 할 수 없습니다.

@ sebastian-schmidt, Windows 시스템 폴더에 오래된 MKL DLL이 설치되어 있어도 numpy / core 폴더에서 명시 적으로 MKL DLL을로드하는 것이 작동한다면 사용해 볼 수 있습니다. 위 참조 : https://github.com/numpy/numpy/issues/6923#issuecomment -169073613

@carlkl , 스 니펫을 어디에 추가해야합니까?
테스트로 사용한 파일 ( https://gist.github.com/sebastian-schmidt/9bb97354b481750209fd3dac1e748d31)에 추가하려고했지만 작동하지 않았습니다.
결합 된 경로는 파일을 호출하는 하위 디렉토리입니다.
Numpy 모듈의 init에 추가해야합니까?

_init_numpy_mkl() 함수는 @cgohlke numpy + mkl 바퀴의 일부입니다. __init__.py 파일에서 찾을 수 있습니다. 공식 numpy 소스의 일부가 아닙니다.

다음은 numpy-1.10.4+mkl-cp34-none-win32.whl 에있는 버전입니다.

def _init_numpy_mkl():
    # Numpy+MKL on Windows only
    import os
    if os.name != 'nt':
        return
    # disable Intel Fortran default console event handler
    env = 'FOR_DISABLE_CONSOLE_CTRL_HANDLER'
    if env not in os.environ:
        os.environ[env] = '1'
    # prepend the path of the Intel runtime DLLs to os.environ['PATH']
    try:
        path = os.path.join(os.path.abspath(os.path.dirname(__file__)), 'core')
        if path not in os.environ.get('PATH', ''):
            os.environ['PATH'] = os.pathsep.join((path, os.environ.get('PATH', '')))
    except Exception:
        pass

_init_numpy_mkl()
del _init_numpy_mkl

이 함수는 numpy/core 폴더를 PATH 환경에 추가합니다. 그러나 Windows 시스템 폴더에있는 DLL은 PATH에있는 DLL보다 우선합니다. DLL 지옥에 오신 것을 환영합니다.

이 함수의 대체 버전 https://github.com/numpy/numpy/issues/6923#issuecomment -169073613은 PATH 환경을 변경하지 않고 올바른 순서로 numpy/core 에서 MKL DLL을로드합니다. 모든 DLL 이름은 정규화 된 경로 이름을 가진 명시 적 파일 이름으로 제공되므로 Windows 시스템 폴더의 DLL 섀도 잉 문제는 예상하지 않지만 테스트하지는 않았습니다.

그러나이 코드 스 니펫에서 고정 된 numpy는 신경 쓰지 않았습니다.

Anaconda 배포판의 _init_numpy_mkl() 을 (를) 귀하의 버전으로 변경 한 다음 작동했습니다 ( windows/system32 에서 호환되지 않는 dll 사용).

듣기 좋은!

_init_numpy_mkl의 코드는 () @cgohlke의 NumPy와 분포 및 그의 responibility 아래 부분이다.
@cgohlke : https://github.com/numpy/numpy/issues/6923#issuecomment -169073613에 대한 의견이 있습니까?

@ sebastian-schmidt, AddDllDirectory (또는 대체로 SetDllDirectoryW)를 사용하여 버전을 테스트 할 수 있습니까? 위 참조 : https://github.com/numpy/numpy/issues/6923#issuecomment -168490201

@carlkl , AddDllDirectory / SetDllDirectoryW 버전도 작동합니다.
테스트는 항상 danielgeier의 np.dot() 예제였습니다.
참고로 mkl 라이브러리를 설치하는 소프트웨어는 Asio4all 드라이버가 아니라 Amplitube였습니다.

나도 Amplitube로 문제를 추적했습니다.

내가 시도했을 때 : import matplotlib.pyplot as plt 두 init 버전 모두에서 오류가 발생했습니다.

---> 60 import matplotlib._png as _png
     61 ####################
     62 

ImportError: DLL load failed: Das angegebene Modul wurde nicht gefunden.

그래서 Anaconda 원래 버전으로 다시 전환하고 Amplitube를 제거했습니다.

@ sebastian-schmidt, 적어도 나를 위해 작동합니다. numpy, scipy, matplotlib._png 가져 오기는 내 상자에서 문제없이 작동합니다.

그러나 Windows 시스템 폴더에서 MKL DLL을 제거하는 것이 이러한 종류의 문제에 대한 최상의 솔루션으로 보입니다.

이 문제를 종결 할 시간입니까?

안녕하세요. 누군가가 여전히이 문제를 가지고있는 경우를 대비하여. 나는 numpy 1.12 + mkl을 가지고 있으며 동일한 문제가 있습니다. Amplitube 3을 제거했고 이제 모든 것이 작동합니다!

안녕하세요 여러분,

난 그냥에서 최신 NumPy와 + MKL 1.13 패키지를 설치 여기 @cgohlke에 의해.

Windows 7에서 Anaconda w / Python 3.6.1 64 비트를 실행하고 있습니다.

그 후이 DLL 문제도 발생하고 이전에 동일한 사이트의 v1.12에서 제대로 작동했습니다.

추가하려면 실제로 모든 코드가 Jupyter 노트북에서 작동합니다 .... 이것은 콘솔에서만 발생합니다.

@carlkl Anaconda 폴더에서 _init_numpy_mkl 했지만이 문자열이 포함 된 파일을 찾을 수 없습니다. numpy/core 를 내 PATH 환경 변수에 수동으로 추가해도 작동하지 않았습니다.

다른 제안이 있습니까?

감사.

내가 skimage를 가져올 때 "mkl_intel_thread.dll을로드 할 수 없습니다"라는 문제가 발생했습니다.
windows / system32에서 mkl_intel_thread.dll을 찾을 수 없으므로 @cgohlke가 언급 한대로 해당 폴더에서 libiomp5md.dll을 삭제했습니다. 작동합니다! 정말 감사합니다! 문제는 몇 주 동안 나를 괴롭 혔습니다. 어쨌든 다른 사람들 이이 문제를 만났 으면 도움을받을 수 있기를 바랍니다. libiomp5md.dll을 찾으십시오. 도움이 될 수 있습니다.

https://github.com/numpy/numpy/issues/6923#issuecomment -169073613이 Windows / system32에서 MKL DLL을 제거 할 필요없이이 경우 작동하는지 궁금합니다. 이 스 니펫은 추가 라이브러리를 PATH 환경 변수에 전달하거나 다른 트릭을 사용할 필요없이 numpy / core 폴더에 7 개 (전부는 아님) MKL DLL을로드 할 수 있음을 보여줍니다. 이 7 개의 DLL을 올바른 순서로로드하는 것이 중요합니다. 다른 모든 필수 MKL DLL은 windows / system32 폴더 대신 numpy / core에서 자동으로로드됩니다.

이것이 생각할 수있는 모든 시나리오에서 작동하는지는 아직 확실하지 않습니다. 예를 들어, 고정 된 파이썬 애플리케이션. 또한 Windows OS 버전은 DLL의로드 동작이 다를 수 있습니다.

이 변종을 추가로 조사하는 것이 유리한 것 같습니다.

우리는 SetDefaultDllDirectories 앞뒤로 갔고 # 10229가 추가 한 다음 # 11493이 제거했습니다. 나는 우리가 이것으로 갈 수있는 한 멀리 갔다고 생각합니다. 가장 좋은 방법은 PATH에서 mkl의 다른 복사본을 제거하는 것입니다.

동의하지 않으면 다시여십시오.