Numpy: Numpy 1.10.2 + MKL =クラッシュ（Windows）

うーん、ここで何が起こっているのかわからない。 Intelはビルドにいくつかの変更を加えましたが、それらは関係していないと思います。 Python 3.5は、Windows上の新しいVSでコンパイルされているため、原因の可能性があります。 @cgohlkeの考え？

私はあなたの最善の策は再生器を提供することだと思います（これを生成する「いくつかの関数」は何ですか？）そして@cgohlkeが答えをポップアップするか、Anacondaにバグを

「いくつかの関数」については申し訳ありません：）-matplotlibを介して間接的にクラッシュしました。

これはまったく同じようにクラッシュします：

A = np.arange(2*3).reshape(2,3).astype(np.float32)
B = np.arange(2*3*2731).reshape(2,3,2731).astype(np.int16)

np.dot(A, B)

ラップトップで最新の@cgohlkenumpy （1.10.2）python-3.4（64ビット）とpython-3.5（64ビット）を使用して簡単なチェックを行いました。

>>> np.show_config()
openblas_lapack_info:
  NOT AVAILABLE
lapack_mkl_info:
    include_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/include']
    libraries = ['mkl_lapack95_lp64', 'mkl_blas95_lp64', 'mkl_rt', 'mkl_lapack95_lp64', 'mkl_blas95_lp64', 'mkl_rt']
    library_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/lib/intel64_win']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
lapack_opt_info:
    include_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/include']
    libraries = ['mkl_lapack95_lp64', 'mkl_blas95_lp64', 'mkl_rt', 'mkl_lapack95_lp64', 'mkl_blas95_lp64', 'mkl_rt']
    library_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/lib/intel64_win']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
mkl_info:
    include_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/include']
    libraries = ['mkl_lapack95_lp64', 'mkl_blas95_lp64', 'mkl_rt']
    library_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/lib/intel64_win']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
blas_mkl_info:
    include_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/include']
    libraries = ['mkl_lapack95_lp64', 'mkl_blas95_lp64', 'mkl_rt']
    library_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/lib/intel64_win']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
blas_opt_info:
    include_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/include']
    libraries = ['mkl_lapack95_lp64', 'mkl_blas95_lp64', 'mkl_rt']
    library_dirs = ['C:/Program Files (x86)/IntelSWTools/compilers_and_libraries/windows/mkl/lib/intel64_win']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]

>>> import numpy as np
>>> A = np.arange(2*3).reshape(2,3).astype(np.float32)
>>> B = np.arange(2*3*2731).reshape(2,3,2731).astype(np.int16)
>>> np.dot(A, B)
array([[[  13655.,   13658.,   13661., ...,   21839.,   21842.,   21845.],
        [  38234.,   38237.,   38240., ...,   46418.,   46421.,   46424.]],

       [[  38234.,   38246.,   38258., ...,   70970.,   70982.,   70994.],
        [ 136550.,  136562.,  136574., ...,  169286.,  169298.,  169310.]]], dtype=float32)

どちらも私にとっては期待どおりに機能します。

PATHどこかに間違ったバージョンのmkl_intel_thread.dll見つかったため、エラーIntel MKL FATAL ERROR: Cannot load mkl_intel_thread.dllが説明されたと思います。 numpy + MKLで行われるようにPATHを拡張してMKL DLLを見つけることは、別のMKLランタイムがシステムにインストールされている場合は脆弱です。

C：\ Windows *ディレクトリにlibiomp5md.dllまたはmkl_*.dllファイルはありますか？

@cgohlke、numpyの+ MKLであなたは、導入された_init_numpy_mkl()追加するためにnumpy.coreにPATH 。

DLLの検索順序を変更するために、 https：//gist.github.com/matham/f6a07f8fb5e403feb440から次のアプローチを検討しましたか？

参照：
https://pytools.codeplex.com/workitem/1627 （どこから来たのか）
https://github.com/numpy/numpy/wiki/windows-dll-notes#python -dlls
http://stackoverflow.com/questions/23804438/find-library-in-ctypes

@cgohlkeこれらは私のWindowsディレクトリにあるDLLです：

['System32\\libiomp5md.dll',
 'System32\\mkl_core.dll',
 'System32\\mkl_def.dll',
 'System32\\mkl_intel_thread.dll',
 'SysWOW64\\libiomp5md.dll',
 'SysWOW64\\mkl_core.dll',
 'SysWOW64\\mkl_intel_thread.dll',
 'SysWOW64\\mkl_p4.dll',
 'SysWOW64\\mkl_p4m.dll',
 'SysWOW64\\mkl_p4m3.dll',
 'SysWOW64\\mkl_p4p.dll']

Pythonを呼び出す前にSET PATH=; PATHをリセットしようとするとクラッシュしますが、上記のDLLをWindowsディレクトリから完全に削除するとクラッシュが停止します。 パス先行問題@carlklのようです。

@ cgohlke 、numpy + MKLの__init__.pyテストするために次の変更を提案します

def _init_numpy_mkl():
    # Numpy+MKL on Windows only
    import os
    import ctypes
    if os.name != 'nt':
        return
    # disable Intel Fortran default console event handler
    env = 'FOR_DISABLE_CONSOLE_CTRL_HANDLER'
    if env not in os.environ:
        os.environ[env] = '1'
    # extend DLL search order with numpy.core
    # See https://github.com/numpy/numpy/wiki/windows-dll-notes#python-dlls
    # and https://pytools.codeplex.com/workitem/1627
    try:
        _AddDllDirectory = ctypes.windll.kernel32.AddDllDirectory
        _AddDllDirectory.argtypes = [ctypes.c_wchar_p]
        # Needed to initialize AddDllDirectory modifications
        ctypes.windll.kernel32.SetDefaultDllDirectories(0x1000)
    except AttributeError:
        _AddDllDirectory = ctypes.windll.kernel32.SetDllDirectoryW
        _AddDllDirectory.argtypes = [ctypes.c_wchar_p]
    try:
        _core = os.path.join(os.path.abspath(os.path.dirname(__file__)), 'core')
        _AddDllDirectory(_core)
    except Exception:
        pass

_init_numpy_mkl()
del _init_numpy_mkl

上記のDLLをWindowsディレクトリから完全に削除すると、クラッシュが停止します。

いい厄介払い。

numpy + MKLの__init__.pyテストするために、次の変更を提案します

これは古いシステムでは実際には機能せず、さらに重要なことに、システムのDLL検索順序に依存するパッケージが壊れます。 AnacondaやWinPythonのようなディストリビューションでは受け入れられるかもしれません。

@carlklに部分的にクレジットされているAddDllDirectoryメソッドを見つけたのは面白いと思いますが、その後、例として@carlklによってここでの使用法が提案され、行き着きました。 numpyでAddDllDirectory検索するときのサンプルコードの問題の例。 それは完全な円です...

とにかく、これを使用することを検討している他の人のために、行ctypes.windll.kernel32.SetDefaultDllDirectories(0x1000) （およびその他のゼロ以外のフラグ）は、いくつかのdllをロードするときにImportError: DLL load failed: The parameter is incorrect例外を引き起こすことに注意したいと思いました。 私にとっては、mingw-w64（mingwpy）でビルドされた拡張機能でのみ発生しました。この拡張機能は、mingw-w64を使用してDebianでクロスコンパイルされたffmpegdllにリンクされていました。 しかし、それが原因かどうかはわかりません。

ただし、PythonはLoadLibraryExをLOAD_WITH_ALTERED_SEARCH_PATH LoadLibraryExのみ呼び出し、 LOAD_LIBRARY_SEARCH_USER_DIRSでは呼び出さないため、 SetDefaultDllDirectoriesもLOAD_LIBRARY_SEARCH_USER_DIRSで呼び出されない限り、 LoadLibraryExは、 AddDllDirectory追加されたディレクトリを検索しません。 私にはこれを使用するのは少し壊れやすいように思われるので、 os.environを使用してパスにdllディレクトリを追加することに戻ると思います。 しかし、この情報でwikiを更新する必要があるかどうか疑問に思いますか？

とにかく、うまくいけば、これはそれほど遠くないトピックではありませんでした。

@matham 、このコードスニペットは_zooba_にクレジットされている必要があります-https ： //pytools.codeplex.com/workitem/1627を参照してctypes.windll.kernel32.SetDefaultDllDirectories(0x1000)は、 LOAD_WITH_ALTERED_SEARCH_PATHでLoadLibraryExの動作を変更しません。 random \ mtrand.pydがロードされた直後にMKL_INTEL_THREAD.DLLをロードするために使用したLoadLibraryA （_ without_ LOAD_WITH_ALTERED_SEARCH_PATH ）の動作を_うまくいけば_変更し、 MKL_RT.DLL MKL_INTEL_THREAD.DLL呼び出します：

python -c "import numpy"間に依存ウォーカーからログを記録する

...
LoadLibraryExW("d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\random\mtrand.cp35-win_amd64.pyd", 0x0000000000000000, LOAD_WITH_ALTERED_SEARCH_PATH) called from "d:\devel\py\python-3.5.0.amd64\PYTHON35.DLL" at address 0x00000000587E7747.
Loaded "d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\random\MTRAND.CP35-WIN_AMD64.PYD" at address 0x000007FEF3310000.  Successfully hooked module.
DllMain(0x000007FEF3310000, DLL_PROCESS_ATTACH, 0x0000000000000000) in "d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\random\MTRAND.CP35-WIN_AMD64.PYD" called.
DllMain(0x000007FEF3310000, DLL_PROCESS_ATTACH, 0x0000000000000000) in "d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\random\MTRAND.CP35-WIN_AMD64.PYD" returned 1 (0x1).
LoadLibraryExW("d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\random\mtrand.cp35-win_amd64.pyd", 0x0000000000000000, LOAD_WITH_ALTERED_SEARCH_PATH) returned 0x000007FEF3310000.
LoadLibraryA("d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\core\mkl_intel_thread.dll") called from "d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\core\MKL_RT.DLL" at address 0x000007FEE17C4772.
Loaded "d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\core\MKL_INTEL_THREAD.DLL" at address 0x000007FEE0520000.  Successfully hooked module.
Loaded "d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\core\MKL_CORE.DLL" at address 0x000007FEDEEC0000.  Successfully hooked module.
Loaded "d:\devel\py\python-3.5.0.amd64\lib\site-packages\numpy\core\LIBIOMP5MD.DLL" at address 0x000007FEE43E0000.  Successfully hooked module.
...

@carlkl trueですが、私はwikiを参照していました： (thanks to Steve Dower for the fragment, Carl Kleffner for finding it) 、これはあなただと思いました:)

私が言及していた脆弱性は、一般に、そのフラグを設定するSetDefaultDllDirectories呼び出しと、ライブラリが実際にロードされるときに実行される他のコードが存在する可能性があることです。 たとえば、それ自体がSetDefaultDllDirectories呼び出すものを、おそらく値（0など）でインポートすると、後でインポートしたときにdllが見つからなくなる可能性があります。 すぐにインポートすれば、ここでは問題にならないかもしれませんが。

@cgohlke 、 numpy.core内の_init_numpy_mkl() numpy.coreへの明示的なパス名でMKL_RT.DLL 、 MKL_INTEL_THREAD.DLL 、 MKL_CORE.DLLをプリロードすることに何か問題がありますか？ 他の必要なMKLDLLの段階的なロードが機能するかどうかはわかりませんが。

@cgohlke 、

次のスニペットは、MKL DLLがWindowsシステムやIntelredistフォルダーからではなくnumpy.coreからロードされることを保証します（？）。 DLLをロードする順序が重要です。 少なくとも、Windows 7python-3.4ビットで動作します。

def _init_numpy_mkl():
    # Numpy+MKL on Windows only
    import os
    import ctypes
    if os.name != 'nt':
        return
    # disable Intel Fortran default console event handler
    env = 'FOR_DISABLE_CONSOLE_CTRL_HANDLER'
    if env not in os.environ:
        os.environ[env] = '1'
    # preload MKL DLLs from numpy.core
    try:
        _core = os.path.join(os.path.abspath(os.path.dirname(__file__)), 'core')
        for _dll in ('mkl_rt', 'libiomp5md', 'mkl_core', 'mkl_intel_thread', 
                     'libmmd', 'libifcoremd', 'libimalloc'):
            ctypes.cdll.LoadLibrary(os.path.join(_core,_dll))
    except Exception:
        pass

_init_numpy_mkl()
del _init_numpy_mkl

私は同じ問題を抱えていて、danielgeierによって示されているように、 C:\Windows\System32にインストールされたmkl_intel_thread.dllまでさかのぼりました。
古いバージョンには、とりわけmkl_aa_fw_get_max_memoryがありませんでした。
作成時間は、Asio4allオーディオドライバーのインストールと一致しました。 いくつかのdllを削除したものをアンインストールした後、再び機能しました（system32のdllを自分で削除するよりも優れています）。
ロールバックしてanacondaディストリビューションを更新してみましたが、うまくいきませんでした。 また、Windowsでanacondaを使用してmklを無効にすることもできませんでした。

@ sebastian-schmidt、Windowsシステムフォルダーに古いMKL DLLがインストールされている場合でも、numpy / coreフォルダーからのMKLDLLの明示的なロードが機能する場合は試してみてください。 上記を参照してください： https ：

@carlkl 、スニペットをどこに追加する必要がありますか？
テストとして使用したファイルhttps://gist.github.com/sebastian-schmidt/9bb97354b481750209fd3dac1e748d31に追加しようとしましたが、機能しませんでした。
結合されたパスは、ファイルを呼び出す場所からの単なるサブディレクトリです。
Numpyモジュールのinitに追加する必要がありますか？

関数_init_numpy_mkl()は、 @ cgohlke numpy + mklホイールの一部です。 __init__.pyファイルにあります。 それは公式のnumpyソースの一部ではありません。

これがnumpy-1.10.4+mkl-cp34-none-win32.whlあるバージョンです

def _init_numpy_mkl():
    # Numpy+MKL on Windows only
    import os
    if os.name != 'nt':
        return
    # disable Intel Fortran default console event handler
    env = 'FOR_DISABLE_CONSOLE_CTRL_HANDLER'
    if env not in os.environ:
        os.environ[env] = '1'
    # prepend the path of the Intel runtime DLLs to os.environ['PATH']
    try:
        path = os.path.join(os.path.abspath(os.path.dirname(__file__)), 'core')
        if path not in os.environ.get('PATH', ''):
            os.environ['PATH'] = os.pathsep.join((path, os.environ.get('PATH', '')))
    except Exception:
        pass

_init_numpy_mkl()
del _init_numpy_mkl

この関数は、 numpy/coreフォルダーをPATH環境に追加します。 ただし、WindowsシステムフォルダーにあるDLLは、PATHにあるDLLよりも優先されます。 DLL地獄へようこそ。

この関数の代替バージョンhttps://github.com/numpy/numpy/issues/6923#issuecomment-169073613は、 PATH環境を変更せずに、MKL DLLをnumpy/coreから正しい順序でロードします。 すべてのDLL名は、完全修飾パス名を持つ明示的なファイル名として指定されているため、Windowsシステムフォルダー内のDLLのシャドウイングで問題が発生することはないと思いますが、これはテストしていません。

ただし、このコードスニペットではフリーズしたnumpyは気にしませんでした。

Anacondaディストリビューションの_init_numpy_mkl()をお使いのバージョンに変更したところ、機能しました（ windows/system32互換性のないdllを使用）。

聞いてよかった！

_init_numpy_mklのコードは、（）@cgohlkeのnumpyの分布の彼のresponibility下部分です。
@cgohlke ： https： //github.com/numpy/numpy/issues/6923#issuecomment -169073613に関するコメントはあり

@ sebastian-schmidt、AddDllDirectory（またはフォールバックとしてSetDllDirectoryW）を使用してバージョンをテストできますか：上記を参照してください： https ：

@ carlkl 、AddDllDirectory / SetDllDirectoryWバージョンも機能します。
テストは常にdanielgeierによるnp.dot()例にすぎませんでした。
ちなみに、mklライブラリをインストールするソフトウェアはAmplitubeであり、Asio4allドライバーではありませんでした。

私もこの問題をAmplitubeにさかのぼりました。

私が試したとき：両方のinitバージョンでimport matplotlib.pyplot as pltエラーが発生しました：

---> 60 import matplotlib._png as _png
     61 ####################
     62 

ImportError: DLL load failed: Das angegebene Modul wurde nicht gefunden.

そこで、Anacondaの元のバージョンに切り替えて、Amplitubeをアンインストールしたままにしました。

@ sebastian-schmidt、少なくとも私にとってはうまくいきます。 numpy、scipy、matplotlib._pngのインポートは、私のボックスでは問題なく機能します。

ただし、WindowsのシステムフォルダからMKL DLLを削除することは、この種の問題に対する最善の解決策のようです。

この問題を解決する時が来ましたか？

こんにちは、みんな。 誰かがまだこの問題を抱えている場合に備えて。 numpy 1.12 + mklがあり、同じ問題が発生しました。 Amplitube 3をアンインストールすると、すべてが機能するようになりました。

こんにちは、みんな、

@cgohlkeによってここから最新のnumpy + mkl1.13パッケージをインストールし

Windows7でPython3.6.164ビットを使用してAnacondaを実行しています。

その後、このDLLの問題も発生しましたが、以前は同じサイトのv1.12で正常に機能していました。

さらに、実際にはすべてのコードがJupyterノートブックで機能します。これはコンソールでのみ発生します。

@carlklAnacondaフォルダーで_init_numpy_mklを検索しましたが、この文字列を含むファイルが見つかりませんnumpy/coreをPATH環境変数に手動で追加しても機能しませんでした。

他に何か提案はありますか？

ありがとう。

skimageをインポートすると、「mkl_intel_thread.dllを読み込めません」という問題が発生しました。
Windows / system32にmkl_intel_thread.dllが見つからないので、@ cgohlkeが述べたように、そのフォルダー内のlibiomp5md.dllを削除しました。動作します。ありがとうございます。 問題は私を何週間も悩ませてきました。 とにかく、私は他の人がこの問題に遭遇したことがこれから助けを得ることができることを願っています。 libiomp5md.dllを見つけてみてください、それは役立つかもしれません。

その場合、windows / system32からMKLDLLを削除しなくても、 https： //github.com/numpy/numpy/issues/6923#issuecomment-169073613が機能するのでしょうか。 このスニペットは、追加のライブラリをPATH環境変数に渡したり、他のトリックを使用したりすることなく、numpy / coreフォルダーに7つ（すべてではない）のMKLDLLをロードできることを示しています。 これらの7つのDLLを正しい順序でロードすることが重要です。 他のすべての必要なMKLDLLは、windows / system32フォルダーではなくnumpy / coreから自動的にロードされます。

これが考えられるすべてのシナリオで機能するかどうかはまだ不明です。 たとえば、凍結されたPythonアプリケーション。 また、Windows OSのバージョンでは、DLLの読み込み動作が異なる場合があります。

この変種をさらに調査することは私には有利であるように思われます。

SetDefaultDllDirectoriesを行ったり来たりし、＃10229が追加し、＃11493が削除しました。 私たちはこれでできる限り進んだと思います。 最良のオプションは、パスからmklの他のコピーを削除することです。

同意できない場合は、再度開いてください。