Numpy: numpy 1.14.5를 사용하는 일부 시스템에서 np.dot 충돌

당신은 당신의 numpy를 어디에서 얻고 있습니까? 씨? 아나콘다? np.show_config() 은 무엇을 말합니까?

응답 해 주셔서 감사합니다. pip를 통해 numpy를 설치했습니다.

>>> import numpy as np
>>> np.show_config()
blas_mkl_info:
  NOT AVAILABLE
openblas_lapack_info:
    library_dirs = ['C:\\projects\\numpy-wheels-jc1cl\\numpy\\build\\openblas']
    libraries = ['openblas']
    define_macros = [('HAVE_CBLAS', None)]
    language = f77
blis_info:
  NOT AVAILABLE
lapack_mkl_info:
  NOT AVAILABLE
openblas_info:
    library_dirs = ['C:\\projects\\numpy-wheels-jc1cl\\numpy\\build\\openblas']
    libraries = ['openblas']
    define_macros = [('HAVE_CBLAS', None)]
    language = f77
lapack_opt_info:
    library_dirs = ['C:\\projects\\numpy-wheels-jc1cl\\numpy\\build\\openblas']
    libraries = ['openblas']
    define_macros = [('HAVE_CBLAS', None)]
    language = f77
blas_opt_info:
    library_dirs = ['C:\\projects\\numpy-wheels-jc1cl\\numpy\\build\\openblas']
    libraries = ['openblas']
    define_macros = [('HAVE_CBLAS', None)]
    language = f77

컴퓨터에서 최신 Microsoft Visual C 런타임으로 업그레이드합니까?
도움? Windows 업데이트 또는 다음에서 사용할 수 있습니다.
https://support.microsoft.com/en-us/help/2977003/the-latest-supported-visual-c-downloads

@pv 힌트를 주셔서 감사하지만 최신 2017 런타임을 설치하고 시스템을 다시 시작한 후에도 오류가 여전히 존재합니다.

문제와 관련이 없을 수도 있지만 영향을받는 시스템은 KVM에서 실행되는 Windows 10입니다.

위의 테스트 스크립트를 t.py 로 실행하면 python -u -m trace -t t.py , 충돌 전에 다음과 같은 출력이 표시됩니다.

t.py(4): A = np.matrix([[1.], [3.]])
 --- modulename: defmatrix, funcname: __new__
defmatrix.py(213):         if isinstance(data, matrix):
defmatrix.py(221):         if isinstance(data, N.ndarray):
defmatrix.py(232):         if isinstance(data, str):
defmatrix.py(236):         arr = N.array(data, dtype=dtype, copy=copy)
defmatrix.py(237):         ndim = arr.ndim
defmatrix.py(238):         shape = arr.shape
defmatrix.py(239):         if (ndim > 2):
defmatrix.py(241):         elif ndim == 0:
defmatrix.py(243):         elif ndim == 1:
defmatrix.py(246):         order = 'C'
defmatrix.py(247):         if (ndim == 2) and arr.flags.fortran:
defmatrix.py(248):             order = 'F'
defmatrix.py(250):         if not (order or arr.flags.contiguous):
defmatrix.py(253):         ret = N.ndarray.__new__(subtype, shape, arr.dtype,
defmatrix.py(254):                                 buffer=arr,
defmatrix.py(255):                                 order=order)
 --- modulename: defmatrix, funcname: __array_finalize__
defmatrix.py(259):         self._getitem = False
defmatrix.py(260):         if (isinstance(obj, matrix) and obj._getitem): return
defmatrix.py(261):         ndim = self.ndim
defmatrix.py(262):         if (ndim == 2):
defmatrix.py(263):             return
defmatrix.py(256):         return ret
t.py(5): B = np.matrix([[2., 3.]])
 --- modulename: defmatrix, funcname: __new__
defmatrix.py(213):         if isinstance(data, matrix):
defmatrix.py(221):         if isinstance(data, N.ndarray):
defmatrix.py(232):         if isinstance(data, str):
defmatrix.py(236):         arr = N.array(data, dtype=dtype, copy=copy)
defmatrix.py(237):         ndim = arr.ndim
defmatrix.py(238):         shape = arr.shape
defmatrix.py(239):         if (ndim > 2):
defmatrix.py(241):         elif ndim == 0:
defmatrix.py(243):         elif ndim == 1:
defmatrix.py(246):         order = 'C'
defmatrix.py(247):         if (ndim == 2) and arr.flags.fortran:
defmatrix.py(248):             order = 'F'
defmatrix.py(250):         if not (order or arr.flags.contiguous):
defmatrix.py(253):         ret = N.ndarray.__new__(subtype, shape, arr.dtype,
defmatrix.py(254):                                 buffer=arr,
defmatrix.py(255):                                 order=order)
 --- modulename: defmatrix, funcname: __array_finalize__
defmatrix.py(259):         self._getitem = False
defmatrix.py(260):         if (isinstance(obj, matrix) and obj._getitem): return
defmatrix.py(261):         ndim = self.ndim
defmatrix.py(262):         if (ndim == 2):
defmatrix.py(263):             return
defmatrix.py(256):         return ret
t.py(6): print(np.dot(A, B))
 --- modulename: defmatrix, funcname: __array_finalize__
defmatrix.py(259):         self._getitem = False
defmatrix.py(260):         if (isinstance(obj, matrix) and obj._getitem): return
defmatrix.py(261):         ndim = self.ndim
defmatrix.py(262):         if (ndim == 2):
defmatrix.py(263):             return

흠,

이것은 작동합니다

A = np.matrix([[1.], [3.]])
B = np.matrix([[2., 3.]])
print(np.dot(A.astype(np.float16), B.astype(np.float16)))

이건 충돌

A = np.matrix([[1.], [3.]])
B = np.matrix([[2., 3.]])
print(np.dot(A.astype(np.float32), B.astype(np.float32)))

어떤 생각?

다른 numpy 버전을 가지고 놀아 본 후에는

• numpy <= 1.13.1은 영향을받지 않지만
• numpy> = 1.13.3이이 문제의 영향을받습니다.
• pypi에 빌드가 없기 때문에 numpy 1.13.2는 테스트되지 않았습니다.

이로 이어질 수있는 명백한 변화는 보이지 않습니다. 이 설치에 특정한 문제이므로 환경, 하드웨어 등에 대해 특별한 것이 있는지 확인하는 것이 유용 할 수 있습니다. 어딘가에 라이브러리 문제가있는 것 같습니다.

어떤 정보에 관심이 있습니까?

OS Name Microsoft Windows 10 Pro
Version 10.0.16299 Build 16299
Other OS Description    Not Available
OS Manufacturer Microsoft Corporation
System Name <REMOVED>
System Manufacturer QEMU
System Model    Standard PC (i440FX + PIIX, 1996)
System Type x64-based PC
System SKU  
Processor   Common KVM processor, 1996 Mhz, 4 Core(s), 4 Logical Processor(s)
BIOS Version/Date   SeaBIOS rel-1.11.0-0-g63451fca13-prebuilt.qemu-project.org, 4/1/2014
SMBIOS Version  2.8
Embedded Controller Version 255.255
BIOS Mode   Legacy
Platform Role   Desktop
Secure Boot State   Unsupported
PCR7 Configuration  Binding Not Possible
Windows Directory   C:\WINDOWS
System Directory    C:\WINDOWS\system32
Boot Device \Device\HarddiskVolume1
Locale  Austria
Hardware Abstraction Layer  Version = "10.0.16299.371"
User Name   Not Available
Time Zone   W. Europe Daylight Time
Installed Physical Memory (RAM) 4.00 GB
Total Physical Memory   4.00 GB
Available Physical Memory   1.94 GB
Total Virtual Memory    8.00 GB
Available Virtual Memory    5.27 GB
Page File Space 4.00 GB
Page File   C:\pagefile.sys
Virtualization-based security   Not enabled
Device Encryption Support   Reasons for failed automatic device encryption: TPM is not usable, PCR7 binding is not supported, Hardware Security Test Interface failed and device is not InstantGo, Un-allowed DMA capable bus/device(s) detected, Disabled by policy, TPM is not usable
A hypervisor has been detected. Features required for Hyper-V will not be displayed.    

작업중인 설치와의 차이점을 찾고 있습니다. 기본 시스템이 Linux 인 것 같습니까?

다음에서 작동합니다.

• 모든 물리적 Windows 10 설치
• Windows 10 호스트가있는 Windows 10 Hyper-V VM에서

다른 유사한 Windows 10 설정이 없으므로 영향을받는 시스템을 비교할 수 있습니다.

기본 시스템이 Linux 인 것 같습니까?

정확함 : Debian GNU / Linux 9 (stretch)

이를 유발 한 NumPy 변경은 Windows에서 1.13.3 용 OpenBLAS 로의 전환이었습니다. KVM 숫자 환경에서 조정이 필요한 것이 있다고 생각합니다.

아틀라스 dll이 떠 다니는지도 확인할 수 있습니다.

아틀라스 dll이 떠 다니는지도 확인할 수 있습니다.

이 문장에서 정확히 무슨 뜻입니까?

이후 버전에는 openblas dll이 있어야하므로 이전 아틀라스 dll과 혼동이있을 수 있는지 궁금합니다. 하지만 아마 아닐 것입니다. IIUC, numpy 실행, 잘못된 결과를 반환합니다.

Numpy는 실행되지만 위의 예에서는 실제로 아무것도 되 돌리지 않고 충돌이 발생합니다.

또 다른 가능성은 OpenBLAS가 KVM 환경에서 지원되지 않는 잘못된 명령 (SSE *)을 발행하는 것입니다. 무엇이 활성화되어 있는지 모르겠습니다. 확인해 주시겠습니까?

환경 변수에서 OpenBlas를 제어 할 수 있습니다. set OPENBLAS_VERBOSE=2 는 사용 된 기본 프로세서 모델을 인쇄해야합니다. 게스트는 실제 호스트 하드웨어와 동일한 모델을 사용해야하는 것으로 보이므로 호스트 시스템에 맞는 경우 예를 들어 set OPENBLAS_CORETYPE=nehalem 가 있습니다. NumPy가 호스트 컴퓨터에서 제대로 작동합니까? 그렇다면 자세한 설정을 사용하여 게스트가 사용해야하는 항목을 찾을 수 있습니다.

이 문제에 대한 정보가 더 있습니까?

문제는 여전히 존재하지만 아직 @mattip 과 당신이 언급 한 것들을 테스트 할 수 없었습니다. 다음 2 주 내에는이 작업을 수행 할 수 없지만 나중에 수행 할 것입니다.

알았어 고마워.

@ m55c55 이 문제를 더 이상 디버깅 할 수 있었습니까?

안녕하세요,
이 문제를 확인할 수 있으며 다른 사용 사례를 제공하면 도움이 될 수 있습니다.

내 컴퓨터에서 매우 유사한 동작이 있습니다 (새 Linux 설치).

Linux 4.15.0-42-generic #45-Ubuntu SMP Thu Nov 15 19:32:57 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

Ubuntu 18.04.1 LTS

numpy (1.15.4)

>>> np.show_config()
blas_mkl_info:
  NOT AVAILABLE
blis_info:
  NOT AVAILABLE
openblas_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
blas_opt_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
lapack_mkl_info:
  NOT AVAILABLE
openblas_lapack_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
lapack_opt_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]

내 파이썬 스크립트 :

import numpy as np
A = np.random.randn(100, 3000)
B = np.random.randn(3000, 100)
np.dot(B, A)

스크립트는 매우 작은 행렬로 충돌하지 않습니다.

그러나 충돌은 실제로 중요합니다. 시스템이 즉시 재부팅되고 많은 파일이 손상되었습니다 (조사 중에 bash 및 numpy 모듈이 손상됨).

np.dot(B, A.T) 을 의미한다고 생각하십니까? NumPy는 어떻게 얻었습니까? 직접 만든 경우 OpenBLAS의 버전은 무엇입니까?

아니요, 치수를 정렬하려면 np.dot(B, A) 이어야합니다.

나는 pip (1.15.4)에서 numpy를 얻으려고했습니다.

➜  ~ pip3 install numpy
Collecting numpy
  Using cached https://files.pythonhosted.org/packages/ff/7f/9d804d2348471c67a7d8b5f84f9bc59fd1cefa148986f2b74552f8573555/numpy-1.15.4-cp36-cp36m-manylinux1_x86_64.whl

또한 우분투 저장소 (1.13.3)에서 시도했습니다.

➜  ~ apt-cache show python3-numpy
Package: python3-numpy
Architecture: amd64
Version: 1:1.13.3-2ubuntu1
Priority: optional
Section: python
Source: python-numpy
Origin: Ubuntu
Maintainer: Ubuntu Developers <[email protected]>
Original-Maintainer: Sandro Tosi <[email protected]>
Bugs: https://bugs.launchpad.net/ubuntu/+filebug
Installed-Size: 10670
Provides: python3-f2py, python3-numpy-abi9, python3-numpy-api11, python3-numpy-dev, python3.6-numpy
Depends: python3 (<< 3.7), python3 (>= 3.6~), python3.6:any, python3:any (>= 3.4~), libblas3 | libblas.so.3, libc6 (>= 2.14), liblapack3 | liblapack.so.3
Suggests: gcc (>= 4:4.6.1-5), gfortran, python-numpy-doc, python3-dev, python3-nose (>= 1.0), python3-numpy-dbg
Filename: pool/main/p/python-numpy/python3-numpy_1.13.3-2ubuntu1_amd64.deb
Size: 1942804
MD5sum: 7b84ea9967f987a292b64f5bc5b6d65f
SHA1: 73fd8354b7106ac81b8add37947173aad515a9d5
SHA256: 3098ad88b8404cbeee66cc6eef96b13ea87eda848900d7cb754fd0bf280741bf

우분투 18을 실행하고 pip가 numpy를 설치 한 다른 컴퓨터에서 시도했지만 충돌을 재현 할 수 없습니다. 무슨 일이 일어나고 있는지 확실하지 않습니다!

안녕하세요, corrcoef 함수를 실행할 때이 버그가 발생했습니다. 드릴 다운 한 결과 np.dot(np.array([[0], [0]]), np.array([0, 0]).conj()) 호출을 통해 충돌을 재현 할 수 있음을 발견했습니다.

아나콘다 환경에서 Windows 10을 실행 중입니다.

np.__version__

1.14.2

np.show_config ()

mkl_info:
    libraries = ['mkl_rt']
    library_dirs = ['C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\lib']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
    include_dirs = ['C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\include', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\lib', 'C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\include']
blas_mkl_info:
    libraries = ['mkl_rt']
    library_dirs = ['C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\lib']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
    include_dirs = ['C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\include', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\lib', 'C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\include']
blas_opt_info:
    libraries = ['mkl_rt']
    library_dirs = ['C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\lib']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
    include_dirs = ['C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\include', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\lib', 'C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\include']
lapack_mkl_info:
    libraries = ['mkl_rt']
    library_dirs = ['C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\lib']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
    include_dirs = ['C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\include', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\lib', 'C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\include']
lapack_opt_info:
    libraries = ['mkl_rt']
    library_dirs = ['C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\lib']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
    include_dirs = ['C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\include', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\lib', 'C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\include']

@Tommassino 재현 할 수 없습니다. 그것이 실패한 모양이라고 확신합니까?
이 문제는 VM 내부 실행에 관한 것입니다. 설정이 다른 경우 새 문제를여십시오.

>>> import sys
>>> print(sys.version)
3.6.6 (default, Sep 12 2018, 18:26:19) 
[GCC 8.0.1 20180414 (experimental) [trunk revision 259383]]
>>> import numpy as np
>>> np.__version__
'1.14.2'
>>> np.dot(np.array([[0], [0]]), np.array([0, 0]).conj())
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: shapes (2,1) and (2,) not aligned: 1 (dim 1) != 2 (dim 0)

@mattip 아 죄송합니다. 다음 게시물에서만 언급

>>> import sys
>>> import numpy as np
>>> print(sys.version)
3.6.6 | packaged by conda-forge | (default, Jul 26 2018, 11:48:23) [MSC v.1900 64 bit (AMD64)]
>>> print(np.__version__)
1.14.2
>>> X = np.array([0., 0.])
>>> X_T = np.array([0., 0.])
>>> print(X)
[0. 0.]
>>> print(X_T)
[0. 0.]
>>> print(np.dot(X, X_T.conj()))
Process finished with exit code 2

그러나 이미 올바르게로드되지 않은 mkl 네이티브와 관련이있을 수 있으므로 이것은 실제로 또 다른 문제 일 수 있습니다.

@Tommassino 당신은 또한 conda에서 numpy를 얻었습니까?

@ oleksandr-pavlyk : 어떤 생각?

@Tommassino 당신은 또한 conda에서 numpy를 얻었습니까?

답장이 늦어서 죄송합니다, 공휴일 ... 네, 저는 conda numpy를 사용하고 있습니다

> conda list --no-pip | grep numpy
numpy                     1.14.2           py36h5c71026_1

그러나 위에서 언급했듯이 mkl ( conda update mkl )을 업데이트하면 문제가 해결되었습니다.

이걸 닫아도 될까요? @Khemal 은 리눅스를 실행하고 있으므로 충돌이 발생한 상자에 https://gist.github.com/seberg/ce4563f3cb00e33997e4f80675b80953 의 출력을 게시 할 수 있습니까? 이것은 확실히 blas와 관련이 있기 때문에 무엇이 잘못되었는지 말할 수 있습니다.

실제로 참조 횟수 문제가 있지 않는 한 다른 사람들도 무작위로 치지 않는 것에 놀랐을 것입니다.

안녕하세요.

문제에 대한 추적을 수집했습니다.

파이썬 3.6.7
numpy (1.15.4)

(.kfr-test-env) root<strong i="9">@whatever</strong>:/app# gdb python3
(gdb) run testcode.py 
Starting program: /app/.kfr-test-env/bin/python3 testcode.py
[Thread debugging using libthread_db enabled]
Using host libthread_db library "/lib/x86_64-linux-gnu/libthread_db.so.1".
[New Thread 0x7ffff3c1b700 (LWP 29704)]

Thread 1 "python3" received signal SIGILL, Illegal instruction.
0x00007ffff4a5c204 in dgemm_oncopy_OPTERON_SSE3 () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/../.libs/libopenblasp-r0-8dca6697.3.0.dev.so
(gdb) bt
#0  0x00007ffff4a5c204 in dgemm_oncopy_OPTERON_SSE3 () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/../.libs/libopenblasp-r0-8dca6697.3.0.dev.so
#1  0x00007ffff6520630 in ?? () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/../.libs/libopenblasp-r0-8dca6697.3.0.dev.so
#2  0x00000000000000e0 in ?? ()
#3  0x00007ffff41275db in dgemm_tt () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/../.libs/libopenblasp-r0-8dca6697.3.0.dev.so
#4  0x00007ffff4052088 in cblas_dgemm () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/../.libs/libopenblasp-r0-8dca6697.3.0.dev.so
#5  0x00007ffff676d28f in ?? () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/multiarray.cpython-36m-x86_64-linux-gnu.so
#6  0x00007ffff6732c36 in ?? () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/multiarray.cpython-36m-x86_64-linux-gnu.so
#7  0x00007ffff673400a in ?? () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/multiarray.cpython-36m-x86_64-linux-gnu.so
#8  0x00000000005030d5 in _PyCFunction_FastCallDict (kwargs=<optimized out>, nargs=<optimized out>, args=<optimized out>, 
    func_obj=<built-in method dot of module object at remote 0x7ffff6a535e8>) at ../Objects/methodobject.c:231
#9  _PyCFunction_FastCallKeywords (kwnames=<optimized out>, nargs=<optimized out>, stack=<optimized out>, func=<optimized out>) at ../Objects/methodobject.c:294
#10 call_function.lto_priv () at ../Python/ceval.c:4837
#11 0x0000000000506859 in _PyEval_EvalFrameDefault () at ../Python/ceval.c:3335
#12 0x0000000000504c28 in PyEval_EvalFrameEx (throwflag=0, f=Frame 0xadeb18, for file testcode.py, line 10, in <module> ()) at ../Python/ceval.c:4166
#13 _PyEval_EvalCodeWithName.lto_priv.1761 () at ../Python/ceval.c:4166
#14 0x0000000000506393 in PyEval_EvalCodeEx (closure=0x0, kwdefs=0x0, defcount=0, defs=0x0, kwcount=0, kws=0x0, argcount=0, args=0x0, locals=<optimized out>, 
    globals=<optimized out>, _co=<optimized out>) at ../Python/ceval.c:4187
#15 PyEval_EvalCode (co=<optimized out>, globals=<optimized out>, locals=<optimized out>) at ../Python/ceval.c:731
#16 0x0000000000634d52 in run_mod () at ../Python/pythonrun.c:1025
#17 0x0000000000634e0a in PyRun_FileExFlags () at ../Python/pythonrun.c:978
#18 0x00000000006385c8 in PyRun_SimpleFileExFlags () at ../Python/pythonrun.c:419
#19 0x00000000006387a5 in PyRun_AnyFileExFlags () at ../Python/pythonrun.c:81
#20 0x000000000063915a in run_file (p_cf=0x7fffffffe2fc, filename=<optimized out>, fp=<optimized out>) at ../Modules/main.c:340
#21 Py_Main () at ../Modules/main.c:810
#22 0x00000000004a6f10 in main (argc=2, argv=0x7fffffffe4f8) at ../Programs/python.c:69

@seberg 이것은 출력입니다.

Probing Multiarray
------------------
OpenBLAS:
    num threads: 2
    version info: DYNAMIC_ARCH NO_AFFINITY Opteron MAX_THREADS=64

Probing Linalg
--------------
OpenBLAS:
    num threads: 2
    version info: DYNAMIC_ARCH NO_AFFINITY Opteron MAX_THREADS=64

LDD information:
----------------
running: ldd /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/multiarray.cpython-36m-x86_64-linux-gnu.so
    linux-vdso.so.1 (0x00007ffe941ef000)
    libopenblasp-r0-8dca6697.3.0.dev.so => /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/../.libs/libopenblasp-r0-8dca6697.3.0.dev.so (0x00007f9319cea000)
    libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f931994c000)
    libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f931972d000)
    libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f931933c000)
    /lib64/ld-linux-x86-64.so.2 (0x00007f931c800000)
    libgfortran-ed201abd.so.3.0.0 => /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/../.libs/libgfortran-ed201abd.so.3.0.0 (0x00007f9319042000)
running: ldd /app/.kfr-test-env/lib/python3.6/site-packages/numpy/linalg/_umath_linalg.cpython-36m-x86_64-linux-gnu.so
    linux-vdso.so.1 (0x00007ffda69d5000)
    libopenblasp-r0-8dca6697.3.0.dev.so => /app/.kfr-test-env/lib/python3.6/site-packages/numpy/linalg/../.libs/libopenblasp-r0-8dca6697.3.0.dev.so (0x00007f12097c1000)
    libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f12095a2000)
    libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f12091b1000)
    libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f1208e13000)
    libgfortran-ed201abd.so.3.0.0 => /app/.kfr-test-env/lib/python3.6/site-packages/numpy/linalg/../.libs/libgfortran-ed201abd.so.3.0.0 (0x00007f1208b19000)
    /lib64/ld-linux-x86-64.so.2 (0x00007f120c0ee000)

@mattip 당신이 언급 한 환경 변수를 시도했습니다.

os.environ["OPENBLAS_CORETYPE"] = "nehalem" 로 작동하지만 없이는 작동하지 않습니다.

import os
os.environ["OPENBLAS_VERBOSE"] = "2"
os.environ["OPENBLAS_CORETYPE"] = "nehalem"
import numpy as np

A = np.matrix([[1.], [3.]])
B = np.matrix([[2., 3.]])
ret = np.dot(A, B)
print(ret)

@kfrendrich 나는 당신도 가상 머신에 있다고 생각합니까? 그렇지 않으면 OpenBLAS의 CPU 감지에 문제가 있습니까? 이것이 가상 머신이라면 해당 환경 변수를 사용해야 할 수도 있습니다.

@seberg 예, 가상 머신입니다.

이것은 OpenBLAS가 CPU를 감지하는 방식에 버그처럼 들립니다. 그들에게보고 할 수 있습니까? 진행중인 kvm 문제를 찾을 수 없지만 몇 가지 닫힌 문제가 있습니다.

예, 곧 신고하겠습니다.

여전히 번식합니까?

numpy 1.17.3과 동일한 충돌.

$ python
>>> import numpy as np
>>> A = np.matrix([[1.0], [3.0]])
>>> B = np.matrix([[2.0, 3.0]])
>>> ret = np.dot(A, B)
Illegal instruction (core dumped)

이것이 내가 잡은 오류의 원인 일 것입니다. 실행하려고 할 때 Python이 "Illegal instruction (core dumped)"와 함께 죽습니다.

import matplotlib.pyplot as plt
fig = plt.figure(figsize=(10,10))

제안 된 해결책 :

import os
os.environ["OPENBLAS_VERBOSE"] = "2"
os.environ["OPENBLAS_CORETYPE"] = "nehalem"
import numpy as np

작동하지 않습니다 :(

전체 내용과 구성은 다음과 같습니다.

$ python
Python 3.6.8 (default, Oct  9 2019, 14:04:01)
[GCC 8.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> import numpy as np
>>> print(sys.version)
3.6.8 (default, Oct  9 2019, 14:04:01)
[GCC 8.3.0]
>>> print(np.__version__)
1.17.3
>>> np.show_config()
blas_mkl_info:
  NOT AVAILABLE
blis_info:
  NOT AVAILABLE
openblas_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
blas_opt_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
lapack_mkl_info:
  NOT AVAILABLE
openblas_lapack_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
lapack_opt_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]

CPU 정보 (가상 머신) :

$ cat /proc/cpuinfo
processor       : 0
vendor_id       : GenuineIntel
cpu family      : 6
model           : 85
model name      : Intel Xeon Processor (Skylake)
stepping        : 4
microcode       : 0x1
cpu MHz         : 2199.998
cache size      : 4096 KB
physical id     : 0
siblings        : 1
core id         : 0
cpu cores       : 1
apicid          : 0
initial apicid  : 0
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl cpuid tsc_known_freq pni pclmulqdq ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm pti fsgsbase smep erms
bugs            : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf mds swapgs
bogomips        : 4399.99
clflush size    : 64
cache_alignment : 64
address sizes   : 46 bits physical, 48 bits virtual
power management:

processor       : 1
vendor_id       : GenuineIntel
cpu family      : 6
model           : 85
model name      : Intel Xeon Processor (Skylake)
stepping        : 4
microcode       : 0x1
cpu MHz         : 2199.998
cache size      : 4096 KB
physical id     : 1
siblings        : 1
core id         : 0
cpu cores       : 1
apicid          : 1
initial apicid  : 1
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl cpuid tsc_known_freq pni pclmulqdq ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm pti fsgsbase smep erms
bugs            : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf mds swapgs
bogomips        : 4399.99
clflush size    : 64
cache_alignment : 64
address sizes   : 46 bits physical, 48 bits virtual
power management:

processor       : 2
vendor_id       : GenuineIntel
cpu family      : 6
model           : 85
model name      : Intel Xeon Processor (Skylake)
stepping        : 4
microcode       : 0x1
cpu MHz         : 2199.998
cache size      : 4096 KB
physical id     : 2
siblings        : 1
core id         : 0
cpu cores       : 1
apicid          : 2
initial apicid  : 2
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl cpuid tsc_known_freq pni pclmulqdq ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm pti fsgsbase smep erms
bugs            : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf mds swapgs
bogomips        : 4399.99
clflush size    : 64
cache_alignment : 64
address sizes   : 46 bits physical, 48 bits virtual
power management:

processor       : 3
vendor_id       : GenuineIntel
cpu family      : 6
model           : 85
model name      : Intel Xeon Processor (Skylake)
stepping        : 4
microcode       : 0x1
cpu MHz         : 2199.998
cache size      : 4096 KB
physical id     : 3
siblings        : 1
core id         : 0
cpu cores       : 1
apicid          : 3
initial apicid  : 3
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl cpuid tsc_known_freq pni pclmulqdq ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm pti fsgsbase smep erms
bugs            : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf mds swapgs
bogomips        : 4399.99
clflush size    : 64
cache_alignment : 64
address sizes   : 46 bits physical, 48 bits virtual
power management:

@prokulski openblas를 어떻게 설치 했습니까? 어떤 버전을 사용하십니까? github 저장소를 확인할 때 어떤 버전이 어떤 방식으로 작동해야하는지 확인할 수 있습니다.

openblas는 자동으로 설치되었습니다. 제거하고 다시 설치하려고했습니다 (적절한 설치를 통해)-도움이되지 않았습니다.

나는 이것이 일반 배열과 충돌한다고 가정합니다 ( np.matrix 대신)? 디버깅에서 더 이상 사용되지 않는 코드를 제거하는 것이 좋습니다. 이것이 시스템에서 작동합니까?

>>> import numpy as np
>>> A = np.array([[1.0], [3.0]])
>>> B = np.array([[2.0, 3.0]])
>>> ret = np.dot(A, B)

어때

>>> import numpy as np
>>> A = np.array([[1.0], [3.0]])
>>> B = np.array([[2.0, 3.0]])
>>> ret = np.matmul(A, B)

나는 이것이 일반 배열과 충돌한다고 가정합니다 ( np.matrix 대신)? 디버깅에서 더 이상 사용되지 않는 코드를 제거하는 것이 좋습니다. 이것이 시스템에서 작동합니까?

>>> import numpy as np
>>> A = np.array([[1.0], [3.0]])
>>> B = np.array([[2.0, 3.0]])
>>> ret = np.dot(A, B)

"잘못된 명령 (코어 덤프)"이있는 Crachesh

>>> import numpy as np
>>> A = np.array([[1.0], [3.0]])
>>> B = np.array([[2.0, 3.0]])
>>> ret = np.matmul(A, B)

제공 :

>>> ret
array([[2., 3.],
       [6., 9.]])

@prokulski openblas를 어떻게 설치 했습니까? 어떤 버전을 사용하십니까? github 저장소를 확인할 때 어떤 버전이 어떤 방식으로 작동해야하는지 확인할 수 있습니다.

openblas는 자동으로 설치되었습니다. 제거하고 다시 설치하려고했습니다 (적절한 설치를 통해)-도움이되지 않았습니다.

이것은 여전히 ​​버전 번호에 대한 질문에 대답하지 않습니다.

그들은 라이브러리가 CPU 유형을 감지하는 방법에 대해 시스템을 변경했습니다. numpy는 라이브러리 만 사용하므로 직접 문의하는 것이 좋습니다. 예를 들어 내 문제 https://github.com/xianyi/OpenBLAS/issues/2067 을 참조로 참조하십시오.

$ apt list *blas* | grep installed
libblas-dev/bionic,now 3.7.1-4ubuntu1 amd64 [installed,automatic]
libblas3/bionic,now 3.7.1-4ubuntu1 amd64 [installed,automatic]
libgslcblas0/bionic,now 2.4+dfsg-6 amd64 [installed,automatic]

libopenblas-dev를 설치했으며 이제 다음과 같습니다.

$ apt list *blas* | grep installed
libblas-dev/bionic,now 3.7.1-4ubuntu1 amd64 [installed,automatic]
libblas3/bionic,now 3.7.1-4ubuntu1 amd64 [installed,automatic]
libgslcblas0/bionic,now 2.4+dfsg-6 amd64 [installed,automatic]
libopenblas-base/bionic,now 0.2.20+ds-4 amd64 [installed,automatic]
libopenblas-dev/bionic,now 0.2.20+ds-4 amd64 [installed]

파이썬 :

$ python
Python 3.6.8 (default, Oct  9 2019, 14:04:01)
[GCC 8.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np
>>> A = np.matrix([[1.0], [3.0]])
>>> B = np.matrix([[2.0, 3.0]])
>>> ret = np.dot(A, B)
Illegal instruction (core dumped)

OPENBLAS_CORETYPE 를 호스트 시스템의 CPU로 설정할 수 있습니다. PyPI에서 pip install 얻은 numpy에는 OpenBLAS 0.3.7이 포함되어 있으며 이에 대한 수정 사항이 포함되어야합니다. pip install 사용을 선택하고 virtualenv를 사용하지 않는 경우 시스템의 Python과의 충돌을 방지하려면 pip install --upgrade --user numpy 를 사용해야합니다.

OpenBLAS 버전을 확인하려면 OpenBLAS 0.3.5 이상의 버전을보고하는이 코드를 사용할 수 있습니다.

    import numpy
    import ctypes

    dll = ctypes.CDLL(numpy.core._multiarray_umath.__file__)
    get_config = dll.openblas_get_config
    get_config.restype=ctypes.c_char_p
    res = get_config()
    print('OpenBLAS get_config returned', str(res))

@mattip 코드에서 "OpenBLAS get_config가 b'OpenBLAS 0.3.7 DYNAMIC_ARCH NO_AFFINITY Haswell MAX_THREADS = 64 '를 반환했습니다."

OPENBLAS_CORETYPE을 Haswell (소문자, 대문자, whateher)로 설정해도 도움이되지 않습니다. 이전에 시도해 보았습니다.

문제는 KVM 가상 머신과 blas의 잘못된 CPU 감지에 있다고 생각합니다. 이상합니다, 며칠 전에 모든 생각이 괜찮 았습니다 ...

Haswell이 잘못된 가치라고 생각하지만 빠른 Google 검색은 가상 머신 내부에서 한 번 호스트 CPU를 감지하는 데 좋은 답변을 얻지 못합니다.

Haswell이 잘못된 가치라고 생각하지만 빠른 Google 검색은 가상 머신 내부에서 한 번 호스트 CPU를 감지하는 데 좋은 답변을 얻지 못합니다.

네. Skylake가 더 좋을 수도 있지만 (cpuinfo가 표시되면) 도움이되지 않습니다. 막혔어요.
https://github.com/numpy/numpy/milestone/69는 희망을줍니다;)

OpenBLAS 커널 지정자로 시도해보십시오. 작동합니까?

export OPENBLAS_CORETYPE=prescott

및 dunnington, penryn, core2, nehalem, sandybridge

모두 죽습니다.

KVM이 CPU 유형 설정을 허용합니까? 최근에 업데이트 되었습니까?

코어 설정이 올바르게 작동하는지 확인하려면 다음을 추가하십시오.

export OPENBLAS_VERBOSE=2
export OPENBLAS_CORETYPE=prescott
python -c 'import numpy as np; A = np.array([[1.0], [3.0]]); B = np.array([[2.0, 3.0]]); print(np.dot(A, B))'

나는 얻다:

Core: Prescott
[[2. 3.]
 [6. 9.]]

지원팀은 지난 번에 프로세서와 함께 변경된 사항이 없다고 말했습니다.

또한이 컴퓨터에서 도커 이미지 jupyter / tensorflow-notebook을 가져와 시작했으며 Jupyter에서 실행 된 np.dot () 예제는 같은 방식으로 실패합니다. 그렇다면 이것이 하드웨어 문제라고 생각합니까?

@prokulski 위 주석 의 코드를 사용하면 불법 명령 전에 Core: Prescott 출력이 표시됩니까?

이것은 귀하의 하드웨어와 관련된 것으로 보이므로 1.18 마일스톤에서 제거하겠습니다.

나는 "Core : Presscot"과 매트릭스 2x2를 가지고 있고 불법적 인 지시가 없습니다.

"export OPENBLAS_CORETYPE = prescott"줄이 없으면 잘못된 명령이 있고 행렬이 없습니다.

OpenBLAS 내부에서 CPU를 감지하는 루틴이 KVM에 의해 혼란스러워 보입니다. OpenBLAS 이슈 트래커 에보고하여 그들이 무슨 일이 일어나고 있는지 알아낼 수 있습니까?

위에 나열된 모든 핵심 유형을 순환하고 어떤 유형이 충돌하는지 찾아서 OpenBLAS를 도울 수 있습니다.