Numpy: np.dot 1.14.5 के साथ कुछ सिस्टम पर क्रैश हो जाता है

आप अपने सुन्न कहाँ हो रहे हैं? पिप? एनाकोंडा? np.show_config() कहता है?

जवाब देने के लिए धन्यवाद। मैं पाइप के माध्यम से सुन्न स्थापित किया है।

>>> import numpy as np
>>> np.show_config()
blas_mkl_info:
  NOT AVAILABLE
openblas_lapack_info:
    library_dirs = ['C:\\projects\\numpy-wheels-jc1cl\\numpy\\build\\openblas']
    libraries = ['openblas']
    define_macros = [('HAVE_CBLAS', None)]
    language = f77
blis_info:
  NOT AVAILABLE
lapack_mkl_info:
  NOT AVAILABLE
openblas_info:
    library_dirs = ['C:\\projects\\numpy-wheels-jc1cl\\numpy\\build\\openblas']
    libraries = ['openblas']
    define_macros = [('HAVE_CBLAS', None)]
    language = f77
lapack_opt_info:
    library_dirs = ['C:\\projects\\numpy-wheels-jc1cl\\numpy\\build\\openblas']
    libraries = ['openblas']
    define_macros = [('HAVE_CBLAS', None)]
    language = f77
blas_opt_info:
    library_dirs = ['C:\\projects\\numpy-wheels-jc1cl\\numpy\\build\\openblas']
    libraries = ['openblas']
    define_macros = [('HAVE_CBLAS', None)]
    language = f77

मशीन पर नवीनतम Microsoft Visual C रनटाइम में अपग्रेड करता है
मदद? शायद विंडोज़ अपडेट से या उससे उपलब्ध:
https://support.microsoft.com/en-us/help/2977003/the-latest-supported-visual-c-downloads

@pv संकेत के लिए धन्यवाद, लेकिन नवीनतम 2017 रनटाइम को स्थापित करने और सिस्टम को पुनरारंभ करने के बाद, त्रुटि अभी भी मौजूद है।

शायद इसका समस्या से कोई लेना-देना नहीं है, लेकिन प्रभावित सिस्टम एक केवीएम में चलने वाला विंडोज 10 है।

जब मैं t.py में इस प्रकार से ऊपर परीक्षण स्क्रिप्ट चलाता हूं: python -u -m trace -t t.py , मैं दुर्घटना से पहले निम्न आउटपुट प्राप्त कर रहा हूं:

t.py(4): A = np.matrix([[1.], [3.]])
 --- modulename: defmatrix, funcname: __new__
defmatrix.py(213):         if isinstance(data, matrix):
defmatrix.py(221):         if isinstance(data, N.ndarray):
defmatrix.py(232):         if isinstance(data, str):
defmatrix.py(236):         arr = N.array(data, dtype=dtype, copy=copy)
defmatrix.py(237):         ndim = arr.ndim
defmatrix.py(238):         shape = arr.shape
defmatrix.py(239):         if (ndim > 2):
defmatrix.py(241):         elif ndim == 0:
defmatrix.py(243):         elif ndim == 1:
defmatrix.py(246):         order = 'C'
defmatrix.py(247):         if (ndim == 2) and arr.flags.fortran:
defmatrix.py(248):             order = 'F'
defmatrix.py(250):         if not (order or arr.flags.contiguous):
defmatrix.py(253):         ret = N.ndarray.__new__(subtype, shape, arr.dtype,
defmatrix.py(254):                                 buffer=arr,
defmatrix.py(255):                                 order=order)
 --- modulename: defmatrix, funcname: __array_finalize__
defmatrix.py(259):         self._getitem = False
defmatrix.py(260):         if (isinstance(obj, matrix) and obj._getitem): return
defmatrix.py(261):         ndim = self.ndim
defmatrix.py(262):         if (ndim == 2):
defmatrix.py(263):             return
defmatrix.py(256):         return ret
t.py(5): B = np.matrix([[2., 3.]])
 --- modulename: defmatrix, funcname: __new__
defmatrix.py(213):         if isinstance(data, matrix):
defmatrix.py(221):         if isinstance(data, N.ndarray):
defmatrix.py(232):         if isinstance(data, str):
defmatrix.py(236):         arr = N.array(data, dtype=dtype, copy=copy)
defmatrix.py(237):         ndim = arr.ndim
defmatrix.py(238):         shape = arr.shape
defmatrix.py(239):         if (ndim > 2):
defmatrix.py(241):         elif ndim == 0:
defmatrix.py(243):         elif ndim == 1:
defmatrix.py(246):         order = 'C'
defmatrix.py(247):         if (ndim == 2) and arr.flags.fortran:
defmatrix.py(248):             order = 'F'
defmatrix.py(250):         if not (order or arr.flags.contiguous):
defmatrix.py(253):         ret = N.ndarray.__new__(subtype, shape, arr.dtype,
defmatrix.py(254):                                 buffer=arr,
defmatrix.py(255):                                 order=order)
 --- modulename: defmatrix, funcname: __array_finalize__
defmatrix.py(259):         self._getitem = False
defmatrix.py(260):         if (isinstance(obj, matrix) and obj._getitem): return
defmatrix.py(261):         ndim = self.ndim
defmatrix.py(262):         if (ndim == 2):
defmatrix.py(263):             return
defmatrix.py(256):         return ret
t.py(6): print(np.dot(A, B))
 --- modulename: defmatrix, funcname: __array_finalize__
defmatrix.py(259):         self._getitem = False
defmatrix.py(260):         if (isinstance(obj, matrix) and obj._getitem): return
defmatrix.py(261):         ndim = self.ndim
defmatrix.py(262):         if (ndim == 2):
defmatrix.py(263):             return

हम्म,

यह काम करता है

A = np.matrix([[1.], [3.]])
B = np.matrix([[2., 3.]])
print(np.dot(A.astype(np.float16), B.astype(np.float16)))

यह एक दुर्घटना

A = np.matrix([[1.], [3.]])
B = np.matrix([[2., 3.]])
print(np.dot(A.astype(np.float32), B.astype(np.float32)))

कोई उपाय?

विभिन्न सुन्न संस्करणों के साथ खेलने के बाद मैं कह सकता हूं कि

• सुन्न <= 1.13.1, जबकि प्रभावित नहीं है
• numpy> = 1.13.3 इस अंक से प्रभावित है
• संख्या 1.13.2 का परीक्षण नहीं किया गया था क्योंकि पीपे पर कोई निर्माण नहीं हुआ है

मुझे इसमें कोई स्पष्ट बदलाव नहीं दिख रहे हैं। जैसा कि इस स्थापना के लिए समस्या विशिष्ट है, यह देखने के लिए उपयोगी हो सकता है कि क्या पर्यावरण, हार्डवेयर आदि के बारे में कुछ विशेष है, मुझे संदेह है कि कहीं न कहीं पुस्तकालय की समस्या है।

आप किस जानकारी में रुचि रखते हैं?

OS Name Microsoft Windows 10 Pro
Version 10.0.16299 Build 16299
Other OS Description    Not Available
OS Manufacturer Microsoft Corporation
System Name <REMOVED>
System Manufacturer QEMU
System Model    Standard PC (i440FX + PIIX, 1996)
System Type x64-based PC
System SKU  
Processor   Common KVM processor, 1996 Mhz, 4 Core(s), 4 Logical Processor(s)
BIOS Version/Date   SeaBIOS rel-1.11.0-0-g63451fca13-prebuilt.qemu-project.org, 4/1/2014
SMBIOS Version  2.8
Embedded Controller Version 255.255
BIOS Mode   Legacy
Platform Role   Desktop
Secure Boot State   Unsupported
PCR7 Configuration  Binding Not Possible
Windows Directory   C:\WINDOWS
System Directory    C:\WINDOWS\system32
Boot Device \Device\HarddiskVolume1
Locale  Austria
Hardware Abstraction Layer  Version = "10.0.16299.371"
User Name   Not Available
Time Zone   W. Europe Daylight Time
Installed Physical Memory (RAM) 4.00 GB
Total Physical Memory   4.00 GB
Available Physical Memory   1.94 GB
Total Virtual Memory    8.00 GB
Available Virtual Memory    5.27 GB
Page File Space 4.00 GB
Page File   C:\pagefile.sys
Virtualization-based security   Not enabled
Device Encryption Support   Reasons for failed automatic device encryption: TPM is not usable, PCR7 binding is not supported, Hardware Security Test Interface failed and device is not InstantGo, Un-allowed DMA capable bus/device(s) detected, Disabled by policy, TPM is not usable
A hypervisor has been detected. Features required for Hyper-V will not be displayed.    

मैं आपके काम करने वाले प्रतिष्ठानों के साथ मतभेदों की तलाश कर रहा हूं। ऐसा लगता है कि आधार प्रणाली linux है?

इस पर काम करता है:

• सभी भौतिक विंडोज 10 इंस्टॉलेशन
• विंडोज 10 होस्ट के साथ विंडोज 10 हाइपर-वी वीएम में

मेरे पास कोई अन्य विंडोज 10 सेटअप नहीं है, मैं प्रभावित प्रणाली की तुलना कर सकता हूं।

ऐसा लगता है कि आधार प्रणाली linux है?

बिल्कुल सही: डेबियन जीएनयू / लिनक्स 9 (खिंचाव)

NumPy परिवर्तन जो संभवत: ट्रिगर करता है, यह 1.13.3 के लिए विंडोज पर OpenBLAS का स्विच था। मैं यह अनुमान लगाने जा रहा हूं कि केवीएम संख्यात्मक वातावरण में कुछ ऐसा होना चाहिए जो ट्विकिंग हो।

यह भी जाँच करें कि क्या कोई एटलस dll तैर रहा है।

यह भी जाँच करें कि क्या कोई एटलस dll तैर रहा है।

इस वाक्य का वास्तव में क्या मतलब है?

बाद के संस्करणों के लिए एक ओपनब्लस डीएल होना चाहिए, इसलिए मैं सोच रहा हूं कि क्या किसी तरह पुराने एटलस एलएल के साथ कुछ भ्रम हो सकता है। शायद नहीं, हालांकि। IIUC, सुन्न चलता है, यह सिर्फ गलत परिणाम दे रहा है।

Numpy चलता है, लेकिन ऊपर के उदाहरण के लिए यह वास्तव में कुछ भी नहीं करता है लेकिन दुर्घटना की ओर जाता है।

एक और संभावना है कि ओएफएलबीएएस एक अवैध निर्देश जारी कर रहा है (एसएसई *) केवीएम वातावरण में समर्थित नहीं है। मुझे नहीं पता कि वहां क्या सक्षम है, क्या आप जांच कर सकते हैं?

आप OpenBlas को पर्यावरण चर से नियंत्रित कर सकते हैं। set OPENBLAS_VERBOSE=2 उपयोग डिफ़ॉल्ट प्रोसेसर मॉडल का प्रिंट आउट करना चाहिए। ऐसा लगता है कि अतिथि को वास्तविक होस्ट हार्डवेयर के समान मॉडल का उपयोग करना चाहिए, इसलिए उदाहरण के लिए set OPENBLAS_CORETYPE=nehalem है यदि यह आपके मेजबान मशीन के लिए सही है। क्या NumPy मेजबान मशीन पर ठीक से व्यवहार करता है? यदि ऐसा है तो आप वर्बोज़ सेटिंग का उपयोग यह पता लगाने के लिए कर सकते हैं कि अतिथि को क्या उपयोग करना चाहिए

इस समस्या के बारे में जानकारी?

समस्या अभी भी मौजूद है, लेकिन मैं अभी तक @mattip चीजों का परीक्षण करने में सक्षम नहीं था और आपने उल्लेख किया था। मैं अगले दो सप्ताह के भीतर ऐसा नहीं कर पाऊंगा, लेकिन बाद में ऐसा करूंगा।

ठीक है धन्यवाद।

@ m55c55 क्या आप इसे और अधिक डिबग करने में कामयाब रहे हैं?

नमस्ते,
मैं इस मुद्दे की पुष्टि कर सकता हूं, और एक अन्य उपयोग मामला देकर मदद कर सकता हूं ...

मेरी मशीन पर एक समान व्यवहार है (ताजा लिनक्स स्थापित):

Linux 4.15.0-42-generic #45-Ubuntu SMP Thu Nov 15 19:32:57 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

Ubuntu 18.04.1 LTS

numpy (1.15.4)

>>> np.show_config()
blas_mkl_info:
  NOT AVAILABLE
blis_info:
  NOT AVAILABLE
openblas_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
blas_opt_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
lapack_mkl_info:
  NOT AVAILABLE
openblas_lapack_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
lapack_opt_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]

मेरी अजगर स्क्रिप्ट:

import numpy as np
A = np.random.randn(100, 3000)
B = np.random.randn(3000, 100)
np.dot(B, A)

स्क्रिप्ट बहुत छोटे मैट्रिक्स के साथ क्रैश नहीं होती है।

हालांकि दुर्घटना वास्तव में महत्वपूर्ण है: मशीन तुरंत रिबूट हो जाती है और कई फाइलें दूषित हो जाती हैं (मेरी जांच के दौरान मेरी बैश और संख्यात्मक मॉड्यूल टूट गया)।

मुझे लगता है आप np.dot(B, A.T) मतलब है? आपको NumPy कैसे मिला? यदि आपने खुद बनाया है, तो OpenBLAS का कौन सा संस्करण है?

संरेखित आयामों के लिए नहीं, यह np.dot(B, A) होना चाहिए।

मैंने पाइप से सुन्न होने की कोशिश की (1.15.4)

➜  ~ pip3 install numpy
Collecting numpy
  Using cached https://files.pythonhosted.org/packages/ff/7f/9d804d2348471c67a7d8b5f84f9bc59fd1cefa148986f2b74552f8573555/numpy-1.15.4-cp36-cp36m-manylinux1_x86_64.whl

और ubuntu रिपॉजिटरी से भी कोशिश की (1.13.3)

➜  ~ apt-cache show python3-numpy
Package: python3-numpy
Architecture: amd64
Version: 1:1.13.3-2ubuntu1
Priority: optional
Section: python
Source: python-numpy
Origin: Ubuntu
Maintainer: Ubuntu Developers <[email protected]>
Original-Maintainer: Sandro Tosi <[email protected]>
Bugs: https://bugs.launchpad.net/ubuntu/+filebug
Installed-Size: 10670
Provides: python3-f2py, python3-numpy-abi9, python3-numpy-api11, python3-numpy-dev, python3.6-numpy
Depends: python3 (<< 3.7), python3 (>= 3.6~), python3.6:any, python3:any (>= 3.4~), libblas3 | libblas.so.3, libc6 (>= 2.14), liblapack3 | liblapack.so.3
Suggests: gcc (>= 4:4.6.1-5), gfortran, python-numpy-doc, python3-dev, python3-nose (>= 1.0), python3-numpy-dbg
Filename: pool/main/p/python-numpy/python3-numpy_1.13.3-2ubuntu1_amd64.deb
Size: 1942804
MD5sum: 7b84ea9967f987a292b64f5bc5b6d65f
SHA1: 73fd8354b7106ac81b8add37947173aad515a9d5
SHA256: 3098ad88b8404cbeee66cc6eef96b13ea87eda848900d7cb754fd0bf280741bf

बस दूसरे कंप्यूटर पर ubuntu 18 चलाने की कोशिश की और पाइप सुन्न स्थापित किया ... और दुर्घटना को पुन: उत्पन्न नहीं कर सकता। निशचित तौर पर मालूम नहीं कया हो रहा है !

नमस्कार, मैंने इस बग का सामना तब किया जब मैं गलियारे का कार्य कर रहा था। मैंने नीचे ड्रिल किया और पाया कि मैं निम्नलिखित कॉल np.dot(np.array([[0], [0]]), np.array([0, 0]).conj()) साथ दुर्घटना को पुन: उत्पन्न कर सकता हूं

इम रनिंग विंडो 10 एनाकोंडा वातावरण में।

np.__version__

1.14.2

np.show_config ()

mkl_info:
    libraries = ['mkl_rt']
    library_dirs = ['C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\lib']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
    include_dirs = ['C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\include', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\lib', 'C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\include']
blas_mkl_info:
    libraries = ['mkl_rt']
    library_dirs = ['C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\lib']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
    include_dirs = ['C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\include', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\lib', 'C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\include']
blas_opt_info:
    libraries = ['mkl_rt']
    library_dirs = ['C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\lib']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
    include_dirs = ['C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\include', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\lib', 'C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\include']
lapack_mkl_info:
    libraries = ['mkl_rt']
    library_dirs = ['C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\lib']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
    include_dirs = ['C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\include', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\lib', 'C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\include']
lapack_opt_info:
    libraries = ['mkl_rt']
    library_dirs = ['C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\lib']
    define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBLAS', None)]
    include_dirs = ['C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\include', 'C:\\Program Files (x86)\\IntelSWTools\\compilers_and_libraries_2016.4.246\\windows\\mkl\\lib', 'C:/Users/tommassino/AppData/Local/Continuum/Anaconda3/envs/project-conda\\Library\\include']

@ टॉमसिनो प्रजनन नहीं कर सकता। क्या आप सुनिश्चित हैं कि वे आकृतियाँ विफल हो रही हैं?
यह समस्या VM के अंदर चलने के बारे में है, यदि आपका सेटअप अलग है तो कृपया एक नया मुद्दा खोलें।

>>> import sys
>>> print(sys.version)
3.6.6 (default, Sep 12 2018, 18:26:19) 
[GCC 8.0.1 20180414 (experimental) [trunk revision 259383]]
>>> import numpy as np
>>> np.__version__
'1.14.2'
>>> np.dot(np.array([[0], [0]]), np.array([0, 0]).conj())
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: shapes (2,1) and (2,) not aligned: 1 (dim 1) != 2 (dim 0)

@ मैमटिप आह, मुझे ध्यान नहीं आया कि यह विशेष रूप से एक वीएम वातावरण से संबंधित था क्योंकि यह केवल निम्न पोस्ट में उल्लिखित था। अन्य उत्तरों में से कुछ गैर-वीएमएस पर होने वाली समस्या का उल्लेख करते हैं। Np.dot कमांड के साथ मेरी गलती, मैंने अपने डीबगर से सरणियों को गलत तरीके से कॉपी किया।

>>> import sys
>>> import numpy as np
>>> print(sys.version)
3.6.6 | packaged by conda-forge | (default, Jul 26 2018, 11:48:23) [MSC v.1900 64 bit (AMD64)]
>>> print(np.__version__)
1.14.2
>>> X = np.array([0., 0.])
>>> X_T = np.array([0., 0.])
>>> print(X)
[0. 0.]
>>> print(X_T)
[0. 0.]
>>> print(np.dot(X, X_T.conj()))
Process finished with exit code 2

हालाँकि मैंने पहले ही पाया कि यह mkl के मूल निवासियों से संबंधित हो सकता है सही ढंग से लोड नहीं हो रहा है, इसलिए यह वास्तव में एक और मुद्दा हो सकता है।

@ टॉमासिनो क्या आपको कोंडा से भी खांसी हुई थी?

@ oleksandr-pavlyk: कोई विचार?

@ टॉमासिनो क्या आपको कोंडा से भी खांसी हुई थी?

देर से जवाब, छुट्टियों के लिए क्षमा करें ... हाँ मैं एक conda numpy का उपयोग कर रहा हूँ

> conda list --no-pip | grep numpy
numpy                     1.14.2           py36h5c71026_1

हालाँकि, जैसा कि मैंने ऊपर बताया, जब मैंने mkl ( conda update mkl ) अपडेट किया तो समस्या दूर हो गई।

मुझे लगता है कि हम इसे बंद कर सकते हैं? @Khemal जब से आप linux चला रहे हैं, क्या आप उस बॉक्स पर https://gist.github.com/seberg/ce4563f3cb00e33997e4f80675b80953 का आउटपुट पोस्ट कर सकते हैं जहां दुर्घटना होती है? यह आपको बता सकता है कि क्या गलत है, क्योंकि यह निश्चित रूप से ब्लास से संबंधित है।

जब तक वास्तव में कुछ संदर्भ गिनती मुद्दा नहीं है, लेकिन मुझे आश्चर्य होगा कि बेतरतीब ढंग से अन्य लोगों को भी नहीं मारेंगे।

नमस्ते।

मैंने इस मुद्दे के बारे में कुछ ट्रेसबैक एकत्र किया।

अजगर 3.6.7
सुन्न (1.15.4)

(.kfr-test-env) root<strong i="9">@whatever</strong>:/app# gdb python3
(gdb) run testcode.py 
Starting program: /app/.kfr-test-env/bin/python3 testcode.py
[Thread debugging using libthread_db enabled]
Using host libthread_db library "/lib/x86_64-linux-gnu/libthread_db.so.1".
[New Thread 0x7ffff3c1b700 (LWP 29704)]

Thread 1 "python3" received signal SIGILL, Illegal instruction.
0x00007ffff4a5c204 in dgemm_oncopy_OPTERON_SSE3 () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/../.libs/libopenblasp-r0-8dca6697.3.0.dev.so
(gdb) bt
#0  0x00007ffff4a5c204 in dgemm_oncopy_OPTERON_SSE3 () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/../.libs/libopenblasp-r0-8dca6697.3.0.dev.so
#1  0x00007ffff6520630 in ?? () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/../.libs/libopenblasp-r0-8dca6697.3.0.dev.so
#2  0x00000000000000e0 in ?? ()
#3  0x00007ffff41275db in dgemm_tt () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/../.libs/libopenblasp-r0-8dca6697.3.0.dev.so
#4  0x00007ffff4052088 in cblas_dgemm () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/../.libs/libopenblasp-r0-8dca6697.3.0.dev.so
#5  0x00007ffff676d28f in ?? () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/multiarray.cpython-36m-x86_64-linux-gnu.so
#6  0x00007ffff6732c36 in ?? () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/multiarray.cpython-36m-x86_64-linux-gnu.so
#7  0x00007ffff673400a in ?? () from /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/multiarray.cpython-36m-x86_64-linux-gnu.so
#8  0x00000000005030d5 in _PyCFunction_FastCallDict (kwargs=<optimized out>, nargs=<optimized out>, args=<optimized out>, 
    func_obj=<built-in method dot of module object at remote 0x7ffff6a535e8>) at ../Objects/methodobject.c:231
#9  _PyCFunction_FastCallKeywords (kwnames=<optimized out>, nargs=<optimized out>, stack=<optimized out>, func=<optimized out>) at ../Objects/methodobject.c:294
#10 call_function.lto_priv () at ../Python/ceval.c:4837
#11 0x0000000000506859 in _PyEval_EvalFrameDefault () at ../Python/ceval.c:3335
#12 0x0000000000504c28 in PyEval_EvalFrameEx (throwflag=0, f=Frame 0xadeb18, for file testcode.py, line 10, in <module> ()) at ../Python/ceval.c:4166
#13 _PyEval_EvalCodeWithName.lto_priv.1761 () at ../Python/ceval.c:4166
#14 0x0000000000506393 in PyEval_EvalCodeEx (closure=0x0, kwdefs=0x0, defcount=0, defs=0x0, kwcount=0, kws=0x0, argcount=0, args=0x0, locals=<optimized out>, 
    globals=<optimized out>, _co=<optimized out>) at ../Python/ceval.c:4187
#15 PyEval_EvalCode (co=<optimized out>, globals=<optimized out>, locals=<optimized out>) at ../Python/ceval.c:731
#16 0x0000000000634d52 in run_mod () at ../Python/pythonrun.c:1025
#17 0x0000000000634e0a in PyRun_FileExFlags () at ../Python/pythonrun.c:978
#18 0x00000000006385c8 in PyRun_SimpleFileExFlags () at ../Python/pythonrun.c:419
#19 0x00000000006387a5 in PyRun_AnyFileExFlags () at ../Python/pythonrun.c:81
#20 0x000000000063915a in run_file (p_cf=0x7fffffffe2fc, filename=<optimized out>, fp=<optimized out>) at ../Modules/main.c:340
#21 Py_Main () at ../Modules/main.c:810
#22 0x00000000004a6f10 in main (argc=2, argv=0x7fffffffe4f8) at ../Programs/python.c:69

@seberg इस उत्पादन होता है:

Probing Multiarray
------------------
OpenBLAS:
    num threads: 2
    version info: DYNAMIC_ARCH NO_AFFINITY Opteron MAX_THREADS=64

Probing Linalg
--------------
OpenBLAS:
    num threads: 2
    version info: DYNAMIC_ARCH NO_AFFINITY Opteron MAX_THREADS=64

LDD information:
----------------
running: ldd /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/multiarray.cpython-36m-x86_64-linux-gnu.so
    linux-vdso.so.1 (0x00007ffe941ef000)
    libopenblasp-r0-8dca6697.3.0.dev.so => /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/../.libs/libopenblasp-r0-8dca6697.3.0.dev.so (0x00007f9319cea000)
    libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f931994c000)
    libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f931972d000)
    libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f931933c000)
    /lib64/ld-linux-x86-64.so.2 (0x00007f931c800000)
    libgfortran-ed201abd.so.3.0.0 => /app/.kfr-test-env/lib/python3.6/site-packages/numpy/core/../.libs/libgfortran-ed201abd.so.3.0.0 (0x00007f9319042000)
running: ldd /app/.kfr-test-env/lib/python3.6/site-packages/numpy/linalg/_umath_linalg.cpython-36m-x86_64-linux-gnu.so
    linux-vdso.so.1 (0x00007ffda69d5000)
    libopenblasp-r0-8dca6697.3.0.dev.so => /app/.kfr-test-env/lib/python3.6/site-packages/numpy/linalg/../.libs/libopenblasp-r0-8dca6697.3.0.dev.so (0x00007f12097c1000)
    libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f12095a2000)
    libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f12091b1000)
    libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f1208e13000)
    libgfortran-ed201abd.so.3.0.0 => /app/.kfr-test-env/lib/python3.6/site-packages/numpy/linalg/../.libs/libgfortran-ed201abd.so.3.0.0 (0x00007f1208b19000)
    /lib64/ld-linux-x86-64.so.2 (0x00007f120c0ee000)

@ एमआटिप मैंने पर्यावरण चर चीजों की कोशिश की, जिसका आपने उल्लेख किया है:

os.environ["OPENBLAS_CORETYPE"] = "nehalem" यह काम करता है, लेकिन इसके बिना काम नहीं करता।

import os
os.environ["OPENBLAS_VERBOSE"] = "2"
os.environ["OPENBLAS_CORETYPE"] = "nehalem"
import numpy as np

A = np.matrix([[1.], [3.]])
B = np.matrix([[2., 3.]])
ret = np.dot(A, B)
print(ret)

@kfrendrich मुझे लगता है कि आप भी वर्चुअल मशीन पर हैं? अन्यथा, शायद OpenBLAS में सीपीयू का पता लगाने के साथ कोई समस्या है? यदि यह एक आभासी मशीन है तो मुझे लगता है कि आपको बस उन पर्यावरण चर का उपयोग करना पड़ सकता है।

@seberg हाँ यह एक वर्चुअल मशीन है

यह उस तरह से कुछ बग की तरह लगता है जैसे OpenBLAS सीपीयू का पता लगा रहा है। क्या आप उन्हें इसकी रिपोर्ट कर सकते हैं? मुझे खुला kvm मुद्दा नहीं मिला, लेकिन कुछ बंद हैं

हां, मैं उन्हें जल्द ही रिपोर्ट करूंगा।

क्या यह अब भी प्रजनन करता है?

1.17.3 अंक के साथ एक ही दुर्घटना।

$ python
>>> import numpy as np
>>> A = np.matrix([[1.0], [3.0]])
>>> B = np.matrix([[2.0, 3.0]])
>>> ret = np.dot(A, B)
Illegal instruction (core dumped)

संभवतः यह त्रुटि का कारण है जिसे मैंने पकड़ा था - पायथन की मृत्यु "अवैध निर्देश (कोर डंप)" के साथ होती है जब चलाने की कोशिश की जाती है:

import matplotlib.pyplot as plt
fig = plt.figure(figsize=(10,10))

प्रस्तावित प्रदूषण:

import os
os.environ["OPENBLAS_VERBOSE"] = "2"
os.environ["OPENBLAS_CORETYPE"] = "nehalem"
import numpy as np

काम नहीं करता है :(

यहाँ पूरी कहानी और विन्यास है:

$ python
Python 3.6.8 (default, Oct  9 2019, 14:04:01)
[GCC 8.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> import numpy as np
>>> print(sys.version)
3.6.8 (default, Oct  9 2019, 14:04:01)
[GCC 8.3.0]
>>> print(np.__version__)
1.17.3
>>> np.show_config()
blas_mkl_info:
  NOT AVAILABLE
blis_info:
  NOT AVAILABLE
openblas_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
blas_opt_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
lapack_mkl_info:
  NOT AVAILABLE
openblas_lapack_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
lapack_opt_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]

CPU जानकारी (यह वर्चुअल मशीन है):

$ cat /proc/cpuinfo
processor       : 0
vendor_id       : GenuineIntel
cpu family      : 6
model           : 85
model name      : Intel Xeon Processor (Skylake)
stepping        : 4
microcode       : 0x1
cpu MHz         : 2199.998
cache size      : 4096 KB
physical id     : 0
siblings        : 1
core id         : 0
cpu cores       : 1
apicid          : 0
initial apicid  : 0
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl cpuid tsc_known_freq pni pclmulqdq ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm pti fsgsbase smep erms
bugs            : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf mds swapgs
bogomips        : 4399.99
clflush size    : 64
cache_alignment : 64
address sizes   : 46 bits physical, 48 bits virtual
power management:

processor       : 1
vendor_id       : GenuineIntel
cpu family      : 6
model           : 85
model name      : Intel Xeon Processor (Skylake)
stepping        : 4
microcode       : 0x1
cpu MHz         : 2199.998
cache size      : 4096 KB
physical id     : 1
siblings        : 1
core id         : 0
cpu cores       : 1
apicid          : 1
initial apicid  : 1
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl cpuid tsc_known_freq pni pclmulqdq ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm pti fsgsbase smep erms
bugs            : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf mds swapgs
bogomips        : 4399.99
clflush size    : 64
cache_alignment : 64
address sizes   : 46 bits physical, 48 bits virtual
power management:

processor       : 2
vendor_id       : GenuineIntel
cpu family      : 6
model           : 85
model name      : Intel Xeon Processor (Skylake)
stepping        : 4
microcode       : 0x1
cpu MHz         : 2199.998
cache size      : 4096 KB
physical id     : 2
siblings        : 1
core id         : 0
cpu cores       : 1
apicid          : 2
initial apicid  : 2
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl cpuid tsc_known_freq pni pclmulqdq ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm pti fsgsbase smep erms
bugs            : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf mds swapgs
bogomips        : 4399.99
clflush size    : 64
cache_alignment : 64
address sizes   : 46 bits physical, 48 bits virtual
power management:

processor       : 3
vendor_id       : GenuineIntel
cpu family      : 6
model           : 85
model name      : Intel Xeon Processor (Skylake)
stepping        : 4
microcode       : 0x1
cpu MHz         : 2199.998
cache size      : 4096 KB
physical id     : 3
siblings        : 1
core id         : 0
cpu cores       : 1
apicid          : 3
initial apicid  : 3
fpu             : yes
fpu_exception   : yes
cpuid level     : 13
wp              : yes
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl cpuid tsc_known_freq pni pclmulqdq ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm pti fsgsbase smep erms
bugs            : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf mds swapgs
bogomips        : 4399.99
clflush size    : 64
cache_alignment : 64
address sizes   : 46 bits physical, 48 bits virtual
power management:

@prokulski आपने

ओपेनब्लास को स्वचालित रूप से स्थापित किया गया है (कुछ की निर्भरता के रूप में)। मैंने इसे हटाने और एक बार फिर से स्थापित करने की कोशिश की है (उपयुक्त इंस्टॉल के माध्यम से) - मदद नहीं की

मुझे लगता है कि यह नियमित सरणियों ( np.matrix बजाय) के साथ भी क्रैश होता है? डीबगिंग से हटाए गए कोड को समाप्त करना अच्छा होगा। क्या यह आपके सिस्टम पर व्यवहार करता है?

>>> import numpy as np
>>> A = np.array([[1.0], [3.0]])
>>> B = np.array([[2.0, 3.0]])
>>> ret = np.dot(A, B)

कैसा रहेगा

>>> import numpy as np
>>> A = np.array([[1.0], [3.0]])
>>> B = np.array([[2.0, 3.0]])
>>> ret = np.matmul(A, B)

मुझे लगता है कि यह नियमित सरणियों ( np.matrix बजाय) के साथ भी क्रैश होता है? डीबगिंग से हटाए गए कोड को समाप्त करना अच्छा होगा। क्या यह आपके सिस्टम पर व्यवहार करता है?

>>> import numpy as np
>>> A = np.array([[1.0], [3.0]])
>>> B = np.array([[2.0, 3.0]])
>>> ret = np.dot(A, B)

"अवैध निर्देश (कोर डंप)" के साथ क्रेच

>>> import numpy as np
>>> A = np.array([[1.0], [3.0]])
>>> B = np.array([[2.0, 3.0]])
>>> ret = np.matmul(A, B)

देता है:

>>> ret
array([[2., 3.],
       [6., 9.]])

@prokulski आपने

ओपेनब्लास को स्वचालित रूप से स्थापित किया गया है (कुछ की निर्भरता के रूप में)। मैंने इसे हटाने और एक बार फिर से स्थापित करने की कोशिश की है (उपयुक्त इंस्टॉल के माध्यम से) - मदद नहीं की

यह अभी भी संस्करण संख्या के बारे में सवाल का जवाब नहीं देता है।

उन्होंने इस प्रणाली को बदल दिया कि कैसे पुस्तकालय सीपीयू प्रकार का पता लगाता है। बेहतर उन्हें सीधे संपर्क करें क्योंकि सुपीरियर केवल पुस्तकालय का उपयोग करता है। उदाहरण के लिए देखें मेरा मुद्दा https://github.com/xianyi/OpenBLAS/issues/2067 संदर्भ के रूप में।

$ apt list *blas* | grep installed
libblas-dev/bionic,now 3.7.1-4ubuntu1 amd64 [installed,automatic]
libblas3/bionic,now 3.7.1-4ubuntu1 amd64 [installed,automatic]
libgslcblas0/bionic,now 2.4+dfsg-6 amd64 [installed,automatic]

मैंने लिबोपेंब्लास-देव को प्रेरित किया है, और अब यह है:

$ apt list *blas* | grep installed
libblas-dev/bionic,now 3.7.1-4ubuntu1 amd64 [installed,automatic]
libblas3/bionic,now 3.7.1-4ubuntu1 amd64 [installed,automatic]
libgslcblas0/bionic,now 2.4+dfsg-6 amd64 [installed,automatic]
libopenblas-base/bionic,now 0.2.20+ds-4 amd64 [installed,automatic]
libopenblas-dev/bionic,now 0.2.20+ds-4 amd64 [installed]

अजगर:

$ python
Python 3.6.8 (default, Oct  9 2019, 14:04:01)
[GCC 8.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np
>>> A = np.matrix([[1.0], [3.0]])
>>> B = np.matrix([[2.0, 3.0]])
>>> ret = np.dot(A, B)
Illegal instruction (core dumped)

आप होस्ट सिस्टम के CPU में OPENBLAS_CORETYPE कोशिश कर सकते हैं। PyPI से pip install के साथ मिलने वाली सुपीरियर में OpenBLAS 0.3.7 होता है, जिसमें इसके लिए एक फिक्स होना चाहिए। यदि आप pip install का उपयोग करना चुनते हैं और एक virtualenv का उपयोग नहीं कर रहे हैं, तो अपने सिस्टम के अजगर के साथ संघर्ष से बचने के लिए pip install --upgrade --user numpy का उपयोग करना सुनिश्चित करें।

OpenBLAS संस्करण का निर्धारण करने के लिए, आप इस कोड का उपयोग कर सकते हैं, जो OpenBLAS 0.3.5 और उसके बाद के संस्करण की रिपोर्ट करेगा

    import numpy
    import ctypes

    dll = ctypes.CDLL(numpy.core._multiarray_umath.__file__)
    get_config = dll.openblas_get_config
    get_config.restype=ctypes.c_char_p
    res = get_config()
    print('OpenBLAS get_config returned', str(res))

@ अपना कोड "ओपनब्लास get_config b'OpenBLAS 0.3.7 DYNAMIC_ARCH NO_AFFINITY हैसवेल MAX_THREADS = 64 'देता है

OPENBLAS_CORETYPE को हैसवेल (लोअरकेस, अपरेसेज़, व्हेयर) पर सेट करने से कोई मदद नहीं मिलती - मैंने पहले भी कोशिश की है।

मुझे लगता है कि समस्या केवीएम वर्चुअल मशीन और खराब सीपीयू डिटेक्शन में है। अजीब बात है, कि कुछ दिन पहले everythink ठीक था ...

मुझे लगता है कि हसवेल आपके लिए गलत मूल्य है, लेकिन एक आभासी मशीन के अंदर एक बार मेजबान सीपीयू का पता लगाने के लिए एक त्वरित Google खोज अच्छे उत्तर नहीं दे रही है।

मुझे लगता है कि हसवेल आपके लिए गलत मूल्य है, लेकिन एक आभासी मशीन के अंदर एक बार मेजबान सीपीयू का पता लगाने के लिए एक त्वरित Google खोज अच्छे उत्तर नहीं दे रही है।

हां। Skylake बेहतर होगा (यदि आप cpuinfo देखेंगे), लेकिन यह भी मदद नहीं करता है। मैं फँस गया हूँ।
https://github.com/numpy/numpy/milestone/69 आशा देता है;)

OpenBLAS कर्नेल विनिर्देशक के रूप में इन्हें आज़माएं, क्या इनमें से कोई काम करता है?

export OPENBLAS_CORETYPE=prescott

और डायनिंगटन, पेनिर्न, कोर 2, नेहेलम, सैंडिब्रिज

हर कोई मरता है।

क्या केवीएम सीपीयू प्रकार सेट करने की अनुमति देता है? क्या यह हाल ही में अपडेट किया गया है?

बस यह पुष्टि करने के लिए कि कोर सही ढंग से काम करता है, जोड़ें:

export OPENBLAS_VERBOSE=2
export OPENBLAS_CORETYPE=prescott
python -c 'import numpy as np; A = np.array([[1.0], [3.0]]); B = np.array([[2.0, 3.0]]); print(np.dot(A, B))'

मुझे मिला:

Core: Prescott
[[2. 3.]
 [6. 9.]]

समर्थन ने कहा कि पिछली बार कुछ भी नहीं बदला है।

मैंने भी खींचा है और इस मशीन पर docker image jupyter / tanorflow-नोटबुक शुरू कर दी है और jupyter में चलाया गया np.dot () उदाहरण उसी तरह विफल हो गया है। तो, मुझे लगता है कि यह हार्डवेयर समस्या है?

@prokulski यदि आप उपरोक्त टिप्पणी से कोड का उपयोग करते हैं, तो क्या आपको अवैध निर्देश से पहले आउटपुट Core: Prescott ?

चूंकि यह आपके हार्डवेयर के लिए विशिष्ट प्रतीत होता है, इसलिए मैं इसे 1.18 मील के पत्थर से हटा रहा हूं।

मेरे पास "Core: Presscot" और फिर मैट्रिक्स 2x2 और NO अवैध निर्देश हैं।

"निर्यात OPENBLAS_CORETYPE = प्रेस्कॉट" लाइन के बिना अवैध निर्देश और कोई मैट्रिक्स नहीं है।

ऐसा लगता है कि OpenBLAS के अंदर अपने CPU का पता लगाने की दिनचर्या किसी तरह से आपके KVM द्वारा भ्रमित है। क्या आप इसे OpenBLAS समस्या ट्रैकर पर रिपोर्ट कर सकते हैं ताकि वे काम कर सकें कि क्या चल रहा है?

आप संभवतः ऊपर सूचीबद्ध सभी मुख्य प्रकारों के माध्यम से साइकिल चलाकर और जिन लोगों को दुर्घटनाग्रस्त करते हैं, उनके द्वारा ओपनब्लस की मदद कर सकते हैं।