Numpy: 1.19.0 अंक के साथ Azure CI (विंडोज उदाहरण) पर त्रुटि

क्या यह लगातार या केवल एक बार में विफल रहता है? क्या आपके पास कोई विंडोज़ डेवलपर है जो स्थानीय मशीन पर प्रोजेक्ट बनाने की कोशिश कर सकता है?

नमस्ते,
धन्यवाद!

यह लगातार कई बार विफल हुआ .. उस समय मैंने एज़्योर डेवलपर्स से पूछने के बारे में सोचा था (मेरा प्रारंभिक अनुमान था कि शायद उनके वीएमएस सेटअप में कुछ बदल गया था)।

इस लिंक में चर्चा है कि मैंने Microsoft डेवलपर के साथ चर्चा की थी जो समस्या को सुन्न कर सकता था: https://developercommunity.visualstudio.com/content/problem/1102472/azure-pipeline-error-ith-windows-vm.html? childToView = 1119179 # टिप्पणी -1119179

दुर्भाग्य से मेरे पास कोई ऐसा व्यक्ति नहीं है जो स्थानीय विंडोज़ मशीन पर प्रोजेक्ट बनाने की कोशिश कर सके :(

फिर हमें प्रजनन के लिए स्पष्ट चरणों की आवश्यकता होगी

Azure- पाइपलाइनों.एलएम काम करेगा?

यहाँ हम उस समय का उपयोग करते हैं (https://github.com/equinor/pylops/blob/master/azure-pipelines.yml) ने टिप्पणी की ... आप देख सकते हैं कि यह पायथन 3.7 का उपयोग करके एक सुंदर मानक सेटअप है , आवश्यकताओं- dev.txt फ़ाइल (https://github.com/equinor/pylops/blob/master/requirements-dev.txt) में निर्भरताएँ स्थापित करना और फिर परीक्षण चलाना।

जैसा कि मैंने पहले ही उल्लेख किया है, अगर मैं इस पर टिप्पणी करता हूं और 1.18.5 पर बल देता है, तो सब कुछ चलता है, ऐसा लगता है कि यह तोड़ने के लिए नया 1.19 है

Azure पर चलने वाली छवि का विंडोज़ संस्करण प्रमुख और मामूली संस्करण क्या है? अर्थात, systeminfo लिए OS Version systeminfo प्रिंट क्या करता है?

मैं यहाँ Azure पाइपलाइनों में उपयोग किए गए Azure VMs का विवरण पा सकता हूं: https://docs.microsoft.com/en-us/azure/devops/pipelines/agents/hosted?view=azure-devops&tabs_yaml और लिंक स्थापित सॉफ़्टवेयर https://github.com/actions/virtual-en एन्वायरमेंट

मुझे यकीन नहीं है कि अज़ूर पाइपलाइन पर systeminfo कैसे चलाएं, कोई सुझाव?

यह कमांड लाइन से चलता है और आउटपुट को टर्मिनल तक डंप करता है, इसलिए आप इसे कमांड के रूप में अपने रन में जोड़ सकते हैं।

आप ऐसा पीआर में कर सकते हैं जो सीआई पर चलता है यह देखने के लिए कि वह क्या कहता है। मैं पूछ रहा हूं कि 19041 में विंडोज और पाइप न्यूपी के निर्माण के मुद्दे थे।

उत्तर दूसरी कड़ी में था:

OS संस्करण: 10.0.17763 बिल्ड 1282

इसलिए मेरा विचार कोई फल नहीं है।

आप कहते हैं कि आप जानते हैं कि विंडोज के लिए नवीनतम पाइप पहियों के साथ कुछ समस्याएं हैं, क्या यह संभवत: उसी से जुड़ा है?

यह वास्तव में (संभवतः) 19041 में पेश किया गया एक विंडोज बग है। लेकिन आप बहुत पुराने संस्करण पर हैं इसलिए यह मुद्दा नहीं है।

यह Conda NumPy को प्रभावित नहीं करता है, केवल NumPy को पाइप करें क्योंकि यह Windows और OpenBlas के साथ कुछ समस्या लगती है।

मैं देखता हूं :) मुझे एक ईमेल मिला है कि 1.9.1 जारी किया गया है। मैं Azure पाइपलाइन को फिर से बनाने की कोशिश करने जा रहा हूं जो अब नवीनतम संस्करण को स्थापित करेगी और देखेगी कि क्या काम करती है, आपको बताएगी

1.19.1 https://dev.azure.com/matteoravasi/PyLops/_build/results?buildId=45&view=logs&j=50448a2f-9550-51a0.b6c4-5ec64224dd81&t=a6a6804f-7af1-5-5.15.11.15.15 के साथ अभी भी विफल है। :(

OpenBlas में एक बग।

यहाँ एक उदाहरण प्रस्तुत करना है:

import numpy as np
nr = 12000
v = np.random.randn(nr) + 1j * np.random.randn(nr)
np.vdot(v, v)
# also access violations
v @ v
# also access violations

कोई प्रतीक डिबगिंग जानकारी नहीं है:

Exception thrown at 0x0000000068DBB8F0 (libopenblas.NOIJJG62EMASZI6NYURL6JBKM4EVBGM7.gfortran-win_amd64.dll)
in python.exe: 0xC0000005: Access violation reading location 0x0000000000000000.

ध्यान दें कि बग को ट्रिगर करने के लिए सरणी को बहुत बड़ा होना चाहिए (10k पास, 12k नहीं)।

त्वरित जांच:

$env:OPENBLAS_VERBOSE=2
$env:OPENBLAS_CORETYPE=Prescott

गुजरता है लेकिन डिफ़ॉल्ट कर्नेल ( Zen ), साथ ही Haswell और Sandybridge , दोनों का उपयोग उल्लंघन है।

शायद उस सुन्न HEAD की जाँच करने के लायक, जो एक नए OpenBLAS 0.3.10 का उपयोग करता है, वह भी विफल रहता है। या शायद आप पहले से ही किया था?

@ मट्टिप नं। आप pip install git+https://github.com/numpy/numpy साथ सीधे मास्टर से ऊबड़ स्थापित करने का मतलब है? मैं इसे एक कोशिश दे सकता हूँ :)

और आपके प्रश्न पर @bashtage (क्या असफल परीक्षण सभी में सुंबा का उपयोग करते हैं? सुंबा 0.50 में खिड़कियों के कुछ संस्करणों पर एक बग है जहां यह गलत तरीके से अनुपलब्ध आंतरिक का उपयोग करता है। इससे मेरे लिए एक और परियोजना में दुर्घटनाएं हुईं, जो मुझे लगीं। ईमेल लेकिन इस थ्रेड में देखने के लिए प्रतीत नहीं हो सकता है ... परीक्षण जो क्रैश करता है वह numpy और pyfftw संचालन का उपयोग करता है। चूंकि यह अचानक संदेश के साथ क्रैश हो जाता है इसलिए यह बताना मुश्किल है कि यह वास्तव में किस लाइन पर क्रैश होता है। लेकिन मुझे नहीं लगता है कि pyfftw बिल्कुल नंबरों का उपयोग करता है, कम से कम इसकी एक निर्भरता नहीं है

मैंने बस GitHub रिपॉजिटरी से सीधे NumPy की HEAD इंस्टॉल करने की कोशिश की और विंडोज़ पूरा होने तक चलता है - कोई अचानक दुर्घटना नहीं: https://dev.azure.com/matteoravasi/PyLops/_build/res/??II=54&view=logs&j=j= 011e1ec8-6569-5e69-4f06-baf193d1351e और टी = bf6cf4cf-6432-59cf-d384-6b3bcf32ede2

दिलचस्प रूप से कुछ पुस्तकालय जिनके पास निर्भरता के रूप में NumPy है, ठीक से स्थापित नहीं लग रहे हैं (निश्चित रूप से क्यों नहीं) और कुछ परीक्षण सभी OS के लिए विफल हैं, लेकिन कम से कम यह पहले की तरह एक पूर्ण दुर्घटना नहीं है ...

रात का उपयोग करने में कोई त्रुटि नहीं:

pip install -i https://pypi.anaconda.org/scipy-wheels-nightly/simple numpy

मैं सिर्फ GitHub रिपॉजिटरी से सीधे NumPy के HEAD को इंस्टॉल करने की कोशिश कर रहा हूं

जब तक आप इसे स्पष्ट रूप से नहीं बनाते हैं, तब तक इसमें ओपनब्लस नहीं होता है। डिफ़ॉल्ट रूप से आपको pip install git+https://github.com/numpy/numpy.git साथ एक धीमा, सामान्य BLAS मिलता है।

ऐसा लगता है कि हम 1.19.2 के लिए OpenBLAS को अपग्रेड करना चाहते हैं, इसलिए इसे चिह्नित करना चाहिए।

मुझे लगता है कि मैं Azure पर नवीनतम --pre बिल्ड (numpy-1.20.0.dev0 + a0028bc) पर एक ही मुद्दे का अनुभव कर सकता हूं:

Current thread 0x000003d0 (most recent call first):
  File "<__array_function__ internals>", line 5 in dot
  File "D:\a\1\s\mne\minimum_norm\inverse.py", line 732 in _assemble_kernel

सवाल में लाइन सिर्फ है:

K = np.dot(eigen_leads, trans)

यदि यह मदद करता है, तो मैं एरे को डिस्क पर सहेजने और उन्हें एज़्योर आर्टवर्क के माध्यम से बाहर निकालने की कोशिश कर सकता हूं।

जो दिखता है। आप उसी प्री का उपयोग कर रहे हैं जो मैंने सही तरीके से काम किया था।

आप जोड़ना चाह सकते हैं

$env:OPENBLAS_VERBOSE=2

या

set OPENBLAS_VERBOSE=2

आपके टेम्पलेट को जानने के लिए कि किस कर्नेल का उपयोग किया जा रहा है।

यदि यह मदद करता है, तो मैं एरे को डिस्क पर सहेजने और उन्हें एज़्योर आर्टवर्क के माध्यम से बाहर निकालने की कोशिश कर सकता हूं।

यह शायद dtypes और आयामों को जानने के लिए पर्याप्त होगा।

ठीक है, सिर्फ एक खराबी के एक रन पर पुन: पेश किया गया, जिसमें केवल खसरा + खुरपी + माटप्लोटलिब + पाइस्टेस्ट (और डिप्स) है जो मैट्रिस को गुणा किया जाता है और फिर कलाकृतियों को अपलोड करता है, यहां कलाकृतियों का टैब है:

https://dev.azure.com/mne-tools/mne-python/_build/results?buildId=8330&view=artifacts&type=publishedArtifacts

अंतिम .npz का असफल (27 एमबी) होना चाहिए। स्थानीय रूप से लिनक्स पर यह ठीक है:

>>> import numpy as np
>>> data = np.load('1595525222.9485037.npz')
>>> np.dot(data['a'], data['b']).shape
(23784, 305)
>>> data['a'].shape, data['a'].dtype, data['b'].shape, data['b'].dtype
((23784, 305), dtype('>f4'), (305, 305), dtype('float64'))
>>> data['a'].flags, data['b'].flags
(  C_CONTIGUOUS : False
  F_CONTIGUOUS : True
  OWNDATA : False
  WRITEABLE : True
  ALIGNED : True
  WRITEBACKIFCOPY : False
  UPDATEIFCOPY : False
,   C_CONTIGUOUS : True
  F_CONTIGUOUS : False
  OWNDATA : True
  WRITEABLE : True
  ALIGNED : True
  WRITEBACKIFCOPY : False
  UPDATEIFCOPY : False
)

OPENBLAS_VERBOSE काम करने पर काम करना लेकिन ऐसा लगता है कि हर बार मैं pytest -s का उपयोग करता हूं, यह वास्तव में पास होने वाले आउटपुट को पकड़ने के लिए नहीं। यह अभी भी हो सकता है, हालांकि, हम देखेंगे ...

मज़ेदार, मैं इसे अब ऊपर दिए गए प्रतिनिधि के साथ भी देखता हूं।

अगर मैं OPENBLAS_CORETYPE प्रेस्कॉट या नेहेलम को सेट करता हूं तो मुझे यह नहीं दिखता। मैं इसे ज़ेन, सैंडीब्रिज और हसवेल के साथ देखता हूं।

मैं Windows पर आपके npz से डेटा का उपयोग करके स्थानीय रूप से पुन: पेश नहीं कर सकता।

मैं Windows पर आपके npz से डेटा का उपयोग करके स्थानीय रूप से पुन: पेश नहीं कर सकता।

Azure पर FWIW मैं इसे सेव-लोड-राउंड-ट्रिप्ड डेटा के साथ पुन: उत्पन्न कर सकता हूं, क्योंकि यह अब यहां निष्पादित कोड में दूसरी-टू-लास्ट लाइन पर विफल हो जाता है:

    import mne, os.path as op, time
    fname = op.join(op.dirname(mne.__file__), '..', 'bad', f'{time.time()}.npz')
    np.savez_compressed(fname, a=eigen_leads, b=trans)
    print(eigen_leads.flags)
    print(trans.flags)
    data = np.load(fname)
    np.dot(data['a'], data['b'])  # <-- fails here
    K = np.dot(eigen_leads, trans)   # <-- used to fail here before I added the above lines

तो np.savez / np.load कदमों के कारण Azure अंत में कम से कम कुछ भी नहीं खोया है।

मैं OPENBLAS_CORETYPE: 'nehalem' साथ एक रन की कोशिश कर रहा हूं, यह देखने के लिए कि क्या मदद करता है, हालांकि।

तो शायद यहाँ वास्तव में दो अलग-अलग कीड़े हैं?

इसके अलावा, OPENBLAS_VERBOSE: 2 स्थापित करने से कोई प्रभाव नहीं पड़ता है, निश्चित रूप से क्यों नहीं

वर्बोज़ सेट करने के बाद एक कमांड जोड़ें

अजगर-सी "आयात सुन्न"

Pytest शायद यह खा रहा है मुझे लगता है।

थू, जुलाई 23, 2020, 19:04 एरिक लार्सन नोटिफिकेशन @github.com ने लिखा:

इसके अलावा, OPENBLAS_VERBOSE: 2 सेट करने से कोई प्रभाव नहीं लगता है, नहीं
अवश्य क्यों

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का उत्तर सीधे दें, इसे GitHub पर देखें
https://github.com/numpy/numpy/issues/16913#issuecomment-6631586060 , या
सदस्यता समाप्त
https://github.com/notifications/unsubscribe-auth/ABKTSRNS5QRT6CC3ZQ6DQYDR5B3TTANCNFSM4PCRVE6A
।

यह आदेश स्थानीय रूप से भी मुझे कोई क्रिया आउटपुट नहीं देता है:

OPENBLAS_VERBOSE=2 python -c "import numpy as np, glob; data = np.load(glob.glob('bad/*.npz')[0]); a, b = data['a'], data['b']; print(np.dot(a, b).shape)"

लेकिन शायद मेरा सिस्टम OpenBLAS बहुत पुराना है। मैं इसे विफल करने के बाद इसे चलाने के लिए Azure को एक कमिट करूंगा।

Azure पर OPENBLAS_VERBOSE की तरह लगता है "कोर: हैसवेल"। मुझे नहीं पता कि यह सही है या नहीं, हालांकि।

मैंने https://github.com/xianyi/OpenBLAS/issues/2732 में त्रुटि की सूचना दी और उन्होंने सुझाव दिया कि यह मास्टर में तय किया जा सकता है, https://github.com/xianyi/OpenBLAS/issues/2728 देखें । हालांकि यह परीक्षण करने का सबसे अच्छा तरीका कोई विचार नहीं है।

@mattip क्या हम जानते हैं कि यह MacPython / openblas-libs # 35 द्वारा बंद किया गया है? क्या हमें अगले साप्ताहिक निकलने तक इंतजार करने की आवश्यकता नहीं है?

@charris मुझे लगता है कि यह मुद्दा अभी भी खुला है, और एक बैकपोर्ट की आवश्यकता होगी।

क्या कोई रिप्रोड्यूसर के साथ कोई व्यक्ति ओपन ओपनबीएएस बायनेरिज़ प्राप्त करने के लिए

git add remote mattip https://github.com/mattip/numpy.git
git fetch mattip  issue-16913
git checkout issue-16913
python tools/openblas_support.py
# copy the output openblas.a to a local directory and make sure numpy uses it
mkdir openblas
copy /path/to/openblas.a openblas
set OPENBLAS=openblas
python -c "from tools import openblas_support; openblas_support.make_init('numpy')"
pip install --no-build-isolation --no-use-pep517 .

यदि आप पहले से ही नहीं है, तो आपको choco install -y mingw साथ gfortran स्थापित करना चाहिए

... यह खिड़कियों के लिए है

यदि आप पहले से ही नहीं है, तो आपको चोको इंस्टॉल -y मिंगव के साथ गुरफर्न स्थापित करना चाहिए

क्या यह केवल 32-बिट के लिए आवश्यक है?

https://github.com/numpy/numpy/blob/master/azure-steps-windows.yml#L29 -L31

मैं कोशिश करूँगा कि आप एक choco install -y mingw साथ क्या सुझाव देते हैं जब मैं यह पता लगाऊं कि /path/to/openblas.a है - संभवतः tools/openblas_support.py (?) चलाने से।

हाँ, python tools/openblas_support.py प्रिंट निकलता है जहाँ openblas.a

आपको गुरचरण की आवश्यकता है। Azure मशीनों में 64-बिट mingw लगा है। यदि आप 32-बिट हैं, तो मंगलाचरण थोड़ा अलग है। आपको -m32 (लेकिन केवल 32-बिट के लिए) सेट करने की आवश्यकता है।

मैंने सिर्फ शब्दशः कॉपी की अधिकांश https://github.com/numpy/numpy/blob/master/azure-steps-windows.yml का उपयोग करके master का उपयोग कर रहा था। NumPy की होने में सफल रहा यह segfault है ।

मैंने तब mattip/issue-16913 स्विच किया और यह URL डाउनलोड की त्रुटि के साथ

https://anaconda.org/multibuild-wheels-staging/openblas-libs/v0.3.9-452-g349b722d/download/openblas-v0.3.9-452-g349b722d-win_amd64-gcc_7_1_0.zip

... ऐसा लगता है कि 64-बिट विंडोज के लिए 32-बिट OpenBLAS नहीं है:

https://anaconda.org/multibuild-wheels-staging/openblas-libs/files

मुझे लगता है कि मैं 64-बिट OpenBLAS का उपयोग करने के लिए इसे टैग जोड़ सकता हूं?

2 हैं और 1 अभी भी बनाया जा रहा है। घंटे के भीतर होना चाहिए।

इस बीच मैंने जोड़ा:

        NPY_USE_BLAS_ILP64: '1'
        OPENBLAS_SUFFIX: '64_'

और यह ठीक बनाया। अब नहीं segfaults ! मैं यह सुनिश्चित करने के लिए इसे कुछ बार फिर से चलाऊंगा। 32-बिट OpenBLAS Win64 लिबास होने पर मुझे पिंग करने के लिए स्वतंत्र महसूस करें और मैं इन पंक्तियों को आसानी से हटा सकता हूं और पुन: परीक्षण कर सकता हूं।

कोई भी बदलाव जिसे आप पूरा परीक्षण सूट चलाते हैं :-)

python -c "import numpy; numpy.test('full')"

ऐसा लगता है कि 32 बिट्स ऊपर हैं, और यह भी काम करता है ।

मैं अब एक पूर्ण परीक्षण सूट दे दूँगा

इसमें f2py शामिल होने के लिए एक अजीब परीक्षण संग्रह त्रुटि मिलती है:

https://dev.azure.com/mne-tools/mne-python/_build/results?buildId=8372&view=logs&j=a846d25a-e32c-5640-1b53-e815fab94407&t=14a4ea33-5055-5caa-db84-413553e060fb

आपको इस अन्य मुद्दे पर कोई और समय बर्बाद नहीं करना चाहिए - मैं अगले सप्ताह तक प्रतीक्षा कर सकता हूं और साप्ताहिक परीक्षण कर सकता हूं जिसमें उम्मीद है कि BLAS होगा।

ध्यान दें कि हम किसी भी समय मास्टर ब्रांच को कमिट करके पुश कर सकते हैं।

ठीक है, मैं इंतजार करूंगा जब तक कि मैं एक नया देखने के लिए नहीं देखता कि क्या विंडोज 10 2004 के साथ मुद्दा ठीक है।

@bashtage इस पर कोई अपडेट?

OpenBLAS अभी भी विंडोज की सबसे हालिया रिलीज पर टूट गया है। कम से कम मेरे लिए टूल चेन से मिश्रित होने के कारण अच्छी डिबगिंग जानकारी प्राप्त करना बहुत ही गैर-मानक है।