Numpy: बग: np.min हमेशा NaNs का प्रचार नहीं करता है

को निर्मित 11 जन॰ 2018 · 65टिप्पणियाँ · स्रोत: numpy/numpy

यह जांच पिछले कुछ दिनों में, यानी 1.14 के जारी होने के बाद, स्काई सीआई

मेरे घर के कंप्यूटर पर (macOS, conda python 3.6.2, conda numpy):

>>> import numpy as np
>>> np.version.version
'1.14.0'
>>> np.min([1.0, 2.0, np.nan])
nan
>>> np.min([1.0, np.nan, 2.0])
nan
>>> np.min([np.nan, 1.0, 2.0])
nan
>>> np.min([np.nan, 1.0])
/Users/andrew/miniconda3/envs/dev3/lib/python3.6/site-packages/numpy/core/_methods.py:29: RuntimeWarning: invalid value encountered in reduce
  return umr_minimum(a, axis, None, out, keepdims)
nan

मेरे काम के कंप्यूटर पर (macOS, conda python 3.6.2, एक स्वच्छ वातावरण में पाइप के माध्यम से सुन्न स्थापित):

>>> import numpy as np
>>> np.version.version
'1.14.0'
>>> np.min([1., 2., 3., 4., np.nan])
nan
>>> np.min([1., 2., 3., np.nan, 4.])
nan
>>> np.min([1., 2., np.nan, 3., 4.])
nan
>>> np.min([1., np.nan, 2., 3., 4.])
nan
>>> np.min([np.nan, 1., 2., 3., 4.])
nan
>>> np.min([np.nan, 1.])
nan
>>> np.min([np.nan, 1., np.nan])
nan
>>> np.min([1., np.nan])
nan
>>> np.seterr(all='raise')
{'divide': 'warn', 'over': 'warn', 'under': 'ignore', 'invalid': 'warn'}
>>> np.min([1., np.nan])
nan
>>> np.min([np.nan, 1.])
nan
>>> np.min([np.nan, 1., 2., 3., 4.])
nan
>>> np.min([np.nan, 1., 2., 3., 4.])
nan

कोड उदाहरणों के पहले सेट के साथ पहले तीन उदाहरण एक चेतावनी में परिणाम क्यों नहीं होते हैं, केवल अंतिम?
उदाहरणों के दूसरे सेट के साथ कोई चेतावनी बिल्कुल भी उत्सर्जित नहीं होती है।

00 - Bug numpy.core

स्रोत

andyfaff

सभी 65 टिप्पणियाँ

xref scipy / scipy # 8282, scipy / डरपोक # 8279

andyfaff 11 जन॰ 2018

मुझे लगता है कि यहां एक और बिंदु यह है कि यह अलग-अलग कोड पथ हो सकते हैं जो अलग-अलग ट्रिगर करते हैं (वास्तव में मुझे ऐसा नहीं लगता है) व्यवहार, उदाहरण के लिए AVX या इस तरह का उपयोग करने के कारण, मुझे लगता है कि मैंने कभी-कभी देखा कि वेक्टर सामग्री त्रुटि सीपीयू झंडे सेट करने में विफल रही, और चूँकि अगर वे उपयोग किए जाते हैं या नहीं तो थोड़ा यादृच्छिक दिखाई दे सकते हैं ...।

डननो अगर ऐसा करने के लिए बहुत कुछ है, लेकिन मुझे उम्मीद है, सुन्नता फ्लोटिंग पॉइंट त्रुटियों के बारे में बहुत अधिक नहीं करती है, जो आमतौर पर मुझे लगता है। सिवाय जाँच के कि क्या कुछ हुआ।

seberg 12 जन॰ 2018

और जैसा कि चक ने कहा, इस फ्लोटिंग पॉइंट एरर फ्लैग का काफी हिस्सा दुर्भाग्य से विभिन्न प्रणालियों पर अलग है।

seberg 12 जन॰ 2018

ठीक है, इस बारे में समझ में आया कि त्रुटि केवल कुछ इंस्टॉल पर क्यों होती है और अन्य नहीं।
जिस कारण से scipy np.min का उपयोग एक ऐसे सरणी पर कर रहा है जिसमें संभवतः NaN शामिल है क्योंकि यह उनकी उपस्थिति के लिए जाँच का एक त्वरित तरीका है। संख्यात्मक दस्तावेज से पता चलता है कि यह स्वीकार्य है:

NaN मानों का प्रचार किया जाता है, यदि कम से कम एक आइटम NaN है, तो संबंधित न्यूनतम मान NaN भी होगा।

यह देखते हुए कि यह np.min के लिए अनुमत उपयोग के मामलों में से एक है, उपयोग के दृष्टिकोण से मैं किसी भी चेतावनी / त्रुटियों की बिल्कुल भी उम्मीद नहीं करूंगा।

(स्पष्ट रूप से इसे प्राप्त करने के अन्य तरीके हैं, उदाहरण के लिए np.isnan(arr).any() , लेकिन यह मेरे तर्क को ऊपर नहीं बदलता है)

andyfaff 12 जन॰ 2018

ऐसा बिल्कुल नहीं है कि मुझे लगता है एक प्रशंसनीय परिवर्तन है।

seberg 12 जन॰ 2018

+1 बिना किसी चेतावनी के

rgommers 13 जन॰ 2018

नमस्ते,

मैं एक समान असंगति पर ठोकर खाई:

>>> import numpy
>>> import warnings
>>> warnings.simplefilter("always", category=RuntimeWarning)
>>> numpy.min(numpy.full((7,), numpy.nan, dtype=numpy.float64))
nan
>>> numpy.min(numpy.full((8,), numpy.nan, dtype=numpy.float64))
/home/user/env/lib/python3.6/site-packages/numpy/core/_methods.py:29: RuntimeWarning: invalid value encountered in reduce
  return umr_minimum(a, axis, None, out, keepdims)
nan

8 से अधिक का एक आकार क्यों उठता है कि RuntimeWarning?

NotSqrt 30 जन॰ 2018

@NotSqrt @seberg मैं ऐसा ही व्यवहार देख रहा हूं जहां मिनट NaNs को सही ढंग से प्रचारित नहीं कर रहा है, जब इनपुट सरणी का आकार 8 हो जाता है:

> cat np-min-wat.py
import numpy as np

print "numpy version:", np.__version__
print ""

def show_min(input):
    print ""
    arr = np.array(input)
    print arr.dtype, arr
    print "this should be nan as per docs:", arr.min()
    arr = np.array

input = [31., 487., np.nan, 10000., 10000., 19., 101., 22., 1000., 300., 10.]
for x in xrange(3, len(input) + 1):
    show_min(input[0:x])

OSX और Windows पर इसके बजाय अजीब व्यवहार दिखाता है, लेकिन लिनक्स नहीं .. ताज़े वर्चुअन का उपयोग अजगर 2.7.13 और सुन्न 1.14.2:

numpy version: 1.14.2

/Users/kip/ac/Environments/test/lib/python2.7/site-packages/numpy/core/_methods.py:29: RuntimeWarning: invalid value encountered in reduce
  return umr_minimum(a, axis, None, out, keepdims)

float64 [ 31. 487.  nan]
this should be nan as per docs: nan

float64 [   31.   487.    nan 10000.]
this should be nan as per docs: nan

float64 [   31.   487.    nan 10000. 10000.]
this should be nan as per docs: nan

float64 [   31.   487.    nan 10000. 10000.    19.]
this should be nan as per docs: nan

float64 [   31.   487.    nan 10000. 10000.    19.   101.]
this should be nan as per docs: nan

float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.]
this should be nan as per docs: 19.0

float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.  1000.]
this should be nan as per docs: 19.0

float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.  1000.   300.]
this should be nan as per docs: nan

float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.  1000.   300.
    10.]
this should be nan as per docs: nan

दो "यह डॉक्स के अनुसार नान होना चाहिए: 19.0 " लाइनों को वहां देखें?

इसके अलावा नायब चेतावनी 1.13.1 पर प्रदर्शित नहीं होती है (जो कि मैंने पहली बार इस व्यवहार को देखा है।)

kippr 13 अप्रैल 2018

@kippr आपको NumPy कहाँ से मिला?

charris 14 अप्रैल 2018

मुझे लगता है कि आठ तत्व सीमा AVX512 से संबंधित हो सकती है और समस्या संकलक और सीपीयू के कुछ संयोजन है। क्या आप समस्या को देख रहे हैं?

charris 14 अप्रैल 2018

@juliantaylor विचार?

charris 14 अप्रैल 2018

संरेखण का भी प्रभाव हो सकता है।

charris 14 अप्रैल 2018

हाई @चारिस

मेरी पोस्ट पर एक नज़र डालने के लिए धन्यवाद .. आपके सवालों के जवाब देने के लिए:

CPU :
❃ sysctl -n machdep.cpu.brand_string Intel (R) Core (TM) i7-6700K CPU @ 4.00GHz

NumPy मेरे मैक पर पाइप के माध्यम से एक ताज़ी वर्चुअनव (होमबॉव के माध्यम से स्थापित 2.7.13) में स्थापित किया गया था, इसलिए मुझे लगता है कि यह सभी डिफ़ॉल्ट संकलक झंडे आदि का उपयोग करता है?

मैंने अभी-अभी वर्चुअल एनवी और रेरन पाइप इंस्टॉल को फिर से बनाया है, और यहाँ वह है जो मुझे उचित लगता है, लेकिन बहुत सारे संदेश हैं जो इंस्टॉल पर आते हैं .. (पूर्ण लॉग इन संलग्न।) कृपया मुझे बताएं कि क्या कोई अन्य जानकारी है। बिल्ड डायरेक्टरी या व्हाट्नॉट से मछली निकाल सकते हैं, या यदि कोशिश करने के लिए संकलित झंडे हैं।

[..]
 Downloading numpy-1.14.2.zip (4.9MB):                                                                                                                                                                                                                                            
  Downloading from URL https://pypi.python.org/packages/0b/66/86185402ee2d55865c675c06a5cfef742e39f4635a4ce1b1aefd20711c13/numpy-1.14.2.zip#md5=080f01a19707cf467393e426382c7619 (from https://pypi.python.org/simple/numpy/)                                                      
...Downloading numpy-1.14.2.zip (4.9MB): 4.9MB downloaded              
[..]
    building library "npymath" sources
    get_default_fcompiler: matching types: '['gnu95', 'nag', 'absoft', 'ibm', 'intel', 'gnu', 'g95', 'pg']'
    customize Gnu95FCompiler
    Found executable /usr/local/bin/gfortran
    customize Gnu95FCompiler
    customize Gnu95FCompiler using config
    C compiler: clang -fno-strict-aliasing -fno-common -dynamic -I/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.12.sdk/System/Library/Frameworks/Tk.framework/Versions/8.5/Headers -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes

    compile options: '-Inumpy/core/src/private -Inumpy/core/src -Inumpy/core -Inumpy/core/src/npymath -Inumpy/core/src/multiarray -Inumpy/core/src/umath -Inumpy/core/src/npysort -I/usr/local/Cellar/python/2.7.13/Frameworks/Python.framework/Versions/2.7/include/python2.7 -c'
    clang: _configtest.c
    clang _configtest.o -o _configtest
    success!
    removing: _configtest.c _configtest.o _configtest

धन्यवाद
क्रिस

build.log

kippr 15 अप्रैल 2018

PS शायद कोई आश्चर्य की बात नहीं है, लेकिन एक ही व्यवहार अधिकतम के साथ दिखाई देता है:

numpy version: 1.14.2


arr.dtype, arr: float64 [ 31. 487.  nan]
/Users/kip/ac/Environments/meh/lib/python2.7/site-packages/numpy/core/_methods.py:29: RuntimeWarning: invalid value encountered in reduce
  return umr_minimum(a, axis, None, out, keepdims)
arr.min(): nan
/Users/kip/ac/Environments/meh/lib/python2.7/site-packages/numpy/core/_methods.py:26: RuntimeWarning: invalid value encountered in reduce
  return umr_maximum(a, axis, None, out, keepdims)
arr.max(): nan
np.amin(arr): nan
np.nanmin(arr): 31.0

arr.dtype, arr: float64 [   31.   487.    nan 10000.]
arr.min(): nan
arr.max(): nan
np.amin(arr): nan
np.nanmin(arr): 31.0

arr.dtype, arr: float64 [   31.   487.    nan 10000. 10000.]
arr.min(): nan
arr.max(): nan
np.amin(arr): nan
np.nanmin(arr): 31.0

arr.dtype, arr: float64 [   31.   487.    nan 10000. 10000.    19.]
arr.min(): nan
arr.max(): nan
np.amin(arr): nan
np.nanmin(arr): 19.0

arr.dtype, arr: float64 [   31.   487.    nan 10000. 10000.    19.   101.]
arr.min(): nan
arr.max(): nan
np.amin(arr): nan
np.nanmin(arr): 19.0

arr.dtype, arr: float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.]
arr.min(): 19.0
arr.max(): 10000.0
np.amin(arr): 19.0
np.nanmin(arr): 19.0

arr.dtype, arr: float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.  1000.]
arr.min(): 19.0
arr.max(): 10000.0
np.amin(arr): 19.0
np.nanmin(arr): 19.0

arr.dtype, arr: float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.  1000.   300.]
arr.min(): nan
arr.max(): nan
np.amin(arr): nan
np.nanmin(arr): 19.0

arr.dtype, arr: float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.  1000.   300.
    10.]
arr.min(): nan
arr.max(): nan
np.amin(arr): nan
np.nanmin(arr): 10.0

kippr 15 अप्रैल 2018

मैं एक सीपीयू के साथ एक ही संख्यात्मक संस्करण (आर्च पर) का उपयोग कर रहा हूं जिसमें AVX2 और sse4.2 क्षमताएं हैं और इसे लिनक्स पर नहीं देख रहा हूं। शायद यह मैक / क्लैंग के साथ कुछ करना है?

EDIT / संशोधन: (मैंने विभिन्न संरेखणों को भड़काने के साथ लगभग कोशिश की थी, चेतावनी भाग की जांच नहीं की थी, लेकिन गलत परिणाम वाला भाग जो मैं नहीं देखता हूं)

seberg 15 अप्रैल 2018

मैं अनुमान लगा रहा हूं कि एक सीपीयू झंडा है जो सही तरीके से सेट नहीं हो रहा है, शायद कंपाइलर संबंधित है।

charris 15 अप्रैल 2018

हमारे पास एक परीक्षण होना चाहिए जो इस समस्या को चालू करता है, अगर केवल इसे ट्रैक करने के लिए। @kippr क्या करता है

np.min(np.diagflat([np.nan]*10), axis=0)

अपने स्थापना पर क्या?

charris 15 अप्रैल 2018

हाई @चारिस

यह ठीक लगता है:

In [1]: import numpy as np

In [2]: np.min(np.diagflat([np.nan]*10), axis=0)
Out[2]: array([ nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan])

लेकिन मैंने कुछ और कॉम्बो आज़माए और निम्नलिखित पाया (अंतिम एक, 8 मान और अक्ष = 1 देखें)

In [3]: np.min(np.diagflat([np.nan]*10), axis=1)
Out[3]: array([ nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan])

In [4]: np.min(np.diagflat([np.nan]*8), axis=0)
Out[4]: array([ nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan])

In [5]: np.min(np.diagflat([np.nan]*8), axis=1)
Out[5]: array([ nan,  nan,   0.,   0.,  nan,   0.,  nan,  nan])

काफी रहस्यमय .. यकीन नहीं है कि अगर यह कारण समझने में मदद करता है।

@बर्ग - हाँ यह सही है, मैंने अपने

धन्यवाद
क्रिस

kippr 17 अप्रैल 2018

@kippr यह वास्तव में परेशान करने वाला बग है, क्योंकि यह एक बुनियादी ऑपरेशन को प्रभावित करता है और समस्या शायद NumPy के साथ उत्पन्न नहीं होती है। हम मैक और विंडोज पर वैश्वीकरण को बंद करने की कोशिश कर सकते हैं और देख सकते हैं कि क्या मदद करता है। क्या आप केवल पायथन 2.7 पर इस समस्या को देखते हैं?

charris 17 अप्रैल 2018

मैं NumPy में कुछ भी नहीं देख सकता जिसने इस व्यवहार को 1.14 के लिए बदल दिया हो। शायद OpenBLAS नियंत्रणों के साथ फ़िडिंग कर रहा है ...

charris 17 अप्रैल 2018

@juliantaylor @VictorRodriguez विचार?

charris 17 अप्रैल 2018

हाई @चारिस

मैं अपने मैक पर अजगर 3 में भी इस व्यवहार को देखता हूं:

Python 3.6.0 (default, Jan 23 2017, 20:09:28)
[GCC 4.2.1 Compatible Apple LLVM 8.0.0 (clang-800.0.42.1)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np

>>> np.min(np.diagflat([np.nan]*8), axis=1)
array([nan, nan,  0.,  0., nan,  0., nan, nan])
>>> np.__version__
'1.14.2'

Nb मैंने पहली बार अपने मैक पर पायथन 2.7 के तहत NumPy संस्करण 1.13 में इस व्यवहार को देखा, इसलिए यह 1.14 में पेश किया गया प्रतिगमन नहीं था:

Python 2.7.10 (default, Feb  7 2017, 00:08:15)
[GCC 4.2.1 Compatible Apple LLVM 8.0.0 (clang-800.0.34)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np
>>> np.min(np.diagflat([np.nan]*8), axis=1)
array([ nan,  nan,   0.,   0.,  nan,   0.,  nan,  nan])
>>> np.__version__
'1.13.1'

और इसे साइबरविन / विंडो में पुन: प्रस्तुत किया:

$ python
Python 2.7.13 (default, Mar 13 2017, 20:56:15)
[GCC 5.4.0] on cygwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np
>>> np.min(np.diagflat([np.nan]*8), axis=1)
array([ nan,  nan,   0.,   0.,  nan,   0.,  nan,  nan])
>>> np.__version__
'1.13.1'

लेकिन इस समस्या को लिनक्स में नहीं देखें:

Python 2.7.6 (default, Oct 26 2016, 20:32:47) 
[GCC 4.8.4] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np
>>> np.min(np.diagflat([np.nan]*8), axis=1)
array([ nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan])
>>> np.__version__
'1.13.1'

kippr 17 अप्रैल 2018

@charris मैंने @kippr आपने मैक / विंडोज़ में अपने अंकों का निर्माण कैसे किया? सादर

VictorRodriguez 17 अप्रैल 2018

हाय @VictorRodriguez

यह दोनों प्लेटफार्मों पर पाइप स्थापित करने के माध्यम से था, मैक मामले में एक नया वर्चस्व। ऊपर देखें जहां मैंने पाईप के लिए लॉग को चिपकाया था जिसमें अजगर 2.7 स्थापित करने के लिए संकलन आउटपुट शामिल था। (अजगर 3 पाइप स्थापित एक पहिया लगता है।)

चीयर्स क्रिस

kippr 17 अप्रैल 2018

हैलो यारो
अधिक जानकारी के लिए मैं मदद कर सकता हूं?

धन्यवाद

kippr 23 अप्रैल 2018

मैक पर (और शायद अन्य प्लेटफार्मों के रूप में) बग हो रहा है क्योंकि संकलक (मैक पर यह क्लैंग / llvm डिफ़ॉल्ट रूप से नहीं होगा) एक समस्याग्रस्त तरीके से SSE2 कमांड को पुनः व्यवस्थित कर रहा है। बग में:

np.min(np.diagflat([np.nan]*8), axis=1)

हो रहा है क्योंकि जो कोड चलाया जा रहा है वह sse2_minimum_DOUBLE से उत्पन्न है:
https://github.com/numpy/numpy/blob/d7d5cb3feccc1fc6cf57159e8b9fe0a733968706/numpy/core/src/umath/simd.inc.src#L1020

विशेष रूप से इस कोड को देखें (मैंने ऑटो को SSE2 फॉर्म का विस्तार किया है) 1041 की पंक्ति में फ़ंक्शन के अंदर:

        }
        c1 = _mm_min_pd(c1, c2);

        if (npy_get_floatstatus() & NPY_FPE_INVALID) {
            *op = NPY_NAN;
        }
        else {
            npy_double tmp = sse2_horizontal_min___m128d(c1);
            ....
         }

संकलक यह नहीं समझता है कि c1 असाइनमेंट और npy_get_floatstatus () संबंधित हैं, और इस प्रकार कोड को इसमें बदल दिया जाता है:

        }
        if (npy_get_floatstatus() & NPY_FPE_INVALID) {
            *op = NPY_NAN;
        }
        else {
            c1 = _mm_min_pd(c1, c2);
            npy_double tmp = sse2_horizontal_min___m128d(c1);
            ....
         }

जो निश्चित रूप से गैर-समझदार है ... मुझे नहीं पता कि इसे अनुकूलन के तहत ऐसा करने के लिए अनुशंसित तरीका क्या है। (मुझे लगता है कि अन्य प्लेटफार्मों में इसके लिए STDC FENV_ACCESS प्रैग्मा है?)

हो सकता है कि इस कोड में बदलाव 5 साल पुराना हो, लेकिन बग का कारण क्लैंग के नए संस्करण और विभिन्न अनुकूलन हैं?

tzickel 25 अप्रैल 2018

धन्यवाद @tzickel

मैंने एक हाई स्कूल की कक्षा में कई चंद्रमाओं से पहले सी नहीं लिखा है, इसलिए मैं निश्चित रूप से इसे हल करने के लिए स्मार्ट तरीके का पता लगाने नहीं जा रहा हूं, लेकिन मैंने कंपाइलर को मूल क्रम में मूल्यांकन करने के लिए मजबूर करने के लिए कुछ चीजों की कोशिश की उपरोक्त के बयान को बदलने पर:

if ((sizeof(c1) != 0) || (sizeof(c1) == 0) & npy_get_floatstatus() & NPY_FPE_INVALID) {

और वास्तव में, एक बार जब मैं ऐसा करता हूं, तो बग गायब हो जाता है।

(यदि मैंने कथन के आगे _mm_min_pd का मूल्यांकन करने के लिए संकलक प्राप्त करने की कोशिश करने के लिए अन्य कम गूंगा रूपों का एक गुच्छा भी लिया, उदाहरण के लिए, यदि कथन के दोनों ओर c1 और संदर्भ में if / else ब्लॉक के सभी संदर्भों को डालकर, सभी कोई लाभ नहीं। मुझे संदेह है कि इसने उन्हें या तो वैसे भी फिर से चालू कर दिया, लेकिन हमेशा c = _mm_min_pd असाइनमेंट चलाया, या लगा कि मेरे कॉल वास्तव में एक फॉर्म या किसी अन्य के नॉप थे ..)

लेकिन किसी भी मामले में मैं पुष्टि कर सकता हूं कि आपने उस बग की पहचान कर ली है जो मैं देख रहा हूं, आशा करता है कि किसी के पास कंपाइलर को _mm_min_pd और npy_get_floatstatus का क्रम छोड़ने का संकेत देने का एक अच्छा तरीका है।

kippr 25 अप्रैल 2018

ठीक है, एक और चीज जो Google ने सुझाव दिया है कि यह भी काम किया है: c1 अस्थिर को चिह्नित करना:

https://github.com/numpy/numpy/blob/d7d5cb3feccc1fc6cf57159e8b9fe0a733968706/numpy/core/src/umath/simd.inc.src#L1029

हो जाता है:

        /* load the first elements */
        @vtype@ volatile c1 = @vpre@_load_@vsuf@((@type@*)&ip[i]);
        @vtype@ c2 = @vpre@_load_@vsuf@((@type@*)&ip[i + stride]);
        i += 2 * stride;

लेकिन मुझे यकीन नहीं है कि इस लक्ष्य को पूरा करने का सबसे अच्छा तरीका क्या है।

kippr 25 अप्रैल 2018

👍1

इस @tzickel पर अतिरिक्त डिबग के लिए बहुत बहुत धन्यवाद, यह बहुत गहरा डिबग था, @kippr मेरा एक सवाल है, आप उल्लेख करते हैं कि एक मैक पर एक ताजा पाइप स्थापित है, इसलिए खरोंच से निर्माण करना सही नहीं है? इसके अलावा अगर मैं gcc के साथ अपने लिनक्स सिस्टम पर चलता हूं:

$ अजगर
पायथन 3.6.5 (डिफ़ॉल्ट, अप्रैल 1 2018, 15:40:54)
[जीसीसी 7.3.0] लिनक्स पर
अधिक जानकारी के लिए "सहायता", "कॉपीराइट", "क्रेडिट" या "लाइसेंस" टाइप करें।

आयात एनपीपी के रूप में सुन्न
np.version.version
'1.14.2'
np.min ([1, 2., 3., 4., np.nan])
नेन
np.min ([1, 2., 3., np.nan, 4.])
नेन
np.min ([1, 2., np.nan, 3., 4.])
नेन
np.min ([1।, np.nan, 2., 3., 4.]]
नेन
np.min ([np.nan, 1., 2., 3., 4.])
नेन
np.min ([np.nan, 1.])
नेन
np.min ([np.nan, 1., np.nan])
नेन
np.min ([1, np.nan])
नेन
np.seterr (सभी = 'बढ़ाने')
{'विभाजित': 'चेतावनी', 'ओवर': 'चेतावनी', 'अंडर': 'अनदेखा', 'अमान्य': 'चेतावनी'}
np.min ([np.nan, 1.0])
नेन

और बिना किसी चेतावनी के देखें, इसलिए जैसा कि वर्णित है कि समस्या क्लैंग के साथ हो सकती है। केवल एक चीज जो मुझे आश्चर्यचकित करती है कि आप इसे क्यों स्थापित कर रहे हैं पाइप के साथ सुन्न। इसका निर्माण कैसे हुआ? और किस झंडे का इस्तेमाल किया गया?

मेरे मैक के साथ भी कोई त्रुटि नहीं:

https://hastebin.com/cuzinajero.swift

VictorRodriguez 25 अप्रैल 2018

मुझे आश्चर्य है कि अगर इसे कुछ इस तरह से सुरक्षित बनाया जा सकता है

if (c1 = n_mm_min_pd(c1, c2), py_get_floatstatus() & NPY_FPE_INVALID) {

charris 25 अप्रैल 2018

@juliantaylor विचार?

charris 25 अप्रैल 2018

या और भी

return_nan = (c1 = n_mm_min_pd(c1, c2), py_get_floatstatus() & NPY_FPE_INVALID);
if (return_nan) {

charris 25 अप्रैल 2018

अल्पविराम ऑपरेटर एक अनुक्रम बिंदु माना जाता है, हालांकि यह थ्रेड सुरक्षित नहीं हो सकता है। हम्म, मुझे आश्चर्य है कि SIMD कोड में कितना धागा सुरक्षित है।

charris 25 अप्रैल 2018

@VictorRodriguez अगर मैं अपने मैक पर python2.7 के साथ पाइप इंस्टॉल करता हूँ, तो यह स्रोत से बनता है। अगर मैं python3 के साथ पाइप स्थापित करता हूं, तो यह एक पहिया से स्थापित होता है।

मैंने पाइप इंस्टाल का पूरा आउटपुट कैप्चर किया: https://github.com/numpy/numpy/files/1912086/build.log

उपरोक्त परिवर्तनों का परीक्षण करने के लिए, मैंने स्रोत (वर्तमान मास्टर) से निर्माण किया, लेकिन जाँच की कि बिना ट्विक के मैं अभी भी टूटे हुए व्यवहार को देख रहा था। जब मैं INSTALL.rst.txt में सुझाई गई कमांड लाइन का उपयोग कर रहा हूं:
python setup.py build -j 4 install --prefix $HOME/.local

kippr 25 अप्रैल 2018

सतर्कता का एक शब्द, यहां कोई कहता है कि उसने बग को खिड़कियों में भी देखा है। मुझे लगता है कि इसे विंडोज़ पर क्लैंग के साथ संकलित नहीं किया गया था, लेकिन MSVC या GCC के साथ, इसका मतलब यह हो सकता है कि numpy प्लेटफ़ॉर्म के नियमों का सम्मान नहीं कर रहा है। विंडोज़ में, fpy राज्य प्राप्त करने के लिए numpy _statusfp का उपयोग करता है, MSDN प्रलेखन राज्य:

कई गणित पुस्तकालय कार्य अप्रत्याशित परिणाम के साथ फ्लोटिंग-पॉइंट स्टेटस शब्द को संशोधित करते हैं। अनुकूलन _status87, _statusfp, और संबंधित कार्यों के लिए कॉल के आसपास फ़्लोटिंग पॉइंट ऑपरेशन को फिर से चालू, संयोजित और समाप्त कर सकता है। फ़्लोटिंग-पॉइंट ऑपरेशंस को फिर से ऑप्टिमाइज़ करने वाले ऑप्टिमाइज़ेशन को रोकने के लिए / Od (डिसएबल (डिबग)) कंपाइलर ऑप्शन या fenv_access प्रैग्मा डायरेक्टिव का इस्तेमाल करें।

इसे नियंत्रित करने के लिए GCC और MSVC (लेकिन अभी के लिए नहीं क्लैग) के पास एक विवेक है।

tzickel 25 अप्रैल 2018

@tzickel को यकीन है कि विंडोज़ ने कहा कि यह

कुल मिलाकर मुझे @charris का सुझाव पसंद है, यह मानक C है, इसके लिए किसी भी प्रकार की कोई आवश्यकता नहीं है, और AFAICT किसी भी ओवरहेड को नहीं जोड़ता है

/* use the comma operator to prevent optimization changing the order of evaluation */
if (c1 = n_mm_min_pd(c1, c2), py_get_floatstatus() & NPY_FPE_INVALID) {

जो कि अजगर 2.7 के लिए उपयोग किए जाने वाले दृश्य स्टूडियो 8 कंपाइलर द्वारा भी समर्थित है
दूसरा, अधिक कॉम्पैक्ट सुझाव भी बहुत अस्पष्ट लगता है

क्या कोड में अन्य स्थान हैं जो इस बग के लिए अतिसंवेदनशील हैं?

mattip 28 अप्रैल 2018

साइबरविन बिल्ड का कहना है कि जीसीसी का मतलब है कि बग को लिनक्स नं की तरह काम करना चाहिए?
यदि मैं सही ढंग से समझता हूं, तो अल्पविराम ऑपरेटर अनुकूलन के साथ मदद नहीं करता है, यह कोड पीढ़ी के दूसरे स्तर में काम करता है। कंपाइलर अभी भी यह सोचने के लिए स्वतंत्र है कि दोनों अभिव्यक्ति असंबंधित हैं और उन्हें चारों ओर ले जाने के लिए। यहां यह दिखाने के लिए एक छोटा सा उदाहरण है यह मामला है (इसके बगल की पंक्ति के साथ टिप्पणी कोड को बदलने का प्रयास करें), बाहर के फ़ंक्शन के लिए कॉल के संबंध में टकसाल की जांच करें (सुनिश्चित करें कि -O3 संकलक झंडे में दिया गया है), और बीच में स्विच करें GCC और CLANG (लगता है कि GCC ट्रंक में अभी के लिए एक ही बग है :)):

https://godbolt.org/g/Zoc5xr

यदि आप fenv.h को देखते हैं, तो मूल रूप से कोड में प्रत्येक फ़ंक्शन जो उस फ़ाइल तक पहुंचता है, मुद्दों के लिए समान क्षमता है। तो जो कुछ उस से कोड में बुलाया जा रहा है उसका उपयोग numpy / core / src / npymath / / यानी ie7575.c में किया जा रहा है
मेरी राय में, क्लैंग वर्तमान में अनुकूलन के साथ इस प्रकार के कार्यों के लिए सुरक्षित कोड का उत्पादन नहीं कर सकता है, इसलिए विकल्प हैं:
A. जीसीसी के साथ संकलित करें (आधिकारिक मैक पहियों को कम से कम), और एक चेतावनी का उत्पादन करें यदि क्लैंग के साथ संकलित किया गया हो।
बी क्लैंग प्रति फ़ंक्शन ऑप्टोन विशेषता का समर्थन करता है, जिसे क्लैग के साथ संकलित करने पर सभी अनुकूलन (धीमे लेकिन सही कोड) को निष्क्रिय करने के लिए ऐसे कार्यों पर छिड़का जा सकता है:
https://clang.llvm.org/docs/AttributeReference.html#optnone -clang-optnone-clang-optnone

tzickel 29 अप्रैल 2018

👍1

अल्पविराम ऑपरेटर पर स्विच करने में मदद नहीं करेगा - ; पहले से ही एक अनुक्रम बिंदु है।

eric-wieser 29 अप्रैल 2018

@ eric-wieser क्या आप सुनिश्चित हैं? मुझे अनुक्रम बिंदु के रूप में सूचीबद्ध ; दिखाई नहीं देते हैं। https://msdn.microsoft.com/en-us/library/azk8zbxd.aspx

charris 29 अप्रैल 2018

किसी भी स्थिति में, जिस क्रम में अल्पविराम ऑपरेटर के तर्कों का मूल्यांकन किया जाता है, उसकी गारंटी दी जाती है, जो कि ; द्वारा अलग किए गए बयानों के साथ नहीं है;

charris 29 अप्रैल 2018

@charris दुर्भाग्य से सुझाए गए परिवर्तन से समस्या हल नहीं होती है:

diff --git a/numpy/core/src/umath/simd.inc.src b/numpy/core/src/umath/simd.inc.src
index 2241414ac..8345e3ef7 100644
--- a/numpy/core/src/umath/simd.inc.src
+++ b/numpy/core/src/umath/simd.inc.src
@@ -1038,9 +1038,8 @@ sse2_@kind@_@TYPE@(@type@ * ip, @type@ * op, const npy_intp n)
             c1 = @vpre@_@VOP@_@vsuf@(c1, v1);
             c2 = @vpre@_@VOP@_@vsuf@(c2, v2);
         }
-        c1 = @vpre@_@VOP@_@vsuf@(c1, c2);

-        if (npy_get_floatstatus() & NPY_FPE_INVALID) {
+        if (c1 = @vpre@_@VOP@_@vsuf@(c1, c2), npy_get_floatstatus() & NPY_FPE_INVALID) {
             *op = @nan@;
         }
         else {

एनबी कि परिवर्तनशील के रूप में चर को चिह्नित करता है समस्या को ठीक करता है।

यदि आप अन्य प्रकारों को आज़माना चाहते हैं तो मुझे बताएं।

kippr 30 अप्रैल 2018

ऐसा लगता है कि संकलक अल्पविराम ऑपरेटरों के बारे में कल्पना का पालन नहीं करते हैं, या कम से कम जैसा कि हम कल्पना को समझते हैं। संकलक की वर्तमान स्थिति के लिए सबसे सरल समाधान volatile जोड़ रहा है, हालांकि यह भंगुर लगता है।

mattip 30 अप्रैल 2018

खैर, जीसीसी 8.1 को अभी जारी किया गया था और अनुमान लगाया गया था कि ... अनुकूलन के साथ जीसीसी अब वही मुद्दा पैदा करता है जो यहां क्लेंग करता है https://github.com/numpy/numpy/issues/10370#issuecomment -384154230 (और अल्पविराम नहीं करता है उम्मीद के मुताबिक मदद करें, लेकिन अस्थिर करता है), हालांकि मुझे नहीं पता कि डिस्टिल्ट्स जीसी झंडे में सक्षम होते हैं जो इसे कम करते हैं, मुझे लगता है कि नहीं।

यहाँ GCC 8.1 पर कोड है (आप 7.3 की तुलना कर सकते हैं जहाँ यह ठीक है):
https://godbolt.org/g/AJRdRQ

वहाँ minpd और asm में npy_get_floatstatus कॉल के लिए खोजें।

tzickel 2 मई 2018

आइए कुछ परीक्षणों के साथ एक साथ आने वाले समय के लिए अस्थिरता के साथ चलें, जो यदि उत्पन्न होती है तो किसी समस्या का संकेत देना चाहिए। एक अन्य विकल्प जिसे हम देख सकते हैं वह एक अलग कार्य है जहाँ हम अस्थिर या संकलक निर्देशों का उपयोग कर सकते हैं, लेकिन इसे प्रबंधित करने में आसान बनाने के लिए एक जगह पर है।

charris 2 मई 2018

यह इस विशिष्ट मुद्दे की तुलना में बहुत बड़ा मामला है। Ieee754.c में फ़ंक्शन को कॉल करने वाले सभी सुन्न कोड को ऑडिट और फिक्स्ड करना होगा। (शायद इस मुद्दे को फिर से नाम दें, या बेहतर अभी तक, एक नया मुद्दा खोलें)।

tzickel 2 मई 2018

टकसाल निर्देश का आश्चर्यजनक व्यवहार https://github.com/numpy/numpy/issues/10370#issuecomment -381241813 के लिए प्रासंगिक हो सकता है:

यदि इस निर्देश के लिए केवल एक मान एक NaN (SNaN या QNaN) है, तो दूसरा ऑपरेंड (स्रोत ऑपरेंड), या तो NaN या एक वैध फ्लोटिंग-पॉइंट वैल्यू, परिणाम को लिखा जाता है।

देखें: http://www.felixcloutier.com/x86/MINPD.html

mattkretz 2 मई 2018

@mattkretz ऐसा नहीं लगता है। (यह व्यवहार अपेक्षित है और यह जाँच पहले से ही क्यों है)।

tzickel 2 मई 2018

@tzickel उत्सुकता से बाहर, समस्या के अनुकूलन के किस स्तर पर समस्या आती है? हम अपने आप को -O2 तक सीमित करते थे, लेकिन मुझे लगता है कि कुछ प्लेटफ़ॉर्म -O3 या समकक्ष का उपयोग कर रहे हैं।

charris 2 मई 2018

इस gcc बग के समान, मुझे लगता है: https://gcc.gnu.org/bugzilla/show_bug.cgi?id=6065

eric-wieser 3 मई 2018

ऐसा लगता है कि यहां #pragma STDC FENV_ACCESS ON स्थापित करना सही समाधान है, लेकिन इसके लिए C99 की आवश्यकता होती है, जिसका उपयोग करने के लिए हमें अजगर को 2.7 छोड़ने की आवश्यकता है। शायद GCC --std=c90 मोड यह मान रहा है कि यह प्रहसन अनुपस्थित होने के कारण अनुकूलन कर सकता है

eric-wieser 3 मई 2018

अपने सभी सवालों के लिए, बस यहां लिंक पर जाएं:

https://godbolt.org/g/AJRdRQ (* यह साझा लगता है, इसलिए इनपुट को एक नई विंडो में कॉपी करें)

और संकलक संस्करण, संकलक झंडे और कोड को बदलने का प्रयास करें, और मक्खी पर परिणाम देखकर ...

यह तब होता है जब दोनों लेटेस्ट कंपाइलर पर भी -O1 का उपयोग किया जाता है। # प्रपमा को कुछ भी नहीं लगता ...।

tzickel 3 मई 2018

वह संस्करण बहुत जटिल है, बहुत अधिक कोडांतरक है और कोड कोड को कोडांतरक से संबंधित करना कठिन है। मूल संस्करण बहुत सरल था और समस्या को ध्वस्त भी किया।

पीआर भी देखें

mattip 3 मई 2018

हम्म .... क्या कोई मुझे बता सकता है कि किस ओएस / संकलक को सुन्न किया गया था। मुझे लगता है कि यहां (छिपकर) एक और (संबंधित) मुद्दा भी छिपा हो सकता है।

tzickel 3 मई 2018

@tzickel मेरा मानना है कि डिफ़ॉल्ट ubuntu भरोसेमंद संकलक gcc 4.8 है, मैं नहीं देख सकता कि कुछ और हाल ही में स्थापित किया गया था।

charris 3 मई 2018

@charris माइलिनक्स कंटेनर जीसीसी 4.2 स्थापित के साथ सेंटोस 5 चलाता है।

ngoldbaum 3 मई 2018

@ngoldbaum जानकारी के लिए धन्यवाद। हमें जल्द ही पायथन 3.7 के लिए पहियों का निर्माण करने की आवश्यकता होगी। क्या यह ट्रैविस.माइल बिल्ड मैट्रिक्स में MB_PYTHON_VERSION=3.7 प्रविष्टि जोड़ने जितना आसान होगा?

charris 3 मई 2018

मुझे लगता है कि आपको प्रतीक्षा करना होगा जब तक कि माइलिनक्स टूलींग अपडेट न हो जाए। Python3.6 के IIRC से बाहर आने के कुछ हफ़्तों बाद, यह हुआ। @njsmith शायद अधिक जानता है।

ngoldbaum 3 मई 2018

@ngoldbaum ने gcc 4.2 का विकल्प क्या दिया? क्या हम बाद में संकलक संस्करण का उपयोग करना आसान है अगर हम इतनी इच्छा रखते हैं?

charris 3 मई 2018

क्या है जीसीसी 4.2 का विकल्प?

मेरा मानना है कि लक्ष्य एक ऐसी चमक के साथ संकलित करने में सक्षम था जो काफी पुराना है कि बाइनरी संगतता के साथ समस्या व्यवहार में समस्या नहीं होगी

क्या हम बाद में संकलक संस्करण का उपयोग करना आसान है अगर हम इतनी इच्छा रखते हैं?

मुझे नहीं पता। मुझे यह भी पता नहीं है कि पहियों के निर्माण के लिए सुन्न कैसे काम करता है। मैं अपनी परियोजनाओं के लिए मैथ्यू ब्रेट की बहुउद्देशीय परियोजना का उपयोग कर रहा हूं और मुझे अपनी परियोजनाओं के लिए अजगर 3.7 पहियों के निर्माण के लिए अद्यतन होने तक इंतजार करने की आवश्यकता होगी।

ngoldbaum 3 मई 2018

ठीक है, यकीन नहीं है कि यह अंतिम संबंधित मुद्दा है, लेकिन मुझे लगता है कि मुझे उस SSE कोड में एक और मुद्दा मिल गया है:

अगर कोई FP गलतियाँ हो तो रनटाइम चेतावनियों को फेंकने के लिए 1.14.0 अंकों में कुछ कोड जोड़ा गया था:
https://github.com/numpy/numpy/commit/d47ca7b26172c42b01c3132d0e46e70578c8ea21

लेकिन अगर हम एसएसई कार्यान्वयन को फिर से देखें:
https://github.com/numpy/numpy/blob/d7d5cb3feccc1fc6cf57159e8b9fe0a733968706/numpy/core/src/umath/simd.inc.src#L1020

हम यह देख सकते हैं कि यह FPU केवल सरणी के मध्य संरेखित भाग, हेडर और ट्रेलर (जो SSEable कारण वे स्मृति संरेखित नहीं हैं) के माध्यम से गुजरती हैं, मैन्युअल रूप से NaN के लिए जाँच की जाती हैं और SSU के दौरान नहीं जाती हैं। भागों करते हैं, इस प्रकार केवल मध्य भाग एक NaN चेतावनी को गति देगा, जबकि अन्य (जबकि इनपुट में समान और ouput नहीं होगा। क्या वह ठीक है ?

np.min ([1, np.nan, 1, 1, 1, 1, 1, 1]) एक रनवे चेतावनी को ट्रिगर नहीं करेगा
लेकिन np.min ([1, 1, np.nan, 1, 1, 1, 1, 1]) करता है।

tzickel 3 मई 2018

np.min ([1, np.nan, 1, 1, 1, 1, 1, 1]) एक रनवे चेतावनी को ट्रिगर नहीं करेगा

@tzickel यह #

संपादित करें: स्वरूपण

mattip 4 मई 2018

ऐसा लगता है कि स्रोत का मुद्दा # 8954 था, जिसके कारण पीआर # 9020 हो गया

mattip 4 मई 2018

हां, लेकिन मेरा कहना यह है कि # 9020 सभी संभावित मामलों को कवर नहीं कर रहा था। उनमें से एक यह एसएसई कोड है (जो कुछ अनुकूलन के लिए इस तंत्र को प्रभावित करता है)।

# 11029 के लिए, मैं यह भी जानने की कोशिश कर रहा हूँ कि यहाँ और वहाँ दोनों पोस्टों में, NaN प्रचार बग के अलावा, कभी-कभी चेतावनी दिखाई देती है और कभी-कभी वे नहीं करते हैं

tzickel 4 मई 2018

एक अन्य प्रश्न, यदि NaN इनपुट में मौजूद है, तो दोनों मिनट / अधिकतम का परिणाम है, और हम पहले से ही isnan / अमान्य की जाँच कर रहे हैं, तो क्या यह NaN के पहले उदाहरण की खोज करने पर तेजी से बाहर नहीं निकलना चाहिए?

tzickel 4 मई 2018

@tzickel में से कोई भी कमी ऑपरेशन जल्दी बाहर नहीं निकले। वे भविष्य में हो सकता है अगर वे gufuncs के रूप में refactored मिलता है।

ngoldbaum 4 मई 2018

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Numpy: बग: np.min हमेशा NaNs का प्रचार नहीं करता है

सभी 65 टिप्पणियाँ

संबंधित मुद्दों