Numpy: BUG : np.min이 항상 NaN을 전파하지는 않습니다.

외부 참조 scipy / scipy # 8282, scipy / scipy # 8279

여기서 또 다른 요점은 AVX 등을 사용하기 때문에 다른 (정말 numpy가 아닌) 행동을 유발하는 다른 코드 경로 일 수 있다는 것입니다. 사용 여부에 관계없이 약간 무작위로 나타날 수 있기 때문입니다 ....

그것이 그것과 많은 관련이 있다면 Dunno, 그러나 나는 그것을 기대하지만, numpy는 일반적으로 부동 소수점 오류에 대해 너무 많이하지 않는다고 생각합니다. 무슨 일이 있었는지 확인하는 것 빼고.

Chuck이 말했듯이,이 부동 소수점 오류 플래그는 불행히도 시스템마다 다릅니다.

좋아, 오류가 일부 설치에서만 발생하고 다른 설치에서만 발생하는 이유를 이해했습니다.
scipy가 NaN을 포함 할 수있는 배열에서 np.min을 사용하는 이유는 그것이 존재하는지 확인하는 빠른 방법이기 때문입니다. numpy 문서는 이것이 허용된다는 것을 제안합니다.

NaN 값이 전파됩니다. 즉, 하나 이상의 항목이 NaN이면 해당 최소값도 NaN이됩니다.

이것이 np.min에 대해 허용되는 사용 사례 중 하나라는 점을 감안할 때 사용 관점에서 경고 / 오류가 전혀 발생하지 않을 것이라고 예상합니다.

(예를 들어 np.isnan(arr).any() 와 같이이를 달성하는 다른 방법이 분명히 있지만 위의 추론은 변경되지 않습니다.)

내가 생각하기에 그럴듯한 변화는 전혀 아니다.

경고가 전혀 없으면 +1

안녕하세요,

비슷한 불일치를 발견했습니다.

>>> import numpy
>>> import warnings
>>> warnings.simplefilter("always", category=RuntimeWarning)
>>> numpy.min(numpy.full((7,), numpy.nan, dtype=numpy.float64))
nan
>>> numpy.min(numpy.full((8,), numpy.nan, dtype=numpy.float64))
/home/user/env/lib/python3.6/site-packages/numpy/core/_methods.py:29: RuntimeWarning: invalid value encountered in reduce
  return umr_minimum(a, axis, None, out, keepdims)
nan

8 개 이상의 셰이프가 RuntimeWarning을 발생시키는 이유는 무엇입니까?

@NotSqrt @seberg 입력 배열의 크기가 8에 도달 할 때 min이 NaN을 전혀 전파하지 않는 유사한 동작을보고 있습니다.

> cat np-min-wat.py
import numpy as np

print "numpy version:", np.__version__
print ""

def show_min(input):
    print ""
    arr = np.array(input)
    print arr.dtype, arr
    print "this should be nan as per docs:", arr.min()
    arr = np.array

input = [31., 487., np.nan, 10000., 10000., 19., 101., 22., 1000., 300., 10.]
for x in xrange(3, len(input) + 1):
    show_min(input[0:x])

OSX 및 Windows에서는 다소 이상한 동작을 보여 주지만 Linux는 아닙니다. python 2.7.13 및 numpy 1.14.2를 사용하는 fresh virtualenv :

numpy version: 1.14.2

/Users/kip/ac/Environments/test/lib/python2.7/site-packages/numpy/core/_methods.py:29: RuntimeWarning: invalid value encountered in reduce
  return umr_minimum(a, axis, None, out, keepdims)

float64 [ 31. 487.  nan]
this should be nan as per docs: nan

float64 [   31.   487.    nan 10000.]
this should be nan as per docs: nan

float64 [   31.   487.    nan 10000. 10000.]
this should be nan as per docs: nan

float64 [   31.   487.    nan 10000. 10000.    19.]
this should be nan as per docs: nan

float64 [   31.   487.    nan 10000. 10000.    19.   101.]
this should be nan as per docs: nan

float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.]
this should be nan as per docs: 19.0

float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.  1000.]
this should be nan as per docs: 19.0

float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.  1000.   300.]
this should be nan as per docs: nan

float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.  1000.   300.
    10.]
this should be nan as per docs: nan

두 개의 "this should be nan as per docs : 19.0 "줄이 있습니까?

또한 경고는 numpy 1.13.1에 나타나지 않습니다 (이 동작을 처음 관찰 한 곳입니다.)

@kippr NumPy를 어디서 얻었습니까?

8 개의 요소 경계가 AVX512와 관련이있을 수 있고 문제는 컴파일러와 CPU의 조합이라고 생각합니다. 어떤 CPU / 컴파일러에 문제가 있습니까?

@juliantaylor 생각?

정렬도 효과가있을 수 있습니다.

안녕하세요 @charris

질문에 답하기 위해 내 게시물을 읽어 주셔서 감사합니다.

CPU :
❃ sysctl -n machdep.cpu.brand_string Intel (R) Core (TM) i7-6700K CPU @ 4.00GHz

NumPy 는 Mac의 새로운 virtualenv (homebrew를 통해 설치된 Python 2.7.13)에서 pip를 통해 설치되었으므로 모든 기본 컴파일러 플래그 등을 사용한다고 생각합니까?

방금 가상 환경을 다시 만들고 pip 설치를 다시 실행했습니다. 여기에 나와 관련이있는 것처럼 보이지만 설치시 오는 메시지가 많이 있습니다 .. (전체 로그 첨부.) 다른 정보가 있으면 알려주세요. 빌드 디렉토리 또는 기타 다른 작업을 수행하거나 시도 할 컴파일 플래그가 있는지 여부를 확인할 수 있습니다.

[..]
 Downloading numpy-1.14.2.zip (4.9MB):                                                                                                                                                                                                                                            
  Downloading from URL https://pypi.python.org/packages/0b/66/86185402ee2d55865c675c06a5cfef742e39f4635a4ce1b1aefd20711c13/numpy-1.14.2.zip#md5=080f01a19707cf467393e426382c7619 (from https://pypi.python.org/simple/numpy/)                                                      
...Downloading numpy-1.14.2.zip (4.9MB): 4.9MB downloaded              
[..]
    building library "npymath" sources
    get_default_fcompiler: matching types: '['gnu95', 'nag', 'absoft', 'ibm', 'intel', 'gnu', 'g95', 'pg']'
    customize Gnu95FCompiler
    Found executable /usr/local/bin/gfortran
    customize Gnu95FCompiler
    customize Gnu95FCompiler using config
    C compiler: clang -fno-strict-aliasing -fno-common -dynamic -I/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.12.sdk/System/Library/Frameworks/Tk.framework/Versions/8.5/Headers -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes

    compile options: '-Inumpy/core/src/private -Inumpy/core/src -Inumpy/core -Inumpy/core/src/npymath -Inumpy/core/src/multiarray -Inumpy/core/src/umath -Inumpy/core/src/npysort -I/usr/local/Cellar/python/2.7.13/Frameworks/Python.framework/Versions/2.7/include/python2.7 -c'
    clang: _configtest.c
    clang _configtest.o -o _configtest
    success!
    removing: _configtest.c _configtest.o _configtest

감사
크리스

build.log

추신은 아마 놀라운 일이 아니지만 max와 동일한 동작이 나타납니다.

numpy version: 1.14.2


arr.dtype, arr: float64 [ 31. 487.  nan]
/Users/kip/ac/Environments/meh/lib/python2.7/site-packages/numpy/core/_methods.py:29: RuntimeWarning: invalid value encountered in reduce
  return umr_minimum(a, axis, None, out, keepdims)
arr.min(): nan
/Users/kip/ac/Environments/meh/lib/python2.7/site-packages/numpy/core/_methods.py:26: RuntimeWarning: invalid value encountered in reduce
  return umr_maximum(a, axis, None, out, keepdims)
arr.max(): nan
np.amin(arr): nan
np.nanmin(arr): 31.0

arr.dtype, arr: float64 [   31.   487.    nan 10000.]
arr.min(): nan
arr.max(): nan
np.amin(arr): nan
np.nanmin(arr): 31.0

arr.dtype, arr: float64 [   31.   487.    nan 10000. 10000.]
arr.min(): nan
arr.max(): nan
np.amin(arr): nan
np.nanmin(arr): 31.0

arr.dtype, arr: float64 [   31.   487.    nan 10000. 10000.    19.]
arr.min(): nan
arr.max(): nan
np.amin(arr): nan
np.nanmin(arr): 19.0

arr.dtype, arr: float64 [   31.   487.    nan 10000. 10000.    19.   101.]
arr.min(): nan
arr.max(): nan
np.amin(arr): nan
np.nanmin(arr): 19.0

arr.dtype, arr: float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.]
arr.min(): 19.0
arr.max(): 10000.0
np.amin(arr): 19.0
np.nanmin(arr): 19.0

arr.dtype, arr: float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.  1000.]
arr.min(): 19.0
arr.max(): 10000.0
np.amin(arr): 19.0
np.nanmin(arr): 19.0

arr.dtype, arr: float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.  1000.   300.]
arr.min(): nan
arr.max(): nan
np.amin(arr): nan
np.nanmin(arr): 19.0

arr.dtype, arr: float64 [   31.   487.    nan 10000. 10000.    19.   101.    22.  1000.   300.
    10.]
arr.min(): nan
arr.max(): nan
np.amin(arr): nan
np.nanmin(arr): 10.0

AVX2 및 sse4.2 기능이있는 CPU에서 동일한 numpy 버전 (아치에서)을 사용하고 있으며 Linux에서는 볼 수 없습니다. 아마도 그것은 mac / clang과 관련이 있습니까?

편집 / 수정 : (나는 다른 정렬을 유발하면서 약간 시도했지만 경고 부분을 확인하지 않았지만 내가 보지 못하는 잘못된 결과 부분)

올바르게 설정되지 않은 CPU 플래그가 있고 아마도 컴파일러와 관련이 있다고 생각합니다.

이 문제를 추적 할 수있는 테스트를해야합니다. @kippr 무엇을

np.min(np.diagflat([np.nan]*10), axis=0)

설치에 수행합니까?

안녕하세요 @charris

괜찮아 보입니다.

In [1]: import numpy as np

In [2]: np.min(np.diagflat([np.nan]*10), axis=0)
Out[2]: array([ nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan])

그러나 몇 가지 콤보를 더 시도하고 다음을 찾았습니다 (마지막 값, 8 개 값 및 축 = 1 참조).

In [3]: np.min(np.diagflat([np.nan]*10), axis=1)
Out[3]: array([ nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan])

In [4]: np.min(np.diagflat([np.nan]*8), axis=0)
Out[4]: array([ nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan])

In [5]: np.min(np.diagflat([np.nan]*8), axis=1)
Out[5]: array([ nan,  nan,   0.,   0.,  nan,   0.,  nan,  nan])

그게 원인을 이해하는 데 도움이되는지 확실하지 않습니다.

@seberg-맞습니다. Mac과 Windows에서도이 동작을 관찰했지만 Linux는 괜찮

감사
크리스

@kippr 이것은 기본 작업에 영향을 미치고 문제가 NumPy에서 비롯된 것 같지 않기 때문에 정말 방해가되는 버그입니다. MAC 및 Windows에서 벡터화를 끄고 도움이되는지 확인할 수 있습니다. 이 문제는 Python 2.7에서만 보입니까?

1.14에서이 동작을 변경 한 NumPy의 어떤 것도 볼 수 없습니다. 아마도 OpenBLAS가 컨트롤을 조작하고있을 것입니다 ...

트윗 담아 가기

안녕하세요 @charris

Mac의 python 3에서도이 동작이 보입니다.

Python 3.6.0 (default, Jan 23 2017, 20:09:28)
[GCC 4.2.1 Compatible Apple LLVM 8.0.0 (clang-800.0.42.1)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np

>>> np.min(np.diagflat([np.nan]*8), axis=1)
array([nan, nan,  0.,  0., nan,  0., nan, nan])
>>> np.__version__
'1.14.2'

Nb 저는 Mac의 python 2.7에서 NumPy 버전 1.13에서이 동작을 처음 발견 했으므로 1.14에 도입 된 회귀가 아닙니다.

Python 2.7.10 (default, Feb  7 2017, 00:08:15)
[GCC 4.2.1 Compatible Apple LLVM 8.0.0 (clang-800.0.34)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np
>>> np.min(np.diagflat([np.nan]*8), axis=1)
array([ nan,  nan,   0.,   0.,  nan,   0.,  nan,  nan])
>>> np.__version__
'1.13.1'

그리고 그것을 cygwin / windows에서 재현했습니다.

$ python
Python 2.7.13 (default, Mar 13 2017, 20:56:15)
[GCC 5.4.0] on cygwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np
>>> np.min(np.diagflat([np.nan]*8), axis=1)
array([ nan,  nan,   0.,   0.,  nan,   0.,  nan,  nan])
>>> np.__version__
'1.13.1'

그러나 Linux에서는이 문제를 보지 마십시오.

Python 2.7.6 (default, Oct 26 2016, 20:32:47) 
[GCC 4.8.4] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np
>>> np.min(np.diagflat([np.nan]*8), axis=1)
array([ nan,  nan,  nan,  nan,  nan,  nan,  nan,  nan])
>>> np.__version__
'1.13.1'

@charris openblas 및 컴파일러 플래그가 numpy / scipy의 동작에 영향을 미칠 수있는 numpy의 성능 최적화에 대한 여정에서 보았습니다 (내 경험에 따라). 우리가 취할 수있는 첫 번째 단계는이를 C (openblas 라이브러리 사용) 테스트에 적용하여 동작을 분리하고 복제 할 수 있는지 확인하는 것입니다. 또한 이것이 MAC 및 Windows에 있는지 다시 확인하기 위해 맞습니까? 나는 리눅스에서이 동작을 볼 수 없다 (vx 패치는 1.15 용으로 들어가므로 이것에 영향을주지 않아야한다). @kippr Mac / windows에서 numpy를 어떻게 만들었습니까? 문안 인사

안녕하세요 @VictorRodriguez

이것은 Mac의 경우 새로운 virtualenv 인 두 플랫폼에서 pip 설치를 통해 이루어졌습니다. python 2.7 설치에 대한 컴파일 출력을 포함하여 pip에 대한 로그를 붙여 넣은 위를 참조하십시오. (Python 3 pip 설치는 바퀴처럼 보입니다.)

건배 크리스

안녕 여러분
도움을 드릴 수있는 추가 정보가 있습니까?

감사

Mac (및 기타 플랫폼)에서는 컴파일러 (Mac에서는 기본적으로 gcc가 아닌 clang / llvm 임)가 문제가있는 방식으로 SSE2 명령을 재정렬하기 때문에 버그가 발생합니다. 버그 :

np.min(np.diagflat([np.nan]*8), axis=1)

실행중인 코드가 다음에서 생성 된 sse2_minimum_DOUBLE이기 때문에 발생합니다.
https://github.com/numpy/numpy/blob/d7d5cb3feccc1fc6cf57159e8b9fe0a733968706/numpy/core/src/umath/simd.inc.src#L1020

특히 1041 행의 함수 내부에서이 코드 (SSE2 양식을 자동 확장했습니다)를 살펴 보겠습니다.

        }
        c1 = _mm_min_pd(c1, c2);

        if (npy_get_floatstatus() & NPY_FPE_INVALID) {
            *op = NPY_NAN;
        }
        else {
            npy_double tmp = sse2_horizontal_min___m128d(c1);
            ....
         }

컴파일러는 c1 할당과 npy_get_floatstatus ()가 관련되어 있음을 이해하지 못하므로 코드를 다음과 같이 변경합니다.

        }
        if (npy_get_floatstatus() & NPY_FPE_INVALID) {
            *op = NPY_NAN;
        }
        else {
            c1 = _mm_min_pd(c1, c2);
            npy_double tmp = sse2_horizontal_min___m128d(c1);
            ....
         }

당연히 말도 안되는 일입니다. 최적화에서 이것을 수행하지 않도록 권장하는 방법이 무엇인지 모르겠습니다. (다른 플랫폼에는 이것을 위해 STDC FENV_ACCESS pragma가 있다고 생각합니까?)

이 코드의 변경 사항은 5 년이 지났기 때문에 버그의 원인은 새 버전의 clang 및 다른 최적화 때문일 수 있습니다.

감사합니다 @tzickel

몇 달 전에 고등학교 때부터 C를 작성하지 않았기 때문에이 문제를 해결하는 현명한 방법을 확실히 알아낼 수는 없지만 컴파일러가 원래 순서대로 평가하도록 몇 가지 시도를했습니다. 위의 if 문을 다음과 같이 변경합니다.

if ((sizeof(c1) != 0) || (sizeof(c1) == 0) & npy_get_floatstatus() & NPY_FPE_INVALID) {

그리고 실제로 이렇게하면 버그가 사라집니다.

(나는 또한 컴파일러가 if 문보다 먼저 _mm_min_pd를 평가하도록하기 위해 여러 가지 덜 멍청한 형식을 시도했습니다. 예를 들어 if 문 양쪽에 c1에 대한 참조를 배치하고 if / else 블록 뒤에 모두 아무 소용이 없습니다. 어쨌든 순서를 변경했지만 항상 c = _mm_min_pd 할당을 실행했거나 내 호출이 실제로 한 형식 또는 다른 형식의 noops라고 생각했습니다.)

그러나 어쨌든 내가보고있는 버그를 식별했음을 확인할 수 있습니다. 누군가가 컴파일러에게 _mm_min_pd 및 npy_get_floatstatus의 순서를 그대로 두도록 힌트 할 수있는 좋은 방법이 있기를 바랍니다.

좋습니다. Google이 제안한 또 다른 한 가지 : c1 휘발성 표시 :

https://github.com/numpy/numpy/blob/d7d5cb3feccc1fc6cf57159e8b9fe0a733968706/numpy/core/src/umath/simd.inc.src#L1029

됩니다 :

        /* load the first elements */
        @vtype@ volatile c1 = @vpre@_load_@vsuf@((@type@*)&ip[i]);
        @vtype@ c2 = @vpre@_load_@vsuf@((@type@*)&ip[i + stride]);
        i += 2 * stride;

그러나 그것이 목표를 달성하는 가장 좋은 방법인지 여부와 관련하여 어떤 의미인지 잘 모르겠습니다.

이 @tzickel 에 대한 추가 디버그에 감사드립니다. 이것은 매우 깊은 디버그 였습니다 . 또한 gcc를 사용하여 Linux 시스템에서 실행 한 경우 :

$ 파이썬
Python 3.6.5 (기본값, 2018 년 4 월 1 일, 15:40:54)
Linux의 [GCC 7.3.0]
자세한 내용을 보려면 "help", "copyright", "credits"또는 "license"를 입력하십시오.

numpy를 np로 가져 오기
np.version.version
'1.14.2'
np.min ([1., 2., 3., 4., np.nan])
난
np.min ([1., 2., 3., np.nan, 4.])
난
np.min ([1., 2., np.nan, 3., 4.])
난
np.min ([1., np.nan, 2., 3., 4.])
난
np.min ([np.nan, 1., 2., 3., 4.])
난
np.min ([np.nan, 1.])
난
np.min ([np.nan, 1., np.nan])
난
np.min ([1., np.nan])
난
np.seterr (all = 'raise')
{ 'divide': 'warn', 'over': 'warn', 'under': 'ignore', 'invalid': 'warn'}
np.min ([np.nan, 1.0])
난

경고가 전혀 표시되지 않으므로 설명한대로 문제가 clang에있을 수 있습니다. 나를 궁금하게 만드는 유일한 것은 pip install numpy으로 이것을 보는 이유입니다. 어떻게 만들어 졌습니까? 그리고 어떤 플래그가 사용 되었습니까?

또한 내 Mac에 오류가 없습니다.

https://hastebin.com/cuzinajero.swift

나는 이것이 다음과 같은 것으로 더 안전하게 만들 수 있는지 궁금합니다.

if (c1 = n_mm_min_pd(c1, c2), py_get_floatstatus() & NPY_FPE_INVALID) {

@juliantaylor 생각?

또는

return_nan = (c1 = n_mm_min_pd(c1, c2), py_get_floatstatus() & NPY_FPE_INVALID);
if (return_nan) {

쉼표 연산자는 스레드로부터 안전하지 않을 수 있지만 시퀀스 지점이어야합니다. 흠, simd 코드 에서 스레드로부터 얼마나 안전한지 궁금합니다.

@VictorRodriguez python2.7을 사용하여 Mac에서 pip install numpy를 실행하면 소스에서 빌드됩니다. python3으로 pip install을 실행하면 휠에서 설치됩니다.

pip install의 전체 출력을 캡처했습니다. https://github.com/numpy/numpy/files/1912086/build.log

위의 변경 사항을 테스트하기 위해 소스 (현재 마스터)에서 빌드했지만 조정하지 않아도 여전히 깨진 동작이 보이는지 확인했습니다. 빌드 할 때 INSTALL.rst.txt에 제안 된 명령 줄을 사용했습니다.
python setup.py build -j 4 install --prefix $HOME/.local

한마디로, 여기 누군가가 창문에서도 벌레를 보았다고합니다. 나는 그것이 Windows에서 clang으로 컴파일되지 않았다고 가정하지만 MSVC 또는 GCC를 사용하면 numpy가 플랫폼의 규칙을 준수하지 않는다는 것을 의미 할 수 있습니다. Windows에서 numpy는 fp 상태를 가져 오기 위해 _statusfp를 사용하며 MSDN 설명서에는 다음과 같이 나와 있습니다.

많은 수학 라이브러리 함수는 예측할 수없는 결과로 부동 소수점 상태 어를 수정합니다. 최적화는 _status87, _statusfp 및 관련 함수에 대한 호출과 관련된 부동 소수점 연산을 재정렬, 결합 및 제거 할 수 있습니다. / Od (비활성화 (디버그)) 컴파일러 옵션 또는 fenv_access pragma 지시문을 사용하여 부동 소수점 연산을 재정렬하는 최적화를 방지합니다.

GCC 및 MSVC (현재 clang은 아님)에는이를 제어하는 ​​pragma가 있습니다.

@tzickel 은 Windows 빌드가 cygwin과 함께 있다고 말했습니다. MSVC로 나를 위해 재현하지 않습니다.

전반적으로 @charris 의 제안을 좋아합니다. 표준 C이며 pragma가 필요하지 않으며 AFAICT는 오버 헤드를 추가하지 않습니다.

/* use the comma operator to prevent optimization changing the order of evaluation */
if (c1 = n_mm_min_pd(c1, c2), py_get_floatstatus() & NPY_FPE_INVALID) {

파이썬 2.7에 사용되는 Visual Studio 8 컴파일러에서도 지원됩니다.
두 번째, 더 간결한 제안은 너무 난독 해 보입니다.

이 버그에 취약한 코드에 다른 위치가 있습니까?

1. cygwin 빌드에 GCC가 나와 있는데, 이는 버그가 Linux처럼 작동해야 함을 의미합니다.

2. 올바르게 이해하면 쉼표 연산자는 최적화에 도움이되지 않으며 다른 수준의 코드 생성에서 작동합니다. 컴파일러는 여전히 두 표현식이 서로 관련이 없다고 생각하고 이동할 수 있습니다. 다음은 이것이 사례임을 보여주는 작은 예제입니다 (옆에있는 줄로 주석 코드를 변경해보십시오). GCC 및 CLANG (GCC 트렁크에는 현재 동일한 버그가있는 것으로 보입니다 :)) :

https://godbolt.org/g/Zoc5xr

1. fenv.h를 살펴보면 기본적으로 해당 파일에 액세스하는 코드의 모든 함수는 동일한 문제 가능성을 가지고 있습니다. 따라서 numpy / core / src / npymath / ieee754.c에서 사용되는 코드에서 호출되는 모든 것

2. 제 생각에는 clang은 현재 최적화를 통해 이러한 유형의 함수에 대한 안전한 코드를 생성 할 수 없으므로 옵션은 다음과 같습니다.
   A. gcc (최소한 공식적인 mac wheel)로 컴파일하고 clang으로 컴파일하면 경고를 생성합니다.
   B. Clang은 함수별로 optnone 속성을 지원하며, clang으로 컴파일 할 경우 모든 최적화 (느리지 만 올바른 코드)를 비활성화하기 위해 이러한 함수에 뿌릴 수 있습니다.
   https://clang.llvm.org/docs/AttributeReference.html#optnone -clang-optnone-clang-optnone

쉼표 연산자로 전환해도 전혀 도움이되지 않습니다. ; 은 (는) 이미 시퀀스 포인트입니다.

@ eric-wieser 확실합니까? ; 이 (가) 시퀀스 포인트로 나열되어 있지 않습니다. https://msdn.microsoft.com/en-us/library/azk8zbxd.aspx

어쨌든 쉼표 연산자의 인수가 평가되는 순서는 보장됩니다. 이는 ; 구분 된 문이있는 경우가 아닙니다.

@charris 안타깝게도 제안 된 변경으로 문제가 해결되지 않는 것 같습니다.

diff --git a/numpy/core/src/umath/simd.inc.src b/numpy/core/src/umath/simd.inc.src
index 2241414ac..8345e3ef7 100644
--- a/numpy/core/src/umath/simd.inc.src
+++ b/numpy/core/src/umath/simd.inc.src
@@ -1038,9 +1038,8 @@ sse2_@kind@_@TYPE@(@type@ * ip, @type@ * op, const npy_intp n)
             c1 = @vpre@_@VOP@_@vsuf@(c1, v1);
             c2 = @vpre@_@VOP@_@vsuf@(c2, v2);
         }
-        c1 = @vpre@_@VOP@_@vsuf@(c1, c2);

-        if (npy_get_floatstatus() & NPY_FPE_INVALID) {
+        if (c1 = @vpre@_@VOP@_@vsuf@(c1, c2), npy_get_floatstatus() & NPY_FPE_INVALID) {
             *op = @nan@;
         }
         else {

변수를 휘발성으로 표시하면 문제가 해결됩니다.

다른 변형을 시도하고 싶다면 알려주세요.

컴파일러는 쉼표 연산자에 관한 사양을 준수하지 않거나 적어도 우리가 사양을 이해하는 것처럼 보입니다. 현재 컴파일러 상태에 대한 가장 간단한 해결책은 부서지기 쉬운 것처럼 보이지만 volatile 추가하는 것 같습니다.

글쎄, GCC 8.1이 방금 출시되었고 무엇을 추측하십시오 ... 최적화가 적용된 GCC는 이제 clang이 여기에서 수행하는 것과 동일한 문제를 생성합니다 https://github.com/numpy/numpy/issues/10370#issuecomment -384154230 (쉼표는 그렇지 않습니다. 예상대로 거기에 도움이되지만 휘발성은합니다), distutils가 이것을 완화하는 gcc 플래그에서 활성화하는지 모르겠지만 그렇지 않다고 생각합니다.

다음은 GCC 8.1의 코드입니다 (괜찮은 7.3과 비교할 수 있습니다).
https://godbolt.org/g/AJRdRQ

asm에서 minpd 및 npy_get_floatstatus 호출을 검색하십시오.

문제가 발생하면 신호를 보내야하는 몇 가지 테스트와 함께 잠시 휘발성을 사용하겠습니다. 우리가 살펴볼 수있는 또 다른 옵션은 휘발성 또는 컴파일러 지시문을 사용할 수 있지만 관리하기 쉽도록 한 곳에 둘 수있는 별도의 함수입니다.

이것은 특정 문제보다 훨씬 더 큰 경우입니다. ieee754.c에서 함수를 호출하는 모든 numpy 코드는 감사 및 수정이 필요합니다. (아마도이 ​​이슈의 이름을 다시 바꾸거나 더 나은 방법은 새로운 이슈를 여는 것입니다).

minpd 명령어의 놀라운 동작은 https://github.com/numpy/numpy/issues/10370#issuecomment -381241813과 관련이있을 수 있습니다.

이 명령어에 대해 하나의 값만 NaN (SNaN 또는 QNaN)이면 두 번째 피연산자 (소스 피연산자) (NaN 또는 유효한 부동 소수점 값)가 결과에 기록됩니다.

참조 : http://www.felixcloutier.com/x86/MINPD.html

@mattkretz 는 그렇게 보이지 않습니다. (그것이 예상되는 동작이며이 검사가 이미 시행 된 이유입니다).

@tzickel 궁금해서 어떤 수준의 최적화에서 문제가 발생합니까? 우리는 우리 자신을 -O2 로 제한했지만 일부 플랫폼은 -O3 또는 이와 동등한 것을 사용하고 있다고 생각합니다.

이 gcc 버그와 비슷하게 생각합니다 : https://gcc.gnu.org/bugzilla/show_bug.cgi?id=6065

#pragma STDC FENV_ACCESS ON 이 올바른 해결책 인 것처럼 보이지만 사용하려면 Python 2.7을 삭제해야하는 C99가 필요합니다. 아마도 GCC --std=c90 모드는 pragma가 없기 때문에 최적화를 수행 할 수 있다고 가정합니다.

모든 질문은 여기 링크로 이동하십시오.

https://godbolt.org/g/AJRdRQ (* 공유 된 것처럼 보이므로 입력을 새 창에 복사 할 수 있습니다)

컴파일러 버전, 컴파일러 플래그 및 코드를 변경하고 결과를 즉석에서 확인하십시오.

이것은 두 최신 컴파일러에서 -O1을 사용할 때 발생합니다. #pragma는 아무것도하지 않는 것 같습니다 ....

이 버전은 매우 복잡하고 어셈블러가 너무 많으며 어셈블러를 c 코드에 연결하기가 어렵습니다. 원래 버전은 훨씬 더 간단했고 문제도 시연했습니다.

PR 참조

흠 .... 누구든지 numpy-1.14.3-cp27-cp27mu-manylinux1_x86_64.whl (pypi 아카이브에서) 컴파일 된 OS / 컴파일러가 무엇인지 말해 줄 수 있습니까? 여기에 또 다른 (관련) 문제가 숨어있을 수도 있다고 생각합니다.

@tzickel 기본 우분투 신뢰할 수있는 컴파일러가 gcc 4.8이라고 믿습니다. 최신 버전이 설치되어있는 것을 볼 수 없습니다.

@charris manylinux 컨테이너는 gcc 4.2가 설치된 Centos5를 실행합니다.

@ngoldbaum 정보 주셔서 감사합니다. 곧 Python 3.7 용 휠을 빌드해야합니다. travis.yml 빌드 매트릭스에 MB_PYTHON_VERSION=3.7 항목을 추가하는 것만 큼 쉬울까요?

manylinux 도구가 업데이트 될 때까지 기다려야한다고 생각합니다. python3.6이 IIRC가 나온 후 몇 주가 걸렸습니다. @njsmith는 아마 더 많이 알고있을 것입니다.

@ngoldbaum gcc 4.2 선택의 원동력은 무엇입니까? 원하는 경우 최신 컴파일러 버전을 사용하기가 쉽습니까?

gcc 4.2를 선택한 이유는 무엇입니까?

나는 목표가 바이너리 호환성 문제가 실제로 문제가되지 않을만큼 충분히 오래된 glibc로 컴파일을 가능하게하는 것이라고 믿습니다.

원하는 경우 최신 컴파일러 버전을 사용하기가 쉽습니까?

모르겠어요. 나는 또한 numpy가 건물 바퀴를 어떻게 관리하는지 모릅니다. 내 프로젝트에 Matthew Brett의 멀티 빌드 프로젝트를 사용하고 있으며, 내 프로젝트에 python3.7 휠을 빌드하려면 업데이트 될 때까지 기다려야합니다.

좋아, 이것이 최종 관련 문제인지 확실하지 않지만 해당 SSE 코드에서 다른 문제를 찾은 것 같습니다.

numpy 1.14.0에서는 FP 오류가있는 경우 런타임 경고를 발생시키는 일부 코드가 추가되었습니다.
https://github.com/numpy/numpy/commit/d47ca7b26172c42b01c3132d0e46e70578c8ea21

그러나 SSE 구현을 다시 살펴보면 :
https://github.com/numpy/numpy/blob/d7d5cb3feccc1fc6cf57159e8b9fe0a733968706/numpy/core/src/umath/simd.inc.src#L1020

배열의 가운데 정렬 된 부분 만 FPU를 통과하는 것을 볼 수 있습니다. 헤더와 트레일러 (메모리 정렬이 아니기 때문에 SSEable이 아님)는 수동으로 NaN을 확인하고 FPU를 통해 이동하지 않는 반면 SSE는 따라서 중간 부분 만 NaN 경고를 트리거하고 다른 부분 (입력 및 출력에서 ​​동일)은 트리거하지 않습니다. 그 확인은 ?

np.min ([1, np.nan, 1, 1, 1, 1, 1, 1])은 런타임 경고를 트리거하지 않습니다.
하지만 np.min ([1, 1, np.nan, 1, 1, 1, 1, 1]) 그렇습니다.

np.min ([1, np.nan, 1, 1, 1, 1, 1, 1])은 런타임 경고를 트리거하지 않습니다.

@tzickel 이것은 # 11029와 관련이 있습니다.

편집 : 서식

소스 문제는 # 8954로 PR # 9020으로 이어졌습니다.

예,하지만 내 요점은 # 9020이 모든 가능한 경우를 다루지 않았다는 것입니다. 그중 하나는이 SSE 코드입니다 (최적화를 위해이 메커니즘을 뒤집습니다).

# 11029에 관해서는 NaN 전파 버그 외에도 게시물에 여기 저기에서 모두 왜 경고가 표시되고 때로는 표시되지 않는지 파악하려고합니다.

또 다른 질문은 NaN이 입력에 존재하는 경우 최소 / 최대의 결과이고 이미 isNan / invalid를 확인한 경우 NaN의 첫 번째 인스턴스를 발견 할 때 빠르게 종료되지 않습니까?

@tzickel 감소 작업이 조기 종료되지 않습니다. 그들은 gufuncs로 리팩토링되면 미래에 할 수 있습니다.