Numpy: 때때로 supress_warnings가 속성 중 하나를 놓칩니다.

흠, 약간 이상합니다. skimage 테스트에서 (이상한) 스레딩이 진행되고 있습니까? 경고 처리는 파이썬에서 스레드로부터 안전하지 않기 때문에 경고 테스트를 상당히 망칠 것입니다. 어떻게 다른 일이 발생할 수 있는지 확인하는 데 약간의 어려움이 있지만 테스트가 실행되는 정확한 코드를 살펴 봐야 할 것입니다.

assert_warns 정도가 없기 때문에 나는 추측한다. 살아있는 하나의 suppress_warnings 컨텍스트 만 있어야합니다 (가장 바깥 쪽 범위이고 numpy의 테스트 실행기에 의해 생성되며 skimage가이를 사용한다고 가정). 이제 내가 헷갈리는 이유는 _orig_show 정의되지 않는 것은 컨텍스트가 이미 종료 된 경우에만 가능해야한다는 것입니다. 이때 warnings.showwarning 은 (는) 이미 이전 값으로 재설정되어야합니다.

물론 스레드가 있으면 전체 경고 내용이 분해됩니다. 예를 들면 :

thread1 : 경고 컨텍스트 입력-> 일반 경고 인쇄 대체
thread2 : 경고 컨텍스트 입력-> thread1 경고 핸들러 대체
thread1 : 경고 컨텍스트 종료-> 일반 경고 인쇄로 재설정
thread2 : 경고 컨텍스트 존재-> thread1의 경고 핸들러로 재설정-> kaboom.

Btw. 나는 당신이 "skimage에서 __warning_registry__ 을 정리하려고 시도하는 것을 보았습니다. 억제 경고는 비슷한 문제를 해결하려고 시도하는 컨텍스트 관리자입니다 (그리고 다른 항목을 추가 함), 흥미 롭거나 그렇지 않을 수 있습니다.

데비안 용 skimage를 만들려고 할 때 문제가 생겼는데 여기서는 전혀 모르겠습니다. 그러나 scikit-image / scikit-image # 2412를 열어서 참여했습니다.

완전성을 위해 : 때로는 skimage를 사용하지 않고도 스택 추적을 얻을 수 있습니다.

ERROR: test suite for <module 'skimage.transform.tests' from '/build/skimage-0.12.3/debian/tmp/usr/lib/python3/dist-packages/skimage/transform/tests/__init__.py'>
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/usr/lib/python3/dist-packages/nose/suite.py", line 229, in run
    self.tearDown()
  File "/usr/lib/python3/dist-packages/nose/suite.py", line 352, in tearDown
    self.teardownContext(ancestor)
  File "/usr/lib/python3/dist-packages/nose/suite.py", line 368, in teardownContext
    try_run(context, names)
  File "/usr/lib/python3/dist-packages/nose/util.py", line 453, in try_run
    inspect.getargspec(func)
  File "/usr/lib/python3.5/inspect.py", line 1040, in getargspec
    stacklevel=2)
  File "/usr/lib/python3/dist-packages/numpy/testing/utils.py", line 2199, in _showwarning
    self._orig_show(message, category, filename, lineno,
AttributeError: 'suppress_warnings' object has no attribute '_orig_show'

어떤 버전의 python, numpy 등으로 컴파일하고 있습니까?

Numpy 1.12 ~ RC ~ 베타 1, Python 2.7 및 3.5
(죄송합니다. 내 실수 : 아직 RC를 확인하지 않았습니다)

흠, 혼란 스럽습니다 .... 왜 스레딩 문제가 있는지 알 수는 없지만 경쟁 조건이나 catch_warning 같은 항목 (포함)의 잘못된 중첩없이 발생하는이 오류는 suppress_warning ).

나는 또한 그것이 항상 발생하는 것은 아니기 때문에 경쟁 조건이라고 생각합니다. 정확히 동일한 환경에서 빌드를 두 번 실행하면 문제가 다른 위치에서 발생하거나 전혀 나타나지 않습니다.

@olebole 테스트 슈트를 정확히 얼마나 실행하고 있습니까?

테스트 스위트 에서 복사 :

#!/bin/sh
set -efu

pys="$(pyversions -rv 2>/dev/null)"
pkgbuild=${pkgbuild:-no}

srcdir=$PWD

for py in $pys; do
    echo "=== python$py ==="
    if [ "$pkgbuild" = "yes" ]; then
        export PYTHONPATH="$srcdir/debian/tmp/usr/lib/python$py/dist-packages"
        cd "$srcdir/build/"
    else
        cd "$ADTTMP"
    fi

    xvfb-run -a python$py /usr/bin/nosetests -s -v --exclude test_tools.py skimage 2>&1
done

테스트가 X11 환경에서 실행되어야하기 때문에 xvfb-run 가 있습니다.

Hmmmpf, 코가 모듈을 테스트하기 시작할 때 후드 아래에서 정확히 무슨 일이 일어나는지 아는 사람이 있습니까? 코가 나를 헷갈 리게하고, 왜 경고를 엉망으로 만드는지 알 수 없습니다 .... 아니면 결국 경고를 억제하는 버그이지만 실제로 볼 수는 없습니다.

내 nosetests 맨 페이지에서 나는

       --processes=NUM
              Spread  test run among this many processes. Set a number equal to the number of processors or cores in your machine for best results. Pass a negative
              number to have the number of processes automatically set to the number of cores. Passing 0 means to disable parallel testing.  Default  is  0  unless
              NOSE_PROCESSES is set. [NOSE_PROCESSES]

기본적으로 병렬 테스트가없는 것 같습니다. 적어도 경쟁 조건이 없어야합니다.

nose가 가비지 컬렉션을 기반으로 teardownContext 를 실행할 가능성이 있습니까?!

아니, 아마 바보 같아. 억제 경고 컨텍스트는 속성을 삭제하기 전에 warnings.showwarning 재설정하므로 gc 시작조차도 다른 작업 없이는 아무것도 생성 할 수 없습니다. 다른 것이 무엇인지 전혀 몰랐습니다. :).

글쎄, 나는 skimage-0.9.3에서 33 개의 오류를 볼 수 있는데, 대부분은 PIL이나 인덱싱에서 발생하지만 억제에는 없습니다. 다른 모든 오류는 어떻게 처리합니까?

@charris 이 문제는 0.9.3이 아닌 0.12.3에 대해보고되었습니다. :)

좋아, 마침내 업스트림에서 풀다운되어 이제 39 개의 오류와 수많은 지원 중단이 발생했습니다. 대부분의 경고는 테스트가 Wayland가 아닌 QT에서 실행되고 있다고 생각하기 때문에 여기에서 구성 문제 일 수 있습니다. 또한 다음과 같이 테스트를 실행해야합니다.

python -c'import skimage; skimage.test()'

nosetests 는 전혀 작동하지 않습니다.

지원 중단은 정상입니다. 지원 중단이 예상 되더라도 이전 API를 계속 확인합니다. 오류에 대해서는 정상이 아닙니다. (scikit-image) 버그 추적기에보고 해 주시겠습니까?

@sciunto 문서는 로컬 테스트 지침을 사용할 수 있습니다.

좋아요, 같은 곳에서 봅니다. 테스트는

def test_vectorized_integrate():
    r0 = np.array([12, 0, 0, 10, 0, 10, 30])
    c0 = np.array([10, 0, 10, 0, 0, 10, 31])
    r1 = np.array([23, 19, 19, 19, 0, 10, 49])
    c1 = np.array([19, 19, 19, 19, 0, 10, 49])

    expected = np.array([x[12:24, 10:20].sum(),
                         x[:20, :20].sum(),
                         x[:20, 10:20].sum(),
                         x[10:20, :20].sum(),
                         x[0,0],
                         x[10, 10],
                         x[30:, 31:].sum()])
    start_pts = [(r0[i], c0[i]) for i in range(len(r0))]
    end_pts = [(r1[i], c1[i]) for i in range(len(r0))]
    assert_equal(expected, integrate(s, r0, c0, r1, c1))  # test deprecated
    assert_equal(expected, integrate(s, start_pts, end_pts))

# test deprecated 주석은 아마도 테스트에 약간의 수정이 필요하지만 suppress_warnings 는 더 우아하게 실패해야한다고 나에게 제안합니다.

좀 더 많은 정보를

$ python skimage/transform/tests/test_integral.py

NumPy run_module_suite 것은 실패하지 않는 것처럼 보이지만 경고를 발행합니다.

======================================================================
ERROR: skimage.transform.tests.test_integral.test_vectorized_integrate
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/usr/lib/python2.7/site-packages/nose/case.py", line 197, in runTest
    self.test(*self.arg)
  File "/home/charris/Workspace/scikit-image/skimage/transform/tests/test_integral.py", line 46, in test_vectorized_integrate
    assert_equal(expected, integrate(s, r0, c0, r1, c1))  # test deprecated
  File "/home/charris/Workspace/scikit-image/skimage/transform/integral.py", line 86, in integrate
    warn("The syntax 'integrate(ii, r0, c0, r1, c1)' is "
  File "/home/charris/Workspace/scikit-image/skimage/_shared/_warnings.py", line 16, in warn
    warnings.warn(message, stacklevel=stacklevel)
UserWarning: The syntax 'integrate(ii, r0, c0, r1, c1)' is deprecated, and will be phased out in release 0.14. The new syntax is 'integrate(ii, (r0, c0), (r1, c1))'.

scikit-image에는 skimage/_shared/_warnings.py 경고에 대한 자체 컨텍스트 관리자가 있습니다. suppress_warnings 와 충돌 할 수 있습니다.

호기심 때문에 기본 UserWarning 를 사용하는 대신 DeprecationWarning 를 명시 적으로 지정하는 것이 차이가 있는지 궁금합니다.

그래서 나는 오류가 보이지 않습니다.

$ nosetests-2.7 skimage/transform/tests/test_integral.py |& grep orig_show

이므로

$ nosetests-2.7 skimage/transform/tests/ |& grep orig_show

시간의 약 25 %를 보여줍니다. 이는 오류의 원인이 다른 곳에 있고 실패한 테스트가이를 노출한다는 것을 의미합니다.

특히 skimage/transform/tests/test_geometric.py 에는 경고 컨텍스트 관리자 expected_warnings 가 포함되어있어 의심 스럽습니다.

이제 test_parallel 데코레이터 인 https://github.com/scikit-image/scikit-image/blob/master/skimage/_shared/testing.py가 의심됩니다. 기본값은 두 개의 스레드입니다.

test_parallel 가져 오는 세 파일을 제거하면 더 이상 문제가 없습니다.

편집 : 그리고 지금은 전혀 문제를 재현 할 수 없습니다. 흠 ... 아마도 머신에서 실행중인 다른 항목에 따라 달라질 수 있습니다.

흠, test_parallel 는 코드를 살펴 보더라도 분명히 경고 컨텍스트를 사용하는 함수는 없지만 불가능하지는 않습니다.

test_hough_transform.py 무언가가 개시자인 것 같습니다. 해당 파일을 제거하면 오류가 없습니다.

편집 : 아마도 test_integral.py 모듈 앞에 있기 때문일까요?

문제는 test_hough_transform.py 의이 테스트 인 것 같습니다.

@test_parallel()
def test_hough_circle():
    # Prepare picture
    img = np.zeros((120, 100), dtype=int)
    radius = 20
    x_0, y_0 = (99, 50)
    y, x = circle_perimeter(y_0, x_0, radius)
    img[x, y] = 1

    out1 = tf.hough_circle(img, radius)
    out2 = tf.hough_circle(img, [radius])
    assert_equal(out1, out2)
    out = tf.hough_circle(img, np.array([radius], dtype=np.intp))
    assert_equal(out, out1)
    x, y = np.where(out[0] == out[0].max())
    assert_equal(x[0], x_0)
    assert_equal(y[0], y_0)

Particuler에서 두 줄 중 하나

    assert_equal(out1, out2)

# or

    assert_equal(out, out1)

오류를 활성화합니다.

마찬가지로 @parallel 데코레이터를 제거하면 오류가 수정됩니다. 따라서 결론은 벡터와 함께 호출 된 assert_equal 와 결합 된 스레드가 문제를 일으킨다는 것입니다.

당연히, assert equal 함수는 ".*NAT ==" 경고를 필터링하기 위해 그것을 사용합니다 assert_equal 스레딩 지원).

척 추적 잘 했어!

그것을 제거하는 것은 좋은 일입니다.

스레드로부터 안전하지 않은 다른 numpy 함수가 있는지 궁금합니다.

확실하지는 않지만, 테스트 슈트에는 경고 만 사용한다고 생각합니다. 그리고 np.errstate 는 아마도 스레드 세이프일까요?

이 멋진 조사 @charris 와 @seberg에 많은 감사를드립니다.

흠, 좀 짜증나 네요. 억제를 제거하면 다운 스트림의 동작이 변경 될 수 있습니다. 이는 괜찮을 수 있지만 (아마도 더 깨끗할 수 있습니다) 버그 수정 릴리스에 좋은지 확신 할 수 없습니다. 또한 비교 유형 테스트에서 뮤텍스를 잠글 수 있습니다. 원칙적으로 항상 괜찮은 것은 아니지만 어떻게 깨질 수 있는지 정말 생각할 수 없습니다.

assert_equal 수정하는 것만으로도 충분하다고 생각합니다. 향후 NaT 비교를 위해 어떤 경우에도 수정해야합니다. NaT는 int64로 변환 할 수 있으며 값은 min_int64입니다.

아, 사실, 우리는 실제로 NaT를 명시 적으로 지원할 수 있습니다. 현재 약간 성가 시지만 (특히 NaT를 검사하는 기능이 없기 때문에) 어렵지는 않습니다. 다른 배열 비교와 관련하여 이러한 것 중 또 다른 것이 있지만 많이 사용되지 않는 것 같습니다 (그리고 무엇에 대해 확실하지 않습니다).

어설 션에 NaT 로직을 추가하는 것은 마스터에게는 잘 작동하는 것 같지만 백 포팅에는 작동할지 확신 할 수 없습니다. suppress_warnings 가 새로운 것이 긴하지만 경쟁 조건 자체는 이미 지난 릴리스에있었습니다.

여전히 isnat 함수가 필요하거나 datetime/timedelta 에서 isnan datetime/timedelta 를 지원할 수도 있습니다.

예, isnat 기능에 동의합니다. accurs에는 timedelta64 및 datetime64 두 가지 유형도 있습니다. NaT 값은 어디에도 노출되지 않으며 np.nat 도 사용할 수 있습니다. 실제 정의는 ndarraytypes.h 입니다.

@charris , Chuck, 대신 np.isnat 하거나 isnan 에서 datetime 및 timedelta를 허용 하시겠습니까?

흠, isnan 모두 넣는 것은 흥미로운 생각이지만이 시점에서 문제가 발생할 수 있습니다. @jsmith @juliantaylor 생각?

@shoyer도 의견이있을 수 있습니다.

방금 isnat 구현했지만 릴리스와 관련된 모든 타이밍에 대해 확신 할 수 없습니다. 이 문제를 최소한의 버전으로 수정해야한다면, 더 좋은 방법은 아마도 파이썬 isnat 버전을 테스트 슈트에 연결하는 것입니다. 최소한 다른 사람들은 이전보다 더 많은 경고를 받게 될 것입니다. 1. 우리의 테스트 슈트를 사용하고 2. 실제로 경고를주의 깊게 테스트하십시오).

나는 실패가 몹시 심각하다고 생각하지 않지만 그것을 고치는 것이 좋을 것입니다. isnat의 (비공개?) 파이썬 버전은 1.12에서 나에게 괜찮을 것입니다.

suppress_warnings 독 스트링은 스레드로부터 안전하지 않음을 언급해야합니다.

그렇습니다 :)

휴일 동안 문제를 해결하고 철저한 디버그를 해주신 많은 분들께 감사드립니다.

이에 대한 솔루션을 구현 / 테스트하기 위해 할 수있는 일이 있습니까? 데비안은 이것에 대한 수정을 열망합니다 :)

@sandrotosi , 안타깝게도 약간 까다로울 수 있습니다. 우리는 내 isnat에서와 같이 간단하게 할 수 있습니다 (isnat의 비공개 파이썬 버전 사용). 그러나 나는 그것이 다른 곳에서 테스트 회귀를 만들지 않을지 확신하지 못합니다 : /.

이 두 경우에 뮤텍스를 추가하면 실제로 문제를 제거하고 (당신이 호출 할 것이기 때문에 나쁜 갈 가능성이 보인다해야 그럴듯한 해킹 될 수있다 assert_equal 또는 내부에서 비슷한 assert_equal ). 나는 실제로 그것을 numpy master에서 사용하지는 않을 것이지만 1.12에 대한 최소한의 버그 수정으로 실제 옵션 일 수 있습니다. 그리고 그것은 skimage 테스트 자체를 방해하지 않습니다.

@olebole 은

@seberg 그래 나는 목표가 1.12에 대한 최소한의 수정을 가지고 궁극적으로 마스터에서 더 완전하고 포괄적 인 방식으로 해결하는 것이라고 생각합니다-적어도 다음 데비안 릴리스 가이 문제없이 numpy를 갖도록 할 것입니다.

@sandrotosi gh-8427에서 잠금 방식을 시도했습니다. 나는 생각이 미쳤는지 아닌지가 아니라 누군가가 그것을 시도하고 싶다면 ....

정의되지 않은 동작을 가지도록 단순히 suppress_warnings 를 수정할 수 있지만 다중 스레드 방식으로 사용될 때 충돌하지 않는 방법이 있습니까?

(나는 몇 가지 아이디어가 있지만 정확히 어떻게 작동 할 수 있는지 여전히 생각하고 있습니다.)

물론, 속성을 삭제할 수는 없지만 나중에 테스트에서 버그를 만들 수 있습니다. 대부분의 테스트 슈트는 경고 테스트에 대해 멍청하지 않습니다.

1.12.0rc2 (https://github.com/numpy/numpy/pull/8427 포함)를 데비안에 업로드하고 skimage (테스트 스위트가 완전히 비활성화되지 않은 약간 오래된 버전의 데비안 패키지)를 3 번 ​​다시 빌드했습니다. 그리고 항상 성공적으로 구축되었습니다.

휴일 동안이 작업을 해주신 많은 분들께 감사드립니다!

이제 최종 1.12.0 릴리스에 대한 계획이 있습니까? :)

최종 발매는 1 월 15 일입니다.

rc2에서 작동하는지 확인할 수 있습니다. 귀하의 노력에 감사드립니다!

마스터에서 수정 될 때까지 열어 둡니다.

흠, 마스터에서 고정되지 않았습니다. @seberg # 8421이 이것을 닫는 것이 맞습니까?

# 8421로 수정되었습니다.