Numpy: कभी-कभी, supress_warnings को इसकी एक विशेषता याद आती है

हम्म, थोड़ा अजीब। क्या स्किमैज टेस्ट में कुछ (अजीब) चल रहा है? यह चेतावनी परीक्षण को बहुत बुरी तरह से तोड़ देगा, क्योंकि चेतावनी से निपटने के लिए अजगर में धागा सुरक्षित नहीं है। मुझे यह देखने में थोड़ी कठिनाई हो रही है कि यह और कैसे हो सकता है, लेकिन हो सकता है कि टेस्ट रन के सटीक कोड को देखें।

चूँकि यहाँ कोई assert_warns या इसलिए मुझे लगता है। आपके पास केवल एक एकल suppress_warnings प्रसंग जीवित होना चाहिए (जो कि सबसे बाहरी क्षेत्र होगा और इसे अंको के परीक्षण धावक द्वारा बनाया जाएगा, यह मानते हुए कि इसका उपयोग करके स्किम समाप्त हो जाएगा)। अब मैं उलझन में क्यों हूं, क्या _orig_show को परिभाषित नहीं किया जा रहा है केवल तभी संभव होना चाहिए जब संदर्भ पहले से ही बाहर हो गया हो। उस समय warnings.showwarning पहले से ही पुराने मूल्य पर रीसेट होना चाहिए।

यदि आपके पास थ्रेड्स हैं, तो बेशक पूरी चेतावनी सामान टूट जाती है। उदाहरण के लिए:

थ्रेड 1: चेतावनी के संदर्भ में प्रवेश करता है -> सामान्य चेतावनी मुद्रण की जगह लेता है
थ्रेड 2: चेतावनी के संदर्भ में प्रवेश करता है -> थ्रेड 1 चेतावनी हैंडलर को बदलता है
थ्रेड 1: चेतावनी के संदर्भ से बाहर निकलता है -> सामान्य चेतावनी मुद्रण के लिए रीसेट करता है
थ्रेड 2: चेतावनी संदर्भ मौजूद है -> थ्रेड 1 के चेतावनी हैंडलर को रीसेट करता है -> कबूम।

Btw। मैं देखता हूँ कि आपके पास " __warning_registry__ सामान को स्किम करने के बाद साफ करने की कोशिश है, दमन चेतावनी एक संदर्भ प्रबंधक है जो एक समान मुद्दे को हल करने की कोशिश करता है (और कुछ अन्य सामान जोड़ता है), दिलचस्प हो सकता है या नहीं।

मुझे बस समस्या तब हुई जब मैंने डेबियन के लिए स्किमेज बनाने की कोशिश की, और मुझे यहां कोई पता नहीं है। हालाँकि, मैंने उन्हें शामिल करने के लिए scikit-image / scikit-image # 2412 खोला।

बस पूर्णता के लिए: कभी-कभी, मुझे स्किमेज की किसी भी भागीदारी के बिना भी स्टैकट्रेस मिलता है:

ERROR: test suite for <module 'skimage.transform.tests' from '/build/skimage-0.12.3/debian/tmp/usr/lib/python3/dist-packages/skimage/transform/tests/__init__.py'>
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/usr/lib/python3/dist-packages/nose/suite.py", line 229, in run
    self.tearDown()
  File "/usr/lib/python3/dist-packages/nose/suite.py", line 352, in tearDown
    self.teardownContext(ancestor)
  File "/usr/lib/python3/dist-packages/nose/suite.py", line 368, in teardownContext
    try_run(context, names)
  File "/usr/lib/python3/dist-packages/nose/util.py", line 453, in try_run
    inspect.getargspec(func)
  File "/usr/lib/python3.5/inspect.py", line 1040, in getargspec
    stacklevel=2)
  File "/usr/lib/python3/dist-packages/numpy/testing/utils.py", line 2199, in _showwarning
    self._orig_show(message, category, filename, lineno,
AttributeError: 'suppress_warnings' object has no attribute '_orig_show'

अजगर, सुन्न, आदि के कौन से संस्करण आप के साथ संकलित कर रहे हैं?

नेम्पी 1.12 ~ आरसी ~ बीटा 1, पायथन 2.7 और 3.5
(क्षमा करें, मेरी गलती: आरसी की जांच अभी तक नहीं हुई)

हम्म, मैं उलझन में हूँ .... मैं यह नहीं देख सकता कि क्यों थ्रेडिंग की समस्याएं होंगी, लेकिन वास्तव में इस त्रुटि को नस्ल की स्थिति या catch_warning गलत नेस्टिंग के बिना उत्पन्न होने वाली त्रुटि भी नहीं मिल सकती (सामान सहित) suppress_warning )।

मुझे यह भी लगता है कि यह एक दौड़ की स्थिति है, क्योंकि यह हमेशा नहीं होता है। बिल्ड को दो बार एक ही वातावरण में चलाने से समस्या अलग-अलग जगहों पर पॉप अप हो जाती है (या बिल्कुल भी नहीं)।

@ तिलक तुम वास्तव में टेस्ट सूट कैसे चला रहे हो?

हमारे परीक्षण सूट से नकल:

#!/bin/sh
set -efu

pys="$(pyversions -rv 2>/dev/null)"
pkgbuild=${pkgbuild:-no}

srcdir=$PWD

for py in $pys; do
    echo "=== python$py ==="
    if [ "$pkgbuild" = "yes" ]; then
        export PYTHONPATH="$srcdir/debian/tmp/usr/lib/python$py/dist-packages"
        cd "$srcdir/build/"
    else
        cd "$ADTTMP"
    fi

    xvfb-run -a python$py /usr/bin/nosetests -s -v --exclude test_tools.py skimage 2>&1
done

xvfb-run वहाँ है क्योंकि परीक्षण को X11 वातावरण में चलाने की आवश्यकता है।

Hmmmpf, किसी को पता है कि वास्तव में हुड के नीचे क्या होता है जब नाक एक मॉड्यूल का परीक्षण करना शुरू करता है? नाक मुझे भ्रमित करती है, और मैं यह नहीं देख सकता कि यह चेतावनी के साथ क्यों खिलवाड़ कर रहा है .... या यह सभी के बाद चेतावनी को दबाने के लिए एक बग है, लेकिन वास्तव में इसे नहीं देखा जा सकता है, हे।

मेरे nosetests मैन पेज में, मेरे पास है

       --processes=NUM
              Spread  test run among this many processes. Set a number equal to the number of processors or cores in your machine for best results. Pass a negative
              number to have the number of processes automatically set to the number of cores. Passing 0 means to disable parallel testing.  Default  is  0  unless
              NOSE_PROCESSES is set. [NOSE_PROCESSES]

ऐसा लगता है कि डिफ़ॉल्ट रूप से कोई समानांतर परीक्षण नहीं है। कम से कम, दौड़ की स्थिति नहीं होनी चाहिए।

क्या कचरा संग्रह सामान के आधार पर इस teardownContext कोई दूरस्थ संभावना है ?!

नहीं, मैं शायद मूर्ख हूं। दबाने की चेतावनी का संदर्भ warnings.showwarning पहले रीसेट करता है, क्योंकि यह विशेषता को हटा देता है, इसलिए संदेह भी कि वास्तव में कुछ और किए बिना कुछ भी नहीं बना सकता है। बस पता नहीं क्या और क्या :)।

खैर, मैं 33 गलतियों को स्किमेज-0.9.3 के साथ देखता हूं, जो कि ज्यादातर पीआईएल या इंडेक्सिंग से हैं, लेकिन दबाने के लिए कोई नहीं है। आप अन्य सभी त्रुटियों से कैसे निपटते हैं?

@charris समस्या 0.12.3 के लिए बताई गई है, 0.9.3 के लिए नहीं। :)

ठीक है, अंत में ऊपर की ओर से नीचे खींच लिया गया, अब 39 त्रुटियां और एक टन की डेप्रिसिएशन। अधिकांश चेतावनियां इस तथ्य के कारण लगती हैं कि परीक्षण सोचते हैं कि वे वेटल के बजाय क्यूटी में चल रहे हैं, यहां एक कॉन्फ़िगरेशन समस्या हो सकती है। मुझे भी परीक्षण चलाने की आवश्यकता है

python -c'import skimage; skimage.test()'

nosetests बिल्कुल भी काम नहीं करता है।

निक्षेप सामान्य हैं। हम अभी भी हमारे पुराने एपीआई की जांच करते हैं, भले ही एक पदावनति की उम्मीद हो। त्रुटियों के बारे में, यह सामान्य नहीं है। क्या आप हमारे (scikit-image) बग ट्रैकर पर उन्हें रिपोर्ट करने की कृपा करेंगे?

@sciunto डॉक्स स्थानीय रूप से परीक्षण के लिए निर्देशों का उपयोग कर सकता है।

ठीक है, मैं इसे उसी जगह देखता हूं। परीक्षण है

def test_vectorized_integrate():
    r0 = np.array([12, 0, 0, 10, 0, 10, 30])
    c0 = np.array([10, 0, 10, 0, 0, 10, 31])
    r1 = np.array([23, 19, 19, 19, 0, 10, 49])
    c1 = np.array([19, 19, 19, 19, 0, 10, 49])

    expected = np.array([x[12:24, 10:20].sum(),
                         x[:20, :20].sum(),
                         x[:20, 10:20].sum(),
                         x[10:20, :20].sum(),
                         x[0,0],
                         x[10, 10],
                         x[30:, 31:].sum()])
    start_pts = [(r0[i], c0[i]) for i in range(len(r0))]
    end_pts = [(r1[i], c1[i]) for i in range(len(r0))]
    assert_equal(expected, integrate(s, r0, c0, r1, c1))  # test deprecated
    assert_equal(expected, integrate(s, start_pts, end_pts))

# test deprecated टिप्पणी मुझे बताती है कि शायद परीक्षण को कुछ फिक्सिंग की आवश्यकता है, लेकिन अभी भी suppress_warnings को और अधिक सुंदर रूप से विफल होना चाहिए।

थोड़ा और जानकारी, कर

$ python skimage/transform/tests/test_integral.py

जो NumPy run_module_suite करता है वह विफल नहीं दिखता है, लेकिन चेतावनी जारी करता है

======================================================================
ERROR: skimage.transform.tests.test_integral.test_vectorized_integrate
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/usr/lib/python2.7/site-packages/nose/case.py", line 197, in runTest
    self.test(*self.arg)
  File "/home/charris/Workspace/scikit-image/skimage/transform/tests/test_integral.py", line 46, in test_vectorized_integrate
    assert_equal(expected, integrate(s, r0, c0, r1, c1))  # test deprecated
  File "/home/charris/Workspace/scikit-image/skimage/transform/integral.py", line 86, in integrate
    warn("The syntax 'integrate(ii, r0, c0, r1, c1)' is "
  File "/home/charris/Workspace/scikit-image/skimage/_shared/_warnings.py", line 16, in warn
    warnings.warn(message, stacklevel=stacklevel)
UserWarning: The syntax 'integrate(ii, r0, c0, r1, c1)' is deprecated, and will be phased out in release 0.14. The new syntax is 'integrate(ii, (r0, c0), (r1, c1))'.

ध्यान दें कि scitit-image में skimage/_shared/_warnings.py चेतावनियों के लिए स्वयं का संदर्भ प्रबंधक है। यह suppress_warnings साथ संघर्ष में हो सकता है।

जिज्ञासा से बाहर, मुझे आश्चर्य है कि अगर यह डिफ़ॉल्ट रूप से UserWarning का उपयोग करने के बजाय DeprecationWarning निर्दिष्ट करने के लिए एक अंतर बनाता है।

इसलिए मैं त्रुटियों को नहीं देखता हूं

$ nosetests-2.7 skimage/transform/tests/test_integral.py |& grep orig_show

जहाँ तक

$ nosetests-2.7 skimage/transform/tests/ |& grep orig_show

इसे लगभग 25% समय दिखाता है। इससे पता चलता है कि त्रुटि का स्रोत कहीं और है और असफल परीक्षा इसे उजागर करती है।

विशेष रूप से, skimage/transform/tests/test_geometric.py में चेतावनी संदर्भ प्रबंधक expected_warnings और इससे मुझे संदेह होता है।

ठीक है, अब मुझे test_parallel डेकोरेटर, https://github.com/scikit-image/scikit-image/blob/master/skimage/_sared/testing.py पर संदेह है। यह दो थ्रेड्स को डिफॉल्ट करता है।

अगर मैं test_parallel आयात करने वाली तीन फ़ाइलों को निकालता हूं, तो कोई समस्या नहीं है।

संपादित करें: और अब मैं इस समस्या को बिल्कुल भी नहीं दोहरा सकता। हम्म ... शायद यह भी मशीन पर चल रहा है पर निर्भर करता है।

हम्म, test_parallel यह मुझे लगता है कि हो सकता है, हालांकि कोड के माध्यम से देख रहा है, कार्यों में से कोई भी स्पष्ट रूप से एक चेतावनी संदर्भ का उपयोग करता है, हालांकि इसके असंभव मुझे नहीं लगता है।

test_hough_transform.py कुछ दीक्षार्थी लगता है। उस फ़ाइल को हटाने के साथ कोई त्रुटि नहीं है।

संपादित करें: शायद इसलिए कि test_integral.py मॉड्यूल से पहले है?

इस समस्या को test_hough_transform.py में इस परीक्षा की तरह लगता है

@test_parallel()
def test_hough_circle():
    # Prepare picture
    img = np.zeros((120, 100), dtype=int)
    radius = 20
    x_0, y_0 = (99, 50)
    y, x = circle_perimeter(y_0, x_0, radius)
    img[x, y] = 1

    out1 = tf.hough_circle(img, radius)
    out2 = tf.hough_circle(img, [radius])
    assert_equal(out1, out2)
    out = tf.hough_circle(img, np.array([radius], dtype=np.intp))
    assert_equal(out, out1)
    x, y = np.where(out[0] == out[0].max())
    assert_equal(x[0], x_0)
    assert_equal(y[0], y_0)

दो लाइनों में से किसी एक में

    assert_equal(out1, out2)

# or

    assert_equal(out, out1)

त्रुटि को सक्षम करेगा।

इसी तरह, @parallel डेकोरेटर को हटाने से त्रुटि ठीक हो जाती है। तो अपशॉट यह है कि वैक्टर के साथ assert_equal संयोजन में धागे समस्या का कारण बनते हैं।

समझ में आता है, मुखर समान फ़ंक्शन ".*NAT ==" चेतावनियों को फ़िल्टर करने के लिए इसका उपयोग करता है, हम संभवतः इसे उस फ़ंक्शन से निकालने की कोशिश कर सकते हैं क्योंकि यह वास्तव में स्पष्ट नहीं है कि assert_equal चेतावनी दमन (और इस तरह पूरी तरह से नहीं करता है) समर्थन थ्रेडिंग)।

अच्छा ट्रैकिंग नीचे चक!

इसे हटाने की कोशिश अच्छी बात होगी।

मुझे आश्चर्य है कि क्या अन्य सुन्न कार्य हैं जो धागा सुरक्षित नहीं हैं?

यकीन नहीं है, मुझे लगता है कि हम केवल परीक्षण सूट में चेतावनी सामान का उपयोग करते हैं। और np.errstate शायद थ्रेडसेफ़ है?

इस अच्छी जांच @charris और @seberg के लिए बहुत धन्यवाद

हम्म, मुझे यह थोड़ा कष्टप्रद लगता है। उन दमनों को दूर करना जहां से वे बहाव के लिए व्यवहार बदल सकते हैं, यह संभवत: ठीक है (शायद क्लीनर भी), लेकिन यकीन नहीं है कि यह बगफिक्स रिलीज के लिए अच्छा है। तुलना प्रकार परीक्षणों पर एक म्यूटेक्स को भी लॉक कर सकता है, जो हमेशा सिद्धांत में ठीक नहीं हो सकता है, लेकिन मैं वास्तव में नहीं सोच सकता कि यह कैसे टूट सकता है।

मुझे लगता है कि यह केवल assert_equal तय करने के लिए पर्याप्त होगा, इसे भविष्य में किसी भी मामले में NaT तुलना के लिए फिक्सिंग की आवश्यकता होगी। नोट NaT को int64 में रूपांतरित किया जा सकता है और इसका मूल्य min_int64 है।

ओह, सच है, हम वास्तव में केवल स्पष्ट रूप से NaT का समर्थन कर सकते हैं, वर्तमान में थोड़ा कष्टप्रद (क्योंकि NaT के लिए विशेष रूप से जांच करने के लिए कोई फ़ंक्शन नहीं है), लेकिन कठिन नहीं है। अन्य सरणी तुलनाओं के आसपास इन चीजों में से एक है, लेकिन मुझे लगता है कि इसका उपयोग बहुत अधिक नहीं किया गया है (और क्या निश्चित नहीं है)।

मुखरता के लिए NaT तर्क जोड़ना मास्टर के लिए बहुत अच्छा काम करता है, हालांकि मुझे यकीन नहीं है कि यह बैकपोर्टिंग के लिए काम करेगा। मुझे लगता है जबकि suppress_warnings नया हो सकता है, रेस की स्थिति खुद अंतिम रिलीज में पहले से ही थी।

हमें अभी भी isnat फ़ंक्शन की आवश्यकता है या शायद datetime/timedelta isnan ।

हां, isnat फ़ंक्शन के बारे में सहमत हैं। वहाँ भी दो प्रकार हैं जहाँ accurs है: timedelta64 और datetime64 । ध्यान दें कि NaT मान कहीं भी उजागर नहीं होता है, हम संभवतः np.nat भी उपयोग कर सकते हैं। वास्तविक परिभाषा ndarraytypes.h ।

@charris , चक, इस पर आपका क्या लेना देना है, बल्कि np.isnat बनाएँ या isnan में डेटाटाइम और टाइमडेलटा की अनुमति दें?

हम्म, यह सब isnan में डालना एक दिलचस्प विचार है लेकिन मुझे संदेह है कि इस समय परेशानी हो सकती है, शायद बाद में? @njsmith @juliantaylor विचार?

@shoyer की भी राय हो सकती है।

मैंने अभी isnat , लेकिन मैं रिलीज के संबंध में सभी समय के सामान के बारे में निश्चित नहीं हूं। अगर हमें इसे कम से कम संस्करण में ठीक करने की कोशिश करनी है, तो बेहतर विकल्प शायद टेस्ट सूट में एक अजगर isnat संस्करण में प्लग करना है, हालांकि इसे ठीक करना किसी भी मामले में थोड़ा मुश्किल हो सकता है ( बहुत कम से कम दूसरों को पहले और अधिक चेतावनियाँ मिलेंगी, हालाँकि शायद कुछ 1. हमारे परीक्षण सूट के सामान का उपयोग करें और 2. वास्तव में सावधानीपूर्वक परीक्षण चेतावनी)।

मैं विफलता को बहुत गंभीर नहीं मानता, लेकिन इसे ठीक करना अच्छा होगा। 1.12 के लिए isnat का एक (निजी?) अजगर संस्करण मेरे साथ ठीक रहेगा।

suppress_warnings docstring को यह भी उल्लेख करना चाहिए कि यह थ्रेड सुरक्षित नहीं है।

ऐसा होता है :)

छुट्टियों के दौरान और पूरी तरह से डिबग के लिए इस मुद्दे पर कूदने के लिए बहुत से लोगों का धन्यवाद

क्या इसके लिए कोई समाधान लागू करने / परीक्षण करने के लिए मैं कुछ भी कर सकता हूं? डेबियन इस के लिए एक तय पाने के लिए उत्सुक है :)

@sandrotosi , दुर्भाग्य से यह थोड़ा मुश्किल है शायद, सबसे आसान फिक्स स्किमेज में समानांतर परीक्षण सामान का उपयोग नहीं करना हो सकता है, लेकिन यह कुछ हद तक उद्देश्य को हरा देता है। हम अपने इस्नात सामान में बहुत कुछ कर सकते हैं (इस्नात के एक निजी अजगर संस्करण का उपयोग करके)। हालाँकि, मैं बिल्कुल निश्चित नहीं हूँ कि यह कहीं और परीक्षण प्रतिगमन नहीं बना सकता है: /।

उन दो मामलों के लिए एक म्यूटेक्स जोड़ना वास्तव में एक प्रशंसनीय हैक हो सकता है जो परेशानी को दूर करना चाहिए और खराब होने की संभावना नहीं लगती है (क्योंकि आप assert_equal या assert_equal अंदर से समान नहीं कहेंगे)। मैं वास्तव में उस योग्य स्वामी में उपयोग नहीं करूंगा, लेकिन 1.12 के लिए न्यूनतम बगफिक्स के रूप में यह एक वास्तविक विकल्प हो सकता है। और यह स्वयं स्किमेज परीक्षणों में हस्तक्षेप नहीं करेगा।

@ होल स्किम में समानांतर परीक्षण को अक्षम करना एक स्वीकार्य अस्थायी समाधान होगा?

@seberg हाँ, मुझे लगता है कि लक्ष्य 1.12 के लिए न्यूनतम फिक्स हो सकता है और अंततः इसे मास्टर में अधिक पूर्ण / व्यापक तरीके से संबोधित कर सकता है - कि कम से कम अगले डिबियन रिलीज को इस मुद्दे के बिना सुन्न कर दिया जाए

@sandrotosi मैंने gh-8427 में लॉक अप्रोच की कोशिश की। मैं नहीं सोचा था कि पागल है या नहीं, लेकिन अगर कोई इसे आज़माना चाहता है ...।

क्या कोई ऐसा तरीका है जिससे हम अपरिवर्तित व्यवहार करने के लिए suppress_warnings को संशोधित कर सकते हैं, लेकिन बहु-थ्रेडेड फैशन में उपयोग किए जाने पर क्रैश नहीं होता है?

(मेरे पास कुछ विचार हैं, लेकिन मैं अभी भी सोच रहा हूं कि यह कैसे काम कर सकता है।)

निश्चित रूप से, हम केवल विशेषता को हटा नहीं सकते हैं, लेकिन यह बाद के परीक्षणों में बग पैदा कर सकता है ... हालांकि मुझे लगता है कि अधिकांश परीक्षण सूट परीक्षण चेतावनियों के बारे में सुन्न के रूप में नहीं हैं, इसलिए ...।

मैंने 1.12.0rc2 (जिसमें https://github.com/numpy/numpy/pull/8427) को डेबियन में अपलोड किया है और 3 बार स्किमेज (पुनर्निर्माण परीक्षण पूरी तरह से अक्षम होने के बिना तेह डेबियन पैकेज का थोड़ा पुराना संस्करण) का पुनर्निर्माण किया है और हर समय यह सफलतापूर्वक बना।

छुट्टियों के दौरान इस पर काम करने के लिए बहुत बहुत धन्यवाद!

अब, अंतिम 1.12.0 रिलीज के लिए कोई योजना? :)

मैं अंतिम रिलीज़ 15 जनवरी को करने की योजना बना रहा हूं।

मैं पुष्टि कर सकता हूं कि यह rc2 के साथ काम करता है। तुम्हारे प्रयासों के लिए बहुत धन्यवाद!

मैं इसे खुला छोड़ रहा हूं जब तक कि यह मास्टर में तय न हो जाए।

हम्म, मास्टर में तय नहीं। @seberg क्या यह सही है कि # 8421 इसे बंद कर देगा?

# 8421 द्वारा निर्धारित।