Numpy: उबंटू 16.04 पर फ़ाइल के आकार को अतीत में पढ़ने पर अवैध डेटा और सेगफ़ॉल्ट

को निर्मित 31 अक्तू॰ 2018 · 4टिप्पणियाँ · स्रोत: numpy/numpy

fromfile अमान्य डेटा और कभी-कभी segfault यदि किसी फ़ाइल के अंत में पठन होता है अर्थात यह जाँच नहीं करता है कि पठन फ़ाइल के अंत में जाएगा या नहीं। यह समस्या Ubuntu 16.04 पर एक segfault की ओर ले जाती है, लेकिन OSX पर segfault नहीं लगता है।

कोड का उदाहरण प्रस्तुत करना:

import numpy as np

def test_read_from_file():
    # create an empty file named `empty.bin`
    filename = 'empty.bin'
    open(filename, 'a').close()

    # read large chunk of data, past the end of the file
    dtype = [('data', '<f4', 500,)]
    count = 100000000

    with open(filename, 'rb') as fh:
        data = np.fromfile(fh, dtype, count)

    print(data.shape)

त्रुटि संदेश:

एग्जिट कोड 139 (सिग्नल 11 द्वारा बाधित: SIGSEGV) के साथ समाप्त हुई प्रक्रिया

Numpy / पायथन संस्करण जानकारी:

प्लेटफ़ॉर्म लिनेक्स - पायथन 3.6.6, पाइस्टेस्ट-3.8.2, py-1.6.0, प्लग्गी-0.7.1

00 - Bug numpy.core

स्रोत

amuresan

सबसे उपयोगी टिप्पणी

मेरा मानना है कि वास्तव में यहाँ समस्या यह है कि ubuntu पर आपको MemoryError रहा है जो गलत तरीके से संभाला जा रहा है और segfault का कारण बन रहा है।

एक फिक्स के साथ एक पीआर यहाँ है: https://github.com/numpy/numpy/pull/12354

simongibbons 8 नव॰ 2018

👍2

सभी 4 टिप्पणियाँ

बस 1.15.3 पर ध्यान देने योग्य है। मुझे लगता है कि हम आकार को जानते हैं, इसलिए इसे केवल एक त्रुटि बढ़ानी चाहिए, या पूरी फाइल को पढ़ना चाहिए। यदि यह कुछ प्रणालियों पर चुपचाप काम करता है, तो शायद हमें बस एक नोट जारी करना चाहिए (मैं अभी भी कहूंगा कि हम इसे ठीक कर सकते हैं)।

संपादित करें: मैं त्रुटि करना चाहूंगा, सोचा था कि पूरी फाइल अनुक्रमण के कारण एक विकल्प हो सकती है, लेकिन इस संबंध में अनुक्रमण थोड़ा विशेष है।

seberg 31 अक्तू॰ 2018

सहमत, एक त्रुटि को उठाना एक अच्छा विचार लगता है। अभी भी आंशिक पठन के बारे में कुछ कहा जाना है, जिसे दो तरीकों से संभाला जा सकता है:

फ़ाइल के अंत तक संभव के रूप में कई डेटा रिकॉर्ड या count fromfile तक पहुंच जाता है, लेकिन तब हमें स्पष्ट रूप से रिकॉर्ड किए गए रिकॉर्ड की वास्तविक संख्या वापस करने के लिए एक तंत्र की आवश्यकता होती है (संक्षेप में पढ़ें) यह परिणामी सरणी के आकार में दिखाई देनी चाहिए)। एक त्रुटि अभी भी उठाई जा सकती है क्योंकि यह सामान्य उपयोग परिदृश्य नहीं है।
यदि आंशिक रूप से पढ़ने की अनुमति नहीं है, तो आकार को पढ़ने की अनुमति न दें, शेष फ़ाइल में फिट नहीं होती है।

मुझे नहीं पता कि कौन से परिदृश्य सुस्पष्ट दर्शन के साथ बेहतर हैं, लेकिन पहला विकल्प अधिक उपयोगी लगता है।

amuresan 1 नव॰ 2018

मुझे लगता है कि एक त्रुटि सबसे उचित है। मुझे अभी इस बारे में निश्चित नहीं है कि अगर फ़ॉर्फ़ाइल उन ऑब्जेक्ट्स की तरह फ़ाइल का समर्थन करता है, जिनके पास ज्ञात आकार नहीं है, या वर्तमान में नॉन-खाली सेप कर्ग के मामले में क्या होता है।

@amuresan कोड forfile C में है, लेकिन अगर आपके पास थोड़ा समय है, तो हम हमेशा पुल अनुरोधों के बारे में बहुत खुश हैं, और यह सी (पायथन) एपीआई में थोड़ा सा डब करने के लिए एक उचित कठिनाई की तरह लगता है।

seberg 1 नव॰ 2018