Werkzeug: फ़ाइल अपलोड पर SpooledTemporaryफ़ाइल अपवाद

को निर्मित 18 अग॰ 2018 · 13टिप्पणियाँ · स्रोत: pallets/werkzeug

हमने इस साल की शुरुआत में एक समस्या का सामना किया जिसमें SpooledTemporaryFile 0.12.x से 0.14.x तक कूदने के बाद फ़ाइल अपलोड पर अपवाद फेंक रहा था। गहराई से देखने का समय नहीं था, ऑनलाइन बहुत कुछ नहीं मिल सका, और अगर यह हमारी गलती थी या कुछ असंगत निर्भरताओं के कारण आप सभी को पसीना नहीं चाहता था। बस 0.12.2 पर पिन किया गया, एक छोटा परीक्षण लिखा जो समस्या का पता लगा सके, और आगे बढ़ गया।

मैंने आज रात अपने इनबॉक्स में फ्लास्क-एडमिन के लिए एक SO प्रश्न देखा जो हमने जो देखा, उसके जैसा ही लग रहा था, इसलिए मुझे लगा कि यह कम से कम लाने लायक है। SO प्रश्न बहुत अच्छी तरह से वाक्यांशित नहीं है, इसलिए यह सबसे अधिक उपयोग का नहीं हो सकता है (https://stackoverflow.com/questions/51858248/attributeerror-spooledtemporaryfile-object-has-no-attribute-translate)।

मामले में परीक्षण मदद करता है:

def test_werkzeug_spooled_temp_file(self):
    """
    When we jumped from Werkzeug 0.12.x to 0.14.x, we started running into an error on any attempt to upload a CSV:

    File "/home/vagrant/site/videohub/admin.py", line 728, in import_content
    for line in csv.DictReader(io.TextIOWrapper(new_file), restval=None):
    File "/usr/local/lib/python3.6/dist-packages/werkzeug/datastructures.py", line 2745, in __getattr__
    return getattr(self.stream, name)
    AttributeError: 'SpooledTemporaryFile' object has no attribute 'readable'

    Until/unless we debug this, we need to stay on Werkzeug versions where it doesn't break.
    """

    with self.client:
        from videohub import admin

        admin.auth_admin = lambda: True

        try:
            what = self.client.post(
                "/admin/importcontent/",
                data={"csv": (io.BytesIO(b"my file contents"), "test.csv")},
                content_type="multipart/form-data",
            )
        except AttributeError as e:
            if (
                str(e)
                == "'SpooledTemporaryFile' object has no attribute 'readable'"
            ):
                self.fail("Werkzeug/SpooledTemporaryFile still exists.")

SO थ्रेड में मैंने github मुद्दों/PRs, Python मुद्दों, और अन्य SO थ्रेड के एक सेट पर हस्ताक्षर किए जो सभी संबंधित हो सकते हैं; गायब होने की स्थिति में यहां फिर से लिंक करना:

स्रोत

abathur

सबसे उपयोगी टिप्पणी

कठिन प्रजनन मामले के लिए क्षमा याचना। मैंने पुष्टि की है कि हम अभी भी इस मुद्दे को देख रहे हैं और आज दोपहर को थोड़ा समय बिताया और इसे काफी संक्षिप्त रूप से प्रस्तुत किया।

इस प्रक्रिया में मैंने एक संभावित समाधान खोजने का प्रबंधन किया। मैंने व्यापक रूप से वर्कअराउंड का परीक्षण नहीं किया है, इसलिए मुझे नहीं पता कि क्या इससे स्वयं की समस्याएं पैदा होंगी (विशेष रूप से @jdalegonzalez द्वारा रिपोर्ट दी गई है कि प्लेटफ़ॉर्म यहां एक कारक हो सकता है)।

निर्भरताएँ:

pip install flask==1.0.2 pytest pytest-flask

परीक्षा:

import pytest, io, csv
from flask import Flask, request


def fields(ob):
    return csv.DictReader(ob).fieldnames[0]


@pytest.fixture(scope="session")
def app():
    x = Flask(__name__)
    x.testing = True

    @x.route("/textio", methods=["POST"])
    def upload_file_textio():
        """succeeds with 0.12.2; fails with werkzeug==0.14.1;"""
        return fields(io.TextIOWrapper(request.files["csv"]))

    @x.route("/stringio", methods=["POST"])
    def upload_file_stringio():
        """potential workaround; succeeds for both versions"""
        return fields(io.StringIO(request.files["csv"].read().decode()))

    with x.app_context():
        yield x


@pytest.mark.parametrize("uri", ["/textio", "/stringio"])
def test_werkzeug_spooled_temp_file(client, uri):
    what = client.post(
        uri,
        data={"csv": (io.BytesIO(b"my file contents"), "test.csv")},
        content_type="multipart/form-data",
    )
    assert what.data == b"my file contents"

abathur 14 नव॰ 2018

👍3

सभी 13 टिप्पणियाँ

इसके लायक क्या है, यह Werkzeug के संस्करण के रूप में उतना आसान नहीं लगता है। हम अल्पाइन 3.6 पर अजगर 3.6.6 के साथ 0.14.1 का उपयोग कर रहे हैं और सब कुछ काम कर रहा है। जब हम एल्पाइन 3.8.1 के साथ अजगर 3.7.0 पर Werkzeug 0.14.1 का उपयोग करते हैं तो हम समस्या देखते हैं।

jdalegonzalez 2 अक्तू॰ 2018

ऐसा लगता है कि https://github.com/python/cpython/pull/3249 अंततः पाइथन पक्ष पर एक फिक्स उत्पन्न कर सकता है।

abathur 2 नव॰ 2018

हाय @abathur - मैं देख लूंगा ...

टिप्पणियाँ:

uncojohnco 12 नव॰ 2018

HI @abathur - मैंने नीचे के अनुसार एक रेपो बनाने की कोशिश की, और मैं त्रुटि को पुन: उत्पन्न नहीं कर सका =

app.py

import os
from flask import Flask, flash, request, redirect, url_for
from werkzeug.utils import secure_filename


UPLOAD_FOLDER = './uploads'
ALLOWED_EXTENSIONS = set(['txt', 'pdf', 'png', 'jpg', 'jpeg', 'gif'])

app = Flask(__name__)
app.config['UPLOAD_FOLDER'] = UPLOAD_FOLDER


def allowed_file(filename):
    return '.' in filename and filename.rsplit('.', 1)[1].lower() in ALLOWED_EXTENSIONS


@app.route('/', methods=['GET', 'POST'])
def upload_file():

    if request.method == 'POST':
        # check if the post request has the file part
        if 'file' not in request.files:
            flash('No file part')
            return redirect(request.url)

        file = request.files['file']

        # if user does not select file, browser also
        # submit an empty part without filename
        if file.filename == '':
            flash('No selected file')
            return redirect(request.url)

        if file and allowed_file(file.filename):
            filename = secure_filename(file.filename)
            file.save(os.path.join(app.config['UPLOAD_FOLDER'], filename))
            return redirect(url_for('uploaded_file', filename=filename))


    return '''
    <!doctype html>
    <title>Upload new File</title>
    <h1>Upload new File</h1>
    <form method=post enctype=multipart/form-data>
      <input type=file name=file>
      <input type=submit value=Upload>
    </form>
    '''


from flask import send_from_directory

@app.route('/uploads/<filename>')
def uploaded_file(filename):
    return send_from_directory(app.config['UPLOAD_FOLDER'], filename)


if __name__ == '__main__':
    app.run()

एक बड़ी फ़ाइल उत्पन्न करने के लिए स्निपेट

dd if=/dev/zero of=filename bs=1024 count=2M

Ubuntu - 18.10
Python -  3.6.7rc1

> pip freeze
Click==7.0
Flask==1.0.2
itsdangerous==1.1.0
Jinja2==2.10
MarkupSafe==1.1.0
Werkzeug==0.14.1

/cc @davidism

uncojohnco 12 नव॰ 2018

इस समय को देखने के लिए आपके पास अधिक समय नहीं है, लेकिन मुझे इसे अभी पुन: प्रस्तुत करने में भी परेशानी हुई। मैं इस समय सड़क पर हूं और सुबह उड़ान की तैयारी कर रहा हूं, लेकिन मैं यह देखने के लिए याद रखने की कोशिश करूंगा कि क्या मैं इस सप्ताह के अंत में शुरुआती स्थितियों को पुन: पेश कर सकता हूं।

@jdalegonzalez क्या आपके पास इस मुद्दे के साथ आपके रन-इन पर कुछ नोट्स हैं जो अंतरिम में तस्वीर भरने में मदद कर सकते हैं?

abathur 13 नव॰ 2018

निर्भरताएँ:

pip install flask==1.0.2 pytest pytest-flask

परीक्षा:

import pytest, io, csv
from flask import Flask, request


def fields(ob):
    return csv.DictReader(ob).fieldnames[0]


@pytest.fixture(scope="session")
def app():
    x = Flask(__name__)
    x.testing = True

    @x.route("/textio", methods=["POST"])
    def upload_file_textio():
        """succeeds with 0.12.2; fails with werkzeug==0.14.1;"""
        return fields(io.TextIOWrapper(request.files["csv"]))

    @x.route("/stringio", methods=["POST"])
    def upload_file_stringio():
        """potential workaround; succeeds for both versions"""
        return fields(io.StringIO(request.files["csv"].read().decode()))

    with x.app_context():
        yield x


@pytest.mark.parametrize("uri", ["/textio", "/stringio"])
def test_werkzeug_spooled_temp_file(client, uri):
    what = client.post(
        uri,
        data={"csv": (io.BytesIO(b"my file contents"), "test.csv")},
        content_type="multipart/form-data",
    )
    assert what.data == b"my file contents"

abathur 14 नव॰ 2018

👍3

नमस्ते @abathur ,

मैंने आपके पाइटेस्ट रेपो को क्रियान्वित करने पर एक त्वरित नज़र डाली और एक नज़र में नीचे दिया गया आउटपुट समस्या का पुनरुत्पादन योग्य प्रतीत होता है। मैं अगले कुछ दिनों में और देखने की कोशिश करूंगा, लेकिन मैं फ्लास्क, पाइटेस्ट और फिक्स्चर के संबंध में नौसिखिया हूं

Testing started at 20:35 ...
/Users/jayCee/PycharmProjects/test_werkzeug_spooled_temp_file/venv/bin/python "/Users/jayCee/Library/Application Support/JetBrains/Toolbox/apps/PyCharm-P/ch-1/182.4505.26/PyCharm.app/Contents/helpers/pycharm/_jb_pytest_runner.py" --target test_werkzeug_spooled_temp.py::test_werkzeug_spooled_temp_file
Launching pytest with arguments test_werkzeug_spooled_temp.py::test_werkzeug_spooled_temp_file in /Users/jayCee/PycharmProjects/test_werkzeug_spooled_temp_file/test

============================= test session starts ==============================
platform darwin -- Python 3.6.6, pytest-4.0.0, py-1.7.0, pluggy-0.8.0
rootdir: /Users/jayCee/PycharmProjects/test_werkzeug_spooled_temp_file/test, inifile:
plugins: flask-0.14.0collected 2 items

test_werkzeug_spooled_temp.py F
test_werkzeug_spooled_temp.py:27 (test_werkzeug_spooled_temp_file[/textio])
client = <FlaskClient <Flask 'test_werkzeug_spooled_temp'>>, uri = '/textio'

    @pytest.mark.parametrize("uri", ["/textio", "/stringio"])
    def test_werkzeug_spooled_temp_file(client, uri):

        what = client.post(
            uri,
            data={"csv": (io.BytesIO(b"my file contents"), "test.csv")},
>           content_type="multipart/form-data",
        )

test_werkzeug_spooled_temp.py:34: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 
../venv/lib/python3.6/site-packages/werkzeug/test.py:840: in post
    return self.open(*args, **kw)
../venv/lib/python3.6/site-packages/flask/testing.py:200: in open
    follow_redirects=follow_redirects
../venv/lib/python3.6/site-packages/werkzeug/test.py:803: in open
    response = self.run_wsgi_app(environ, buffered=buffered)
../venv/lib/python3.6/site-packages/werkzeug/test.py:716: in run_wsgi_app
    rv = run_wsgi_app(self.application, environ, buffered=buffered)
../venv/lib/python3.6/site-packages/werkzeug/test.py:923: in run_wsgi_app
    app_rv = app(environ, start_response)
../venv/lib/python3.6/site-packages/flask/app.py:2309: in __call__
    return self.wsgi_app(environ, start_response)
../venv/lib/python3.6/site-packages/flask/app.py:2295: in wsgi_app
    response = self.handle_exception(e)
../venv/lib/python3.6/site-packages/flask/app.py:1741: in handle_exception
    reraise(exc_type, exc_value, tb)
../venv/lib/python3.6/site-packages/flask/_compat.py:35: in reraise
    raise value
../venv/lib/python3.6/site-packages/flask/app.py:2292: in wsgi_app
    response = self.full_dispatch_request()
../venv/lib/python3.6/site-packages/flask/app.py:1815: in full_dispatch_request
    rv = self.handle_user_exception(e)
../venv/lib/python3.6/site-packages/flask/app.py:1718: in handle_user_exception
    reraise(exc_type, exc_value, tb)
../venv/lib/python3.6/site-packages/flask/_compat.py:35: in reraise
    raise value
../venv/lib/python3.6/site-packages/flask/app.py:1813: in full_dispatch_request
    rv = self.dispatch_request()
../venv/lib/python3.6/site-packages/flask/app.py:1799: in dispatch_request
    return self.view_functions[rule.endpoint](**req.view_args)
test_werkzeug_spooled_temp.py:17: in upload_file_textio
    return fields(io.TextIOWrapper(request.files["csv"]))
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 

self = <FileStorage: 'test.csv' ('text/csv')>, name = 'readable'

    def __getattr__(self, name):
>       return getattr(self.stream, name)
E       AttributeError: 'SpooledTemporaryFile' object has no attribute 'readable'

../venv/lib/python3.6/site-packages/werkzeug/datastructures.py:2745: AttributeError
.                                         [100%]
=================================== FAILURES ===================================
___________________ test_werkzeug_spooled_temp_file[/textio] ___________________
...
# truncated duplicate above output ...

घेरना

macOS Mojave 10.14
Python 3.6.6

pip freeze
atomicwrites==1.2.1
attrs==18.2.0
Click==7.0
Flask==1.0.2
itsdangerous==1.1.0
Jinja2==2.10
MarkupSafe==1.1.0
more-itertools==4.3.0
pluggy==0.8.0
py==1.7.0
pytest==4.0.0
pytest-flask==0.14.0
six==1.11.0
Werkzeug==0.14.1

uncojohnco 15 नव॰ 2018

नमस्ते,

ऐसा लगता है कि नीचे दिए गए पीआर से SpooledTemporaryFile की शुरूआत इस मुद्दे का स्रोत है...

पीआर: #1198: खंडित स्थानांतरण एन्कोडिंग का समर्थन करें

पेश है स्पूलेड टेम्पोररीफाइल - https://github.com/pallets/werkzeug/pull/1198/files#diff-91178c333961d75c285b7784d1b81cecR40)

पीआर: #1222 - स्पूल किए गए अस्थायी फ़ाइलों की कमी वाले प्लेटफॉर्म के लिए अतिरिक्त समर्थन

FormDataParser.default_stream_factory के लिए व्यवहार लागू करता है - SpooledTemporaryFile ऑब्जेक्ट और total_content_length > max_size का समर्थन करने वाले प्लेटफ़ॉर्म पर

SpooledTemporaryFile के कार्यान्वयन पर टिप्पणी करते हुए - ऐसा लगता है कि परीक्षण-कोड https://github.com/pallets/werkzeug/issues/1344#issuecomment -438836862 पास हो गया है

def default_stream_factory(total_content_length, filename, content_type,
                           content_length=None):
    """The stream factory that is used per default."""
    max_size = 1024 * 500
#    if SpooledTemporaryFile is not None:
#        return SpooledTemporaryFile(max_size=max_size, mode='wb+')
    if total_content_length is None or total_content_length > max_size:
        return TemporaryFile('wb+')
return BytesIO()

यह @abathur लिंक से दिखता है - SpooledTemporaryFile वर्ग के साथ एक समस्या है क्योंकि इसमें $#$6 IOBase #$ के "अनुमानित" अमूर्त विशेषताओं का कार्यान्वयन गुम है। साथ ही, यह उन फ़ाइलों के मामलों को प्रभावित करेगा जो 512 किलोबाइट (?)

नीचे बंदर पैच को FormDataParser.default_stream_factory पर लागू करने से टेस्ट-कोड पास होता है https://github.com/pallets/werkzeug/issues/1344#issuecomment -438836862:

https://stackoverflow.com/questions/47160211/why-doesnt-tempfile-spooledtemporaryfile-implement-readable-writable-seekable
SpooledTemporaryFile IOBase के सार को पूरी तरह से संतुष्ट नहीं करता है (अर्थात्, seekable , readable , और writable गायब हैं) - https://bugs.python.org/issue26175
bpo-26175: SpooledTemporaryFile IOBase सार को ठीक करें - https://github.com/python/cpython/pull/3249

def default_stream_factory(total_content_length, filename, content_type,
                           content_length=None):
    """The stream factory that is used per default."""
    max_size = 1024 * 500
    if SpooledTemporaryFile is not None:
        monkeypatch_SpooledTemporaryFile = SpooledTemporaryFile(max_size=max_size, mode='wb+')
        monkeypatch_SpooledTemporaryFile.readable = monkeypatch_SpooledTemporaryFile._file.readable
        monkeypatch_SpooledTemporaryFile.writable = monkeypatch_SpooledTemporaryFile._file.writable
        monkeypatch_SpooledTemporaryFile.seekable = monkeypatch_SpooledTemporaryFile._file.seekable
        return monkeypatch_SpooledTemporaryFile
    if total_content_length is None or total_content_length > max_size:
        return TemporaryFile('wb+')
    return BytesIO()

या हो सकता है...

class SpooledTemporaryFile_Patched(SpooledTemporaryFile): 
    """Patch for `SpooledTemporaryFile exceptions on file upload #1344`
      - SpooledTemporaryFile does not fully satisfy the abstract for IOBase - https://bugs.python.org/issue26175 
      - bpo-26175: Fix SpooledTemporaryFile IOBase abstract - https://github.com/python/cpython/pull/3249

     TODO: Remove patch once `bpo-26175: Fix SpooledTemporaryFile IOBase abstract` is resolved..."""

    def readable(self):
        return self._file.readable

    def writable(self):
        return self._file.writable

    def seekable(self):
        return self._file.seekable

...

def default_stream_factory(total_content_length, filename, content_type, content_length=None):
    """The stream factory that is used per default.

    Patch: `SpooledTemporaryFile exceptions on file upload #1344`, Remove once `bpo-26175: Fix SpooledTemporaryFile IOBase abstract` is resolved...
      - SpooledTemporaryFile does not fully satisfy the abstract for IOBase - https://bugs.python.org/issue26175 
      - bpo-26175: Fix SpooledTemporaryFile IOBase abstract - https://github.com/python/cpython/pull/3249"""
    max_size = 1024 * 500
    if SpooledTemporaryFile is not None:
        # TODO: Remove patch once `bpo-26175: Fix SpooledTemporaryFile IOBase abstract` is resolved...
        SpooledTemporaryFile = SpooledTemporaryFile_Patched
        return SpooledTemporaryFile_Patched(max_size=max_size, mode='wb+')
    if total_content_length is None or total_content_length > max_size:
        return TemporaryFile('wb+')
    return BytesIO()

कार्रवाई का सबसे अच्छा तरीका क्या होगा?

SpooledTemporaryFile के लिए मंकी पैच लागू करें? (ऐसा करने का शायद एक बेहतर तरीका है ...)
SpooledTemporaryFile के कार्यान्वयन से बचें, जब तक कि पाइथन के बाद के संस्करण में एक फिक्स जारी नहीं किया जाता है और पाइथन वर् के आधार पर पुनर्निर्देशन जोड़ता है?
मैं अभी भी इस डोमेन के लिए नौसिखिया हूं, मुझे लगता है कि अन्य विकल्प भी हैं? :)

uncojohnco 21 नव॰ 2018

हम उपयोग नहीं करते थे SpooledTemporaryFile , लेकिन यह मूल कोड जो कर रहा था उसे करने के लिए एक अंतर्निहित तरीके की तरह लग रहा था। इसके बाद से काफी परेशानी हो रही है। हमें शायद SpooledTemporaryFile का उपयोग न करने के लिए वापस जाना चाहिए।

davidism 27 नव॰ 2018

👍1

मैं ध्यान देता हूं कि bpo-26175 का पुल अनुरोध अभी प्रगति पर है, कम से कम, देखें python/cpython#3249

mjpieters 28 नव॰ 2018

@mjpieters के साथ चैट करने से एक अलग विचार आया। यदि attr stream पर मौजूद नहीं है, लेकिन इसमें _file विशेषता है, तो हम FileStorage.__getattr__ stream._file कर सकते हैं।

class FileStorage:
    def __getattr__(self, name):
        try:
            return getattr(self.stream, name)
        except AttributeError:
            if hasattr(self.stream, "_file"):
                return getattr(self.stream._file, name)
            raise

davidism 29 नव॰ 2018

👍2

नमस्ते, आज फ्लास्क को 1.0.2 में अपग्रेड करें जिसमें नीड वेर्कज़ेग>= 0.14

मैं अजगर 3.6.7 (जो ubuntu 18.04 के साथ आता है) के साथ Werkzeug (0.14.1) के अंतिम संस्करण के साथ यही त्रुटि है:

विशेषता त्रुटि: 'SpooledTemporaryFile' ऑब्जेक्ट में कोई विशेषता नहीं है 'पठनीय'

क्या आप फिक्स को 0.14 संस्करण में पोर्ट करने की योजना बना रहे हैं?

धन्यवाद।

bl4ckb1rd 26 फ़र॰ 2019

अगला संस्करण 0.15 होगा। रिलीज की घोषणाओं के लिए कृपया इस रेपो, हमारे ब्लॉग या https://twitter.com/PalletsTeam का अनुसरण करें।

davidism 26 फ़र॰ 2019

👍1

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Werkzeug: फ़ाइल अपलोड पर SpooledTemporaryफ़ाइल अपवाद

सबसे उपयोगी टिप्पणी

सभी 13 टिप्पणियाँ

संबंधित मुद्दों