Werkzeug: 파일 업로드 시 SpooledTemporaryFile 예외

에 만든 2018년 08월 18일 · 13코멘트 · 출처: pallets/werkzeug

올해 초 SpooledTemporaryFile이 0.12.x에서 0.14.x로 점프한 후 파일 업로드에서 예외를 발생시키는 문제에 부딪쳤습니다. 깊이 살펴볼 시간이 없었고, 온라인에서 많은 것을 찾을 수 없었고, 그것이 우리의 잘못이거나 일부 호환되지 않는 종속성으로 인해 당신을 힘들게 하고 싶지 않았습니다. 0.12.2에 고정하고 문제를 감지할 수 있는 약간의 테스트를 작성한 다음 계속 진행했습니다.

오늘밤 내 받은 편지함에서 우리가 본 것과 비슷한 소리가 나는 flask-admin에 대한 SO 질문을 보았으므로 적어도 언급할 가치가 있다고 생각했습니다. SO 질문은 잘 표현되지 않았으므로 가장 많이 사용되지 않을 수 있습니다(https://stackoverflow.com/questions/51858248/attributeerror-spooledtemporaryfile-object-has-no-attribute-translate).

테스트가 도움이 되는 경우:

def test_werkzeug_spooled_temp_file(self):
    """
    When we jumped from Werkzeug 0.12.x to 0.14.x, we started running into an error on any attempt to upload a CSV:

    File "/home/vagrant/site/videohub/admin.py", line 728, in import_content
    for line in csv.DictReader(io.TextIOWrapper(new_file), restval=None):
    File "/usr/local/lib/python3.6/dist-packages/werkzeug/datastructures.py", line 2745, in __getattr__
    return getattr(self.stream, name)
    AttributeError: 'SpooledTemporaryFile' object has no attribute 'readable'

    Until/unless we debug this, we need to stay on Werkzeug versions where it doesn't break.
    """

    with self.client:
        from videohub import admin

        admin.auth_admin = lambda: True

        try:
            what = self.client.post(
                "/admin/importcontent/",
                data={"csv": (io.BytesIO(b"my file contents"), "test.csv")},
                content_type="multipart/form-data",
            )
        except AttributeError as e:
            if (
                str(e)
                == "'SpooledTemporaryFile' object has no attribute 'readable'"
            ):
                self.fail("Werkzeug/SpooledTemporaryFile still exists.")

SO 스레드에서 github 문제/PR, Python 문제 및 모두 관련될 수 있는 다른 SO 스레드 세트를 입력했습니다. 사라지는 경우 여기에 다시 연결:

출처

abathur

가장 유용한 댓글

어려운 재생산 사례에 대해 사과드립니다. 나는 우리가 여전히 문제를 보고 있다는 것을 확인했으며 오늘 오후에 그것을 합리적으로 간결한 재생산으로 줄이는 데 약간의 시간을 할애했습니다.

그 과정에서 잠재적인 해결 방법을 발견했습니다. 해결 방법을 광범위하게 테스트하지 않았으므로 자체 문제가 발생할지 모르겠습니다(특히 @jdalegonzalez 의 보고서에서 플랫폼이 여기 요인일 수 있음).

종속성:

pip install flask==1.0.2 pytest pytest-flask

테스트:

import pytest, io, csv
from flask import Flask, request


def fields(ob):
    return csv.DictReader(ob).fieldnames[0]


@pytest.fixture(scope="session")
def app():
    x = Flask(__name__)
    x.testing = True

    @x.route("/textio", methods=["POST"])
    def upload_file_textio():
        """succeeds with 0.12.2; fails with werkzeug==0.14.1;"""
        return fields(io.TextIOWrapper(request.files["csv"]))

    @x.route("/stringio", methods=["POST"])
    def upload_file_stringio():
        """potential workaround; succeeds for both versions"""
        return fields(io.StringIO(request.files["csv"].read().decode()))

    with x.app_context():
        yield x


@pytest.mark.parametrize("uri", ["/textio", "/stringio"])
def test_werkzeug_spooled_temp_file(client, uri):
    what = client.post(
        uri,
        data={"csv": (io.BytesIO(b"my file contents"), "test.csv")},
        content_type="multipart/form-data",
    )
    assert what.data == b"my file contents"

abathur 에 2018년 11월 14일

👍3

모든 13 댓글

가치가 있기 때문에 Werkzeug 버전만큼 간단하지 않은 것 같습니다. 우리는 Alpine3.6에서 python 3.6.6과 함께 0.14.1을 사용하고 있으며 모든 것이 작동합니다. Alpine 3.8.1과 함께 Python 3.7.0에서 Werkzeug 0.14.1을 사용할 때 문제가 나타납니다.

jdalegonzalez 에 2018년 10월 02일

https://github.com/python/cpython/pull/3249 가 결국 Python 측에서 수정 사항을 산출할 수 있을 것 같습니다.

abathur 에 2018년 11월 02일

안녕하세요 @abathur - 살펴보겠습니다...

메모:

uncojohnco 에 2018년 11월 12일

HI @abathur - 아래와 같이 리포지토리를 만들려고 했는데 오류를 재현할 수 없는 것 같습니다 =

앱.파이

import os
from flask import Flask, flash, request, redirect, url_for
from werkzeug.utils import secure_filename


UPLOAD_FOLDER = './uploads'
ALLOWED_EXTENSIONS = set(['txt', 'pdf', 'png', 'jpg', 'jpeg', 'gif'])

app = Flask(__name__)
app.config['UPLOAD_FOLDER'] = UPLOAD_FOLDER


def allowed_file(filename):
    return '.' in filename and filename.rsplit('.', 1)[1].lower() in ALLOWED_EXTENSIONS


@app.route('/', methods=['GET', 'POST'])
def upload_file():

    if request.method == 'POST':
        # check if the post request has the file part
        if 'file' not in request.files:
            flash('No file part')
            return redirect(request.url)

        file = request.files['file']

        # if user does not select file, browser also
        # submit an empty part without filename
        if file.filename == '':
            flash('No selected file')
            return redirect(request.url)

        if file and allowed_file(file.filename):
            filename = secure_filename(file.filename)
            file.save(os.path.join(app.config['UPLOAD_FOLDER'], filename))
            return redirect(url_for('uploaded_file', filename=filename))


    return '''
    <!doctype html>
    <title>Upload new File</title>
    <h1>Upload new File</h1>
    <form method=post enctype=multipart/form-data>
      <input type=file name=file>
      <input type=submit value=Upload>
    </form>
    '''


from flask import send_from_directory

@app.route('/uploads/<filename>')
def uploaded_file(filename):
    return send_from_directory(app.config['UPLOAD_FOLDER'], filename)


if __name__ == '__main__':
    app.run()

큰 파일을 생성하기 위한 스니펫

dd if=/dev/zero of=filename bs=1024 count=2M

Ubuntu - 18.10
Python -  3.6.7rc1

> pip freeze
Click==7.0
Flask==1.0.2
itsdangerous==1.1.0
Jinja2==2.10
MarkupSafe==1.1.0
Werkzeug==0.14.1

/cc @davidism

uncojohnco 에 2018년 11월 12일

그 순간을 볼 시간이 많지는 않지만, 저도 지금 재현하는 데 어려움을 겪었습니다. 지금은 이동 중이고 아침에 비행을 준비하고 있지만, 이번 주 후반에 초기 상태를 재현할 수 있는지 기억해 보려고 노력하겠습니다.

@jdalegonzalez 이 문제와 관련하여 중간에 그림을 채우는 데 도움이 될 만한 메모가 있습니까?

abathur 에 2018년 11월 13일

종속성:

pip install flask==1.0.2 pytest pytest-flask

테스트:

import pytest, io, csv
from flask import Flask, request


def fields(ob):
    return csv.DictReader(ob).fieldnames[0]


@pytest.fixture(scope="session")
def app():
    x = Flask(__name__)
    x.testing = True

    @x.route("/textio", methods=["POST"])
    def upload_file_textio():
        """succeeds with 0.12.2; fails with werkzeug==0.14.1;"""
        return fields(io.TextIOWrapper(request.files["csv"]))

    @x.route("/stringio", methods=["POST"])
    def upload_file_stringio():
        """potential workaround; succeeds for both versions"""
        return fields(io.StringIO(request.files["csv"].read().decode()))

    with x.app_context():
        yield x


@pytest.mark.parametrize("uri", ["/textio", "/stringio"])
def test_werkzeug_spooled_temp_file(client, uri):
    what = client.post(
        uri,
        data={"csv": (io.BytesIO(b"my file contents"), "test.csv")},
        content_type="multipart/form-data",
    )
    assert what.data == b"my file contents"

abathur 에 2018년 11월 14일

👍3

안녕하세요 @abathur ,

귀하의 pytest repo 실행을 간략히 살펴보았고, 한 눈에 아래 출력이 문제를 재현할 수 있는 것으로 보입니다. 앞으로 며칠 동안 더 살펴보려고 하지만 플라스크, pytests 및 비품에 관해서는 초보자입니다 😃

Testing started at 20:35 ...
/Users/jayCee/PycharmProjects/test_werkzeug_spooled_temp_file/venv/bin/python "/Users/jayCee/Library/Application Support/JetBrains/Toolbox/apps/PyCharm-P/ch-1/182.4505.26/PyCharm.app/Contents/helpers/pycharm/_jb_pytest_runner.py" --target test_werkzeug_spooled_temp.py::test_werkzeug_spooled_temp_file
Launching pytest with arguments test_werkzeug_spooled_temp.py::test_werkzeug_spooled_temp_file in /Users/jayCee/PycharmProjects/test_werkzeug_spooled_temp_file/test

============================= test session starts ==============================
platform darwin -- Python 3.6.6, pytest-4.0.0, py-1.7.0, pluggy-0.8.0
rootdir: /Users/jayCee/PycharmProjects/test_werkzeug_spooled_temp_file/test, inifile:
plugins: flask-0.14.0collected 2 items

test_werkzeug_spooled_temp.py F
test_werkzeug_spooled_temp.py:27 (test_werkzeug_spooled_temp_file[/textio])
client = <FlaskClient <Flask 'test_werkzeug_spooled_temp'>>, uri = '/textio'

    @pytest.mark.parametrize("uri", ["/textio", "/stringio"])
    def test_werkzeug_spooled_temp_file(client, uri):

        what = client.post(
            uri,
            data={"csv": (io.BytesIO(b"my file contents"), "test.csv")},
>           content_type="multipart/form-data",
        )

test_werkzeug_spooled_temp.py:34: 
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 
../venv/lib/python3.6/site-packages/werkzeug/test.py:840: in post
    return self.open(*args, **kw)
../venv/lib/python3.6/site-packages/flask/testing.py:200: in open
    follow_redirects=follow_redirects
../venv/lib/python3.6/site-packages/werkzeug/test.py:803: in open
    response = self.run_wsgi_app(environ, buffered=buffered)
../venv/lib/python3.6/site-packages/werkzeug/test.py:716: in run_wsgi_app
    rv = run_wsgi_app(self.application, environ, buffered=buffered)
../venv/lib/python3.6/site-packages/werkzeug/test.py:923: in run_wsgi_app
    app_rv = app(environ, start_response)
../venv/lib/python3.6/site-packages/flask/app.py:2309: in __call__
    return self.wsgi_app(environ, start_response)
../venv/lib/python3.6/site-packages/flask/app.py:2295: in wsgi_app
    response = self.handle_exception(e)
../venv/lib/python3.6/site-packages/flask/app.py:1741: in handle_exception
    reraise(exc_type, exc_value, tb)
../venv/lib/python3.6/site-packages/flask/_compat.py:35: in reraise
    raise value
../venv/lib/python3.6/site-packages/flask/app.py:2292: in wsgi_app
    response = self.full_dispatch_request()
../venv/lib/python3.6/site-packages/flask/app.py:1815: in full_dispatch_request
    rv = self.handle_user_exception(e)
../venv/lib/python3.6/site-packages/flask/app.py:1718: in handle_user_exception
    reraise(exc_type, exc_value, tb)
../venv/lib/python3.6/site-packages/flask/_compat.py:35: in reraise
    raise value
../venv/lib/python3.6/site-packages/flask/app.py:1813: in full_dispatch_request
    rv = self.dispatch_request()
../venv/lib/python3.6/site-packages/flask/app.py:1799: in dispatch_request
    return self.view_functions[rule.endpoint](**req.view_args)
test_werkzeug_spooled_temp.py:17: in upload_file_textio
    return fields(io.TextIOWrapper(request.files["csv"]))
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 

self = <FileStorage: 'test.csv' ('text/csv')>, name = 'readable'

    def __getattr__(self, name):
>       return getattr(self.stream, name)
E       AttributeError: 'SpooledTemporaryFile' object has no attribute 'readable'

../venv/lib/python3.6/site-packages/werkzeug/datastructures.py:2745: AttributeError
.                                         [100%]
=================================== FAILURES ===================================
___________________ test_werkzeug_spooled_temp_file[/textio] ___________________
...
# truncated duplicate above output ...

환경

macOS Mojave 10.14
Python 3.6.6

pip freeze
atomicwrites==1.2.1
attrs==18.2.0
Click==7.0
Flask==1.0.2
itsdangerous==1.1.0
Jinja2==2.10
MarkupSafe==1.1.0
more-itertools==4.3.0
pluggy==0.8.0
py==1.7.0
pytest==4.0.0
pytest-flask==0.14.0
six==1.11.0
Werkzeug==0.14.1

uncojohnco 에 2018년 11월 15일

안녕,

아래 PR에서 SpooledTemporaryFile 의 도입이 이 문제의 원인인 것 같습니다...

PR: #1198: 청크 전송 인코딩 지원

SpooledTemporaryFile 도입 - https://github.com/pallets/werkzeug/pull/1198/files#diff-91178c333961d75c285b7784d1b81cecR40)

PR: #1222 - 스풀링된 임시 파일이 없는 플랫폼에 대한 지원 추가

FormDataParser.default_stream_factory 에 대한 동작 구현 - SpooledTemporaryFile 개체 및 total_content_length > max_size 를 지원하는 플랫폼에서

SpooledTemporaryFile 구현을 주석 처리 - 테스트 코드 https://github.com/pallets/werkzeug/issues/1344#issuecomment -438836862를 통과하는 것 같습니다.

def default_stream_factory(total_content_length, filename, content_type,
                           content_length=None):
    """The stream factory that is used per default."""
    max_size = 1024 * 500
#    if SpooledTemporaryFile is not None:
#        return SpooledTemporaryFile(max_size=max_size, mode='wb+')
    if total_content_length is None or total_content_length > max_size:
        return TemporaryFile('wb+')
return BytesIO()

@abathur 링크에서처럼 보입니다. $# IOBase 의 "가정된" 추상 속성 구현이 누락되어 SpooledTemporaryFile 클래스에 문제가 있습니다. 또한 이는 512KB(?)보다 작은 파일의 경우에도 영향을 미칩니다.

FormDataParser.default_stream_factory 에 아래 원숭이 패치를 적용하면 테스트 코드 https://github.com/pallets/werkzeug/issues/1344#issuecomment -438836862를 통과하는 것으로 보입니다.

https://stackoverflow.com/questions/47160211/why-doesnt-tempfile-spooledtemporaryfile-implement-readable-writable-seekable
SpooledTemporaryFile은 IOBase에 대한 추상을 완전히 충족하지 않습니다 (즉, seekable , readable 및 writable 가 누락됨) - https://bugs.python.org/issue26175
bpo-26175: SpooledTemporaryFile IOBase 추상 수정 - https://github.com/python/cpython/pull/3249

def default_stream_factory(total_content_length, filename, content_type,
                           content_length=None):
    """The stream factory that is used per default."""
    max_size = 1024 * 500
    if SpooledTemporaryFile is not None:
        monkeypatch_SpooledTemporaryFile = SpooledTemporaryFile(max_size=max_size, mode='wb+')
        monkeypatch_SpooledTemporaryFile.readable = monkeypatch_SpooledTemporaryFile._file.readable
        monkeypatch_SpooledTemporaryFile.writable = monkeypatch_SpooledTemporaryFile._file.writable
        monkeypatch_SpooledTemporaryFile.seekable = monkeypatch_SpooledTemporaryFile._file.seekable
        return monkeypatch_SpooledTemporaryFile
    if total_content_length is None or total_content_length > max_size:
        return TemporaryFile('wb+')
    return BytesIO()

아니면 아마도...

class SpooledTemporaryFile_Patched(SpooledTemporaryFile): 
    """Patch for `SpooledTemporaryFile exceptions on file upload #1344`
      - SpooledTemporaryFile does not fully satisfy the abstract for IOBase - https://bugs.python.org/issue26175 
      - bpo-26175: Fix SpooledTemporaryFile IOBase abstract - https://github.com/python/cpython/pull/3249

     TODO: Remove patch once `bpo-26175: Fix SpooledTemporaryFile IOBase abstract` is resolved..."""

    def readable(self):
        return self._file.readable

    def writable(self):
        return self._file.writable

    def seekable(self):
        return self._file.seekable

...

def default_stream_factory(total_content_length, filename, content_type, content_length=None):
    """The stream factory that is used per default.

    Patch: `SpooledTemporaryFile exceptions on file upload #1344`, Remove once `bpo-26175: Fix SpooledTemporaryFile IOBase abstract` is resolved...
      - SpooledTemporaryFile does not fully satisfy the abstract for IOBase - https://bugs.python.org/issue26175 
      - bpo-26175: Fix SpooledTemporaryFile IOBase abstract - https://github.com/python/cpython/pull/3249"""
    max_size = 1024 * 500
    if SpooledTemporaryFile is not None:
        # TODO: Remove patch once `bpo-26175: Fix SpooledTemporaryFile IOBase abstract` is resolved...
        SpooledTemporaryFile = SpooledTemporaryFile_Patched
        return SpooledTemporaryFile_Patched(max_size=max_size, mode='wb+')
    if total_content_length is None or total_content_length > max_size:
        return TemporaryFile('wb+')
    return BytesIO()

가장 좋은 조치는 무엇입니까?

SpooledTemporaryFile 에 대한 원숭이 패치를 구현하시겠습니까? (아마도 더 좋은 방법이 있을 것입니다...)
이후 버전의 Python에서 수정 사항이 릴리스될 때까지 SpooledTemporaryFile 구현을 피하고 Python 버전에 따라 리디렉션을 추가하시겠습니까?
저는 아직 이 도메인의 초보자입니다. 다른 옵션이 있는 것 같습니까? :)

uncojohnco 에 2018년 11월 21일

우리는 SpooledTemporaryFile 를 사용하지 않았지만 원래 코드가 하던 일을 하는 내장된 방법처럼 보였습니다. 이후 많은 문제를 일으켰다. SpooledTemporaryFile 를 사용하지 않는 것으로 돌아가야 합니다.

davidism 에 2018년 11월 27일

👍1

😞 bpo-26175에는 현재 진행 중인 pull 요청이 있습니다. 최소한 python/cpython#3249를 참조하세요.

mjpieters 에 2018년 11월 28일

@mjpieters와의 채팅에서 다른 아이디어가 떠올랐습니다. $# stream 에 attr이 없지만 _file 속성이 있는 경우 FileStorage.__getattr__ 을 변경하여 stream._file #$를 시도할 수 있습니다.

class FileStorage:
    def __getattr__(self, name):
        try:
            return getattr(self.stream, name)
        except AttributeError:
            if hasattr(self.stream, "_file"):
                return getattr(self.stream._file, name)
            raise

davidism 에 2018년 11월 29일

👍2

안녕하세요, 오늘 플라스크를 1.0.2로 업그레이드하고 werkzeug >= 0.14가 필요합니다.

python 3.6.7(우분투 18.04와 함께 제공됨)이 있는 마지막 버전의 werkzeug(0.14.1)에서도 이와 동일한 오류가 발생했습니다.

AttributeError: 'SpooledTemporaryFile' 개체에 '읽을 수 있는' 속성이 없습니다.

수정 사항을 버전 0.14로 이식할 계획입니까?

감사합니다.

bl4ckb1rd 에 2019년 02월 26일

다음 버전은 0.15입니다. 릴리스 발표를 보려면 이 리포지토리, 블로그 또는 https://twitter.com/PalletsTeam 을 팔로우하세요.

davidism 에 2019년 02월 26일

👍1

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Werkzeug: 파일 업로드 시 SpooledTemporaryFile 예외

가장 유용한 댓글

모든 13 댓글

관련 문제