Werkzeug: Werkzeug가 여러 줄 헤더를 잘못 처리함

HTTP 헤더는 개행을 허용하지 않습니다 . 인용하고 있는 섹션은 접힌 값에서 개행을 제거해야 하는 접기에 대해 설명합니다. 이:

"""foo
     bar"""

다음과 같이 펼쳐져야 합니다.

"foo bar"

그 외에도 Werkzeug는 이 수준에서 HTTP를 구문 분석하지 않으며 이것이 WSGI 서버의 작업입니다. 요청을 구문 분석할 때 줄 바꿈을 거부하는 유일한 이유는 보안 문제를 포착하기 위해서입니다.

이 티켓은 nginx 프록시 전달 클라이언트 인증서 뒤에 있는 개발 모드에서 Flask의 실제 동작에 의해 동기가 부여되었습니다. 그 설정으로 헤더의 줄 바꿈이 애플리케이션에 전달되는 것을 관찰했습니다. 그러나 단위 테스트에서 이것을 복제하려고 시도했을 때 요청 헤더를 작성할 때 위의 ValueError 얻었습니다.

이 문제에 대해 좀 더 조사한 결과 다음을 발견했습니다.

• HTTP 사양( RFC 2616 )에 따르면 헤더의 줄 바꿈은 단일 공백으로 대체될 수 있지만 보장되지는 않습니다(위의 인용문 참조).

• WSGI가 확장하는 CGI 사양( RFC 3875 )에서는 요청 헤더의 줄 바꿈을 교체해야 합니다.

  유사하게, 여러 줄에 걸쳐 있는 헤더 필드는 반드시 한 줄로 병합되어야 합니다.

• WSGI 사양( PEP 333 )도 응답 헤더에 줄 바꿈을 금지합니다.

  각 header_value 에는 캐리지 리턴 또는 줄 바꿈을 포함하여 포함되거나 끝에 제어 문자가 포함되어서는 안 됩니다.

이것은 여기에 두 가지 버그가 있음을 의미합니다.

• werkzeug 개발 서버는 요청 헤더에서 접힌 문자열을 올바르게 정규화하지 않습니다.

• Headers 개체는 헤더 값에서 줄 바꿈을 허용하는 것과 일치하지 않습니다. 개행은 생성자에서 허용되지만 add() 메서드에서는 허용되지 않습니다. BaseResponse 에서 실제로 WSGI 응답을 구성할 때 Headers 개체가 허용 상태를 유지하고 유효성 검사를 수행하는 것이 더 나을 것입니다. 그렇게 하면 생성자에서 줄 바꿈을 금지해도 비준수 WSGI 서버(예: werkzeug 자체 개발 서버)와의 호환성이 손상되지 않습니다.

그럴 수 있지. 이것과 관련된 #1070도 있습니다.

이것은 #1070에 대한 수정 사항으로 수정된 것이 확실합니다. 그렇지 않은 경우 재현 가능한 예를 들어 알려주십시오.

@davidism 이전 댓글에서 언급했듯이 실제로 여기에는 두 가지 버그가 있으며 둘 다 현재 마스터 브랜치에서 수정되지 않았습니다.

첫 번째 버그는 werkzeug 개발 서버가 줄 바꿈된 헤더를 처리하는 방법과 관련이 있습니다. X-Example 헤더 값을 인쇄하는 다음 서버 코드로 재현할 수 있습니다.

from werkzeug.serving import run_simple
from werkzeug.wrappers import Request, Response

def app(environ, start_response):
    request = Request(environ)
    print(repr(request.headers.get('X-Example')))
    response = Response(status=204)
    return response(environ, start_response)

run_simple('localhost', 8080, app)

그런 다음 여러 줄에 걸친 헤더가 있는 요청을 보낼 수 있습니다.

GET / HTTP/1.1
Host: localhost:8080
Connection: close
X-Example: foo
 bar

예상 서버 출력:
헤더 값이 한 줄에 병합됩니다.

'foo bar'

실제 서버 출력(Python 2):

----------------------------------------
Exception happened during processing of request from ('127.0.0.1', 57361)
Traceback (most recent call last):
  File "/usr/lib/python2.7/SocketServer.py", line 295, in _handle_request_noblock
    self.process_request(request, client_address)
  File "/usr/lib/python2.7/SocketServer.py", line 321, in process_request
    self.finish_request(request, client_address)
  File "/usr/lib/python2.7/SocketServer.py", line 334, in finish_request
    self.RequestHandlerClass(request, client_address, self)
  File "/usr/lib/python2.7/SocketServer.py", line 649, in __init__
    self.handle()
  File "/home/.../venv/local/lib/python2.7/site-packages/werkzeug/serving.py", line 320, in handle
    rv = BaseHTTPRequestHandler.handle(self)
  File "/usr/lib/python2.7/BaseHTTPServer.py", line 340, in handle
    self.handle_one_request()
  File "/home/.../venv/local/lib/python2.7/site-packages/werkzeug/serving.py", line 355, in handle_one_request
    return self.run_wsgi()
  File "/home/.../venv/local/lib/python2.7/site-packages/werkzeug/serving.py", line 238, in run_wsgi
    self.environ = environ = self.make_environ()
  File "/home/.../venv/local/lib/python2.7/site-packages/werkzeug/serving.py", line 217, in make_environ
    for key, value in self.get_header_items():
  File "/home/.../venv/local/lib/python2.7/site-packages/werkzeug/serving.py", line 441, in get_header_items
    key, value = header[0:-2].split(":", 1)
ValueError: need more than 1 value to unpack
----------------------------------------

실제 서버 출력(Python 3):
헤더 값에 WSGI 사양에서 허용하지 않는 줄 바꿈 문자가 포함되어 있습니다.

'foo\r\n bar'

두 번째 버그는 Headers 개체가 줄 바꿈 값을 처리하는 방법과 관련이 있습니다.

>>> from werkzeug import Headers
>>> h1 = Headers([('X-Example', 'foo\r\n bar')])
>>> h2 = Headers()
>>> h2.add('X-Example', 'foo\r\n bar')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/.../venv3/lib/python3.6/site-packages/werkzeug/datastructures.py", line 1166, in add
    self._validate_value(_value)
  File "/home/.../venv3/lib/python3.6/site-packages/werkzeug/datastructures.py", line 1173, in _validate_value
    raise ValueError('Detected newline in header value.  This is '
ValueError: Detected newline in header value.  This is a potential security problem

예상 결과:
ValueError 이든 성공이든 두 작업의 결과는 동일해야 합니다.

실제 결과:
Headers 생성자는 줄 바꿈을 허용하는 반면 Headers.add() ValueError 시킵니다.

최근에 nginx 프록시 뒤에 있는 프로젝트(Flask가 포함된 Python 2.7) 중 하나에서 ValueError 보았습니다. 결국 0.14.1 ( Flask 번들로 제공되는 버전 무시)로 되돌아갔고 오류가 사라졌습니다. 0.15.x 분기가 이 문제를 도입한 것 같기 때문에 추가할 것이라고 생각했습니다(또는 잠재적으로 요청 헤더를 처리하는 방법에 새로운 문제가 발생할 수 있음).

------최신 정보-------:

나는 우리가 전달한 헤더를 추적했고 그 중 하나는 pem 형식의 여러 줄 인증서였습니다.

SSL_CLIENT_CERT: -----BEGIN CERTIFICATE-----
    MIIFHzCCAwegAwIBAgICEDgwDQYJKoZIhvcNAQELBQAwajELMAkGA1UEBhMCdXMx
    GDAWBgNVBAoMD3Uucy4gZ292ZXJubWVudDEPMA0GA1UECwwGcGVvcGxlMQwwCgYD
    VQQLDANkYWUxEDAOBgNVBAsMB2NoaW1lcmExEDAOBgNVBAMMB0ludGVyQ0EwHhcN
    MTcwODMxMTUwMzEwWhcNMjcwODI5MTUwMzEwWjBwMQswCQYDVQQGEwJVUzEYMBYG
    A1UECgwPVS5TLiBHb3Zlcm5tZW50MRAwDgYDVQQLDAdjaGltZXJhMQwwCgYDVQQL
    ....  
    -----END CERTIFICATE-----

nginx 서버는 다음과 같이 구성되었습니다.

proxy_set_header SSL_CLIENT_CERT $ssl_client_cert;

우리는 아마 사용해야합니다 $ssl_client_escaped_cert 대신 $ssl_client_cert (이 어쨌든되지 않습니다 때문에). 그 변경으로 헤더 구문 분석 문제가 해결되는지 확실하지 않습니다.

이것이이 문제에 직면 한 다른 사람에게 도움이되기를 바랍니다. 0.15.1 는 현재 Python 2.7에서 PEM 인증서와 같은 여러 줄 헤더를 제대로 처리하지 못하는 것으로 보입니다.

이것은 개발 서버의 헤더 처리로 인해 다시 2.7 문제입니다. 요청 헤더에 대한 2.7 호환성 코드에 헤더 접기를 처리하는 기능을 추가하고 있습니다.

개발 서버 버그가 이제 Python 2 및 3에서 수정되었음을 확인했습니다. Headers 개체에 대한 두 번째 문제는 여전히 존재합니다. #1608을 열었습니다.