Werkzeug: Werkzeug неправильно обрабатывает многострочные заголовки

Заголовки HTTP не допускают перевода строки. В разделе, который вы цитируете, говорится о сворачивании, которое должно удалять новые строки из развернутого значения. Этот:

"""foo
     bar"""

должен развернуться примерно так:

"foo bar"

Кроме того, Werkzeug не анализирует HTTP на этом уровне, это работа сервера WSGI. Единственная причина, по которой он отклоняет символы новой строки при синтаксическом анализе, - это выявление проблем с безопасностью.

Этот билет был мотивирован реальным поведением Flask в режиме разработки за клиентскими сертификатами прокси-сервера nginx. При такой настройке я заметил новые строки в заголовках, передаваемых приложению. Но когда я попытался воспроизвести это в модульном тесте, я получил указанное выше ValueError при создании заголовков запроса.

Я провел немного больше исследований по этой проблеме и обнаружил следующее:

• В спецификации HTTP ( RFC 2616 ) указано, что символы новой строки в заголовках МОГУТ быть заменены одним пробелом, а не гарантированно (см. Цитату выше).

• Спецификация CGI ( RFC 3875 ), которую расширяет WSGI, требует замены новых строк в заголовках запросов:

  Точно так же поле заголовка, которое охватывает несколько строк, ДОЛЖНО быть объединено в одну строку.

• Спецификация WSGI ( PEP 333 ) также запрещает символы новой строки в заголовках ответов:

  Каждый header_value не должен включать никаких управляющих символов, включая символы возврата каретки или перевода строки, как встроенные, так и в конце.

Это означает, что здесь есть две ошибки:

• Сервер разработки werkzeug неправильно нормализует свернутые строки в заголовках запросов.

• Объект Headers несовместим с приемом новой строки в значениях заголовков. Новые строки принимаются в конструкторе, но не в методе add() . Вероятно, лучше, чтобы объект Headers оставался разрешающим и выполнял проверку при фактическом построении ответа WSGI в BaseResponse . Таким образом, запрещение новой строки в конструкторе не нарушит совместимость с возможно несоответствующими серверами WSGI (такими как собственный сервер разработки werkzeug).

Справедливо. Также есть номер 1070, который играет в это.

Совершенно уверен, что это было исправлено с помощью исправления для # 1070. Если нет, сообщите мне воспроизводимый пример.

@davidism Как я уже упоминал в предыдущем комментарии, на самом деле здесь есть две ошибки, ни одна из которых не была исправлена ​​в текущей основной ветке.

Первая ошибка связана с тем, как сервер разработки werkzeug обрабатывает строковые заголовки. Его можно воспроизвести с помощью следующего серверного кода, который печатает значение заголовка X-Example :

from werkzeug.serving import run_simple
from werkzeug.wrappers import Request, Response

def app(environ, start_response):
    request = Request(environ)
    print(repr(request.headers.get('X-Example')))
    response = Response(status=204)
    return response(environ, start_response)

run_simple('localhost', 8080, app)

Затем мы можем отправить ему запрос с заголовком, охватывающим несколько строк:

GET / HTTP/1.1
Host: localhost:8080
Connection: close
X-Example: foo
 bar

Ожидаемый результат сервера:
Значение заголовка объединено в одну строку

'foo bar'

Фактический вывод сервера (Python 2):

----------------------------------------
Exception happened during processing of request from ('127.0.0.1', 57361)
Traceback (most recent call last):
  File "/usr/lib/python2.7/SocketServer.py", line 295, in _handle_request_noblock
    self.process_request(request, client_address)
  File "/usr/lib/python2.7/SocketServer.py", line 321, in process_request
    self.finish_request(request, client_address)
  File "/usr/lib/python2.7/SocketServer.py", line 334, in finish_request
    self.RequestHandlerClass(request, client_address, self)
  File "/usr/lib/python2.7/SocketServer.py", line 649, in __init__
    self.handle()
  File "/home/.../venv/local/lib/python2.7/site-packages/werkzeug/serving.py", line 320, in handle
    rv = BaseHTTPRequestHandler.handle(self)
  File "/usr/lib/python2.7/BaseHTTPServer.py", line 340, in handle
    self.handle_one_request()
  File "/home/.../venv/local/lib/python2.7/site-packages/werkzeug/serving.py", line 355, in handle_one_request
    return self.run_wsgi()
  File "/home/.../venv/local/lib/python2.7/site-packages/werkzeug/serving.py", line 238, in run_wsgi
    self.environ = environ = self.make_environ()
  File "/home/.../venv/local/lib/python2.7/site-packages/werkzeug/serving.py", line 217, in make_environ
    for key, value in self.get_header_items():
  File "/home/.../venv/local/lib/python2.7/site-packages/werkzeug/serving.py", line 441, in get_header_items
    key, value = header[0:-2].split(":", 1)
ValueError: need more than 1 value to unpack
----------------------------------------

Фактический вывод сервера (Python 3):
Значение заголовка содержит символы новой строки, запрещенные спецификацией WSGI.

'foo\r\n bar'

Вторая ошибка связана с тем, как объект Headers обрабатывает значения новой строки.

>>> from werkzeug import Headers
>>> h1 = Headers([('X-Example', 'foo\r\n bar')])
>>> h2 = Headers()
>>> h2.add('X-Example', 'foo\r\n bar')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/.../venv3/lib/python3.6/site-packages/werkzeug/datastructures.py", line 1166, in add
    self._validate_value(_value)
  File "/home/.../venv3/lib/python3.6/site-packages/werkzeug/datastructures.py", line 1173, in _validate_value
    raise ValueError('Detected newline in header value.  This is '
ValueError: Detected newline in header value.  This is a potential security problem

Ожидаемый результат:
Обе операции должны иметь одинаковый результат, будь то ValueError или успех.

Фактический результат:
Конструктор Headers разрешает перевод строки, а Headers.add() увеличивает ValueError .

Недавно я видел ValueError в одном из наших проектов (Python 2.7 с Flask), который находится за прокси-сервером nginx. В итоге я вернулся к 0.14.1 (переопределив версию, связанную с Flask ), и моя ошибка исчезла. Думал, что добавлю, так как кажется, что ветвь 0.15.x представила эту проблему (или потенциально создала новую проблему с тем, как она обрабатывала заголовки запросов).

------ОБНОВИТЬ-------:

Я отследил, какие заголовки мы передали, и один из них был многострочным сертификатом в формате pem, то есть:

SSL_CLIENT_CERT: -----BEGIN CERTIFICATE-----
    MIIFHzCCAwegAwIBAgICEDgwDQYJKoZIhvcNAQELBQAwajELMAkGA1UEBhMCdXMx
    GDAWBgNVBAoMD3Uucy4gZ292ZXJubWVudDEPMA0GA1UECwwGcGVvcGxlMQwwCgYD
    VQQLDANkYWUxEDAOBgNVBAsMB2NoaW1lcmExEDAOBgNVBAMMB0ludGVyQ0EwHhcN
    MTcwODMxMTUwMzEwWhcNMjcwODI5MTUwMzEwWjBwMQswCQYDVQQGEwJVUzEYMBYG
    A1UECgwPVS5TLiBHb3Zlcm5tZW50MRAwDgYDVQQLDAdjaGltZXJhMQwwCgYDVQQL
    ....  
    -----END CERTIFICATE-----

Наш сервер nginx был настроен так:

proxy_set_header SSL_CLIENT_CERT $ssl_client_cert;

Вероятно, нам следует использовать $ssl_client_escaped_cert вместо $ssl_client_cert (так как это в любом случае устарело). Не уверен, что это изменение решит проблему с синтаксическим анализом заголовка.

Надеюсь, это поможет всем, кто сталкивается с этой проблемой. Похоже, что 0.15.1 неправильно обрабатывает многострочный заголовок, такой как сертификат PEM, в настоящее время с Python 2.7.

Это проблема версии 2.7, снова вызванная обработкой заголовка сервера разработки. Я добавляю возможность обработки сворачивания заголовков в код совместимости 2.7 для заголовков запросов.

Подтверждено, что ошибка сервера разработки теперь исправлена ​​как в Python 2, так и в 3. Вторая проблема с объектом Headers все еще присутствует. Открыт №1608.