Werkzeug: Werkzeug मल्टीलाइन हेडर को गलत तरीके से हैंडल करता है

HTTP शीर्षलेख न्यूलाइन की अनुमति नहीं देते हैं। आप जिस खंड को उद्धृत कर रहे हैं वह तह के बारे में बात करता है, जिसे सामने वाले मूल्य से नई पंक्तियों को हटाना चाहिए। यह:

"""foo
     bar"""

कुछ इस तरह प्रकट होना चाहिए:

"foo bar"

इसके अलावा, Werkzeug इस स्तर पर HTTP को पार्स नहीं करता है, यह WSGI सर्वर का काम है। सुरक्षा मुद्दों को पकड़ने के लिए अनुरोधों को पार्स करते समय यह न्यूलाइन को अस्वीकार करने का एकमात्र कारण है।

यह टिकट nginx प्रॉक्सी फ़ॉरवर्डिंग क्लाइंट प्रमाणपत्रों के पीछे विकास मोड में फ्लास्क के वास्तविक जीवन व्यवहार से प्रेरित था। उस सेटअप के साथ, मैंने एप्लिकेशन को पास किए जा रहे हेडर में न्यूलाइन्स देखीं। लेकिन जब मैंने इसे यूनिट टेस्ट में दोहराने का प्रयास किया तो मुझे अनुरोध हेडर बनाते समय उपरोक्त ValueError मिला।

मैंने इस मुद्दे पर थोड़ा और शोध किया और निम्नलिखित पाया:

• HTTP युक्ति ( RFC 2616 ) में कहा गया है कि शीर्षलेखों में नई पंक्तियों को एक ही स्थान से बदला जा सकता है, यह नहीं कि उनके होने की गारंटी है (ऊपर उद्धरण देखें)।

• सीजीआई स्पेक ( आरएफसी 3875 ), जिसे डब्लूएसजीआई विस्तारित करता है, को बदलने के लिए अनुरोध शीर्षलेखों में नई पंक्तियों की आवश्यकता होती है:

  इसी तरह, एक हेडर फ़ील्ड जो कई पंक्तियों तक फैली हुई है, उसे एक पंक्ति में मर्ज किया जाना चाहिए।

• WSGI युक्ति ( PEP ३३३ ) प्रतिक्रिया शीर्षलेखों में नई पंक्तियों को भी प्रतिबंधित करती है:

  प्रत्येक header_value में कोई भी नियंत्रण वर्ण शामिल नहीं होना चाहिए, जिसमें कैरिज रिटर्न या लाइनफ़ीड शामिल हैं, या तो एम्बेडेड या अंत में।

तो इसका मतलब है कि यहां दो बग हैं:

• Werkzeug विकास सर्वर अनुरोध शीर्षलेखों में फ़ोल्ड स्ट्रिंग्स को सही ढंग से सामान्य नहीं करता है।

• Headers ऑब्जेक्ट हेडर मानों में न्यूलाइन स्वीकार करने के बारे में असंगत है। कंस्ट्रक्टर में नई लाइनें स्वीकार की जाती हैं, लेकिन add() पद्धति में नहीं। यह शायद के लिए बेहतर है Headers वस्तु अनुमोदक बनी रहती है और जब वास्तव में में WSGI प्रतिक्रिया के निर्माण का सत्यापन प्रदर्शन करने के लिए BaseResponse । इस तरह कंस्ट्रक्टर में न्यूलाइन्स को मना करने से संभवतः गैर-अनुरूप WSGI सर्वर (जैसे कि Werkzeug का अपना डेवलपमेंट सर्वर) के साथ संगतता नहीं टूटेगी।

काफी उचित। इसमें #1070 भी है जो इसमें खेलता है।

निश्चित रूप से यह #1070 के लिए फिक्स के साथ तय किया गया था। यदि नहीं, तो कृपया मुझे एक प्रतिलिपि प्रस्तुत करने योग्य उदाहरण के साथ बताएं।

@davidism जैसा कि मैंने पिछली टिप्पणी में उल्लेख किया है, वास्तव में यहां दो बग हैं, जिनमें से कोई भी वर्तमान मास्टर शाखा पर तय नहीं किया गया है।

पहली बग में शामिल है कि कैसे वर्कज़ेग डेवलपमेंट सर्वर लाइन-रैप्ड हेडर को हैंडल करता है। इसे निम्नलिखित सर्वर कोड के साथ पुन: प्रस्तुत किया जा सकता है, जो X-Example हेडर के मूल्य को प्रिंट करता है:

from werkzeug.serving import run_simple
from werkzeug.wrappers import Request, Response

def app(environ, start_response):
    request = Request(environ)
    print(repr(request.headers.get('X-Example')))
    response = Response(status=204)
    return response(environ, start_response)

run_simple('localhost', 8080, app)

फिर हम इसे कई पंक्तियों में फैले हेडर के साथ एक अनुरोध भेज सकते हैं:

GET / HTTP/1.1
Host: localhost:8080
Connection: close
X-Example: foo
 bar

अपेक्षित सर्वर आउटपुट:
हैडर वैल्यू को एक लाइन में मर्ज किया जाता है

'foo bar'

वास्तविक सर्वर आउटपुट (पायथन 2):

----------------------------------------
Exception happened during processing of request from ('127.0.0.1', 57361)
Traceback (most recent call last):
  File "/usr/lib/python2.7/SocketServer.py", line 295, in _handle_request_noblock
    self.process_request(request, client_address)
  File "/usr/lib/python2.7/SocketServer.py", line 321, in process_request
    self.finish_request(request, client_address)
  File "/usr/lib/python2.7/SocketServer.py", line 334, in finish_request
    self.RequestHandlerClass(request, client_address, self)
  File "/usr/lib/python2.7/SocketServer.py", line 649, in __init__
    self.handle()
  File "/home/.../venv/local/lib/python2.7/site-packages/werkzeug/serving.py", line 320, in handle
    rv = BaseHTTPRequestHandler.handle(self)
  File "/usr/lib/python2.7/BaseHTTPServer.py", line 340, in handle
    self.handle_one_request()
  File "/home/.../venv/local/lib/python2.7/site-packages/werkzeug/serving.py", line 355, in handle_one_request
    return self.run_wsgi()
  File "/home/.../venv/local/lib/python2.7/site-packages/werkzeug/serving.py", line 238, in run_wsgi
    self.environ = environ = self.make_environ()
  File "/home/.../venv/local/lib/python2.7/site-packages/werkzeug/serving.py", line 217, in make_environ
    for key, value in self.get_header_items():
  File "/home/.../venv/local/lib/python2.7/site-packages/werkzeug/serving.py", line 441, in get_header_items
    key, value = header[0:-2].split(":", 1)
ValueError: need more than 1 value to unpack
----------------------------------------

वास्तविक सर्वर आउटपुट (पायथन 3):
शीर्षलेख मान में WSGI विनिर्देश द्वारा अस्वीकृत न्यूलाइन वर्ण शामिल हैं

'foo\r\n bar'

दूसरा बग यह है कि कैसे Headers ऑब्जेक्ट न्यूलाइन मानों को संभालता है।

>>> from werkzeug import Headers
>>> h1 = Headers([('X-Example', 'foo\r\n bar')])
>>> h2 = Headers()
>>> h2.add('X-Example', 'foo\r\n bar')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/.../venv3/lib/python3.6/site-packages/werkzeug/datastructures.py", line 1166, in add
    self._validate_value(_value)
  File "/home/.../venv3/lib/python3.6/site-packages/werkzeug/datastructures.py", line 1173, in _validate_value
    raise ValueError('Detected newline in header value.  This is '
ValueError: Detected newline in header value.  This is a potential security problem

अपेक्षित परिणाम:
दोनों ऑपरेशनों का एक ही परिणाम होना चाहिए, चाहे वह ValueError या सफलता।

वास्तविक परिणाम:
Headers कंस्ट्रक्टर न्यूलाइन की अनुमति देता है जबकि Headers.add() ValueError बढ़ाता है।

मैं हाल ही में हमारी एक परियोजना में ValueError देख रहा था (पायथन 2.7 फ्लास्क के साथ) जो एक nginx प्रॉक्सी के पीछे बैठने के लिए होता है। मैंने 0.14.1 वापस लौटना समाप्त कर दिया ( Flask साथ बंडल किए गए संस्करण को ओवरराइड करना) और मेरी त्रुटि दूर हो गई। सोचा था कि मैं जोड़ूंगा क्योंकि ऐसा लगता है कि 0.15.x शाखा ने इस समस्या को पेश किया (या संभावित रूप से अनुरोध हेडर को संभालने के तरीके के साथ एक नई समस्या बनाई)।

------अपडेट करें-------:

मैंने ट्रैक किया कि हम कौन से हेडर पास कर रहे थे और उनमें से एक पीईएम प्रारूप में एक बहु-पंक्ति प्रमाण पत्र था यानी:

SSL_CLIENT_CERT: -----BEGIN CERTIFICATE-----
    MIIFHzCCAwegAwIBAgICEDgwDQYJKoZIhvcNAQELBQAwajELMAkGA1UEBhMCdXMx
    GDAWBgNVBAoMD3Uucy4gZ292ZXJubWVudDEPMA0GA1UECwwGcGVvcGxlMQwwCgYD
    VQQLDANkYWUxEDAOBgNVBAsMB2NoaW1lcmExEDAOBgNVBAMMB0ludGVyQ0EwHhcN
    MTcwODMxMTUwMzEwWhcNMjcwODI5MTUwMzEwWjBwMQswCQYDVQQGEwJVUzEYMBYG
    A1UECgwPVS5TLiBHb3Zlcm5tZW50MRAwDgYDVQQLDAdjaGltZXJhMQwwCgYDVQQL
    ....  
    -----END CERTIFICATE-----

हमारा nginx सर्वर इस प्रकार कॉन्फ़िगर किया गया था:

proxy_set_header SSL_CLIENT_CERT $ssl_client_cert;

हम शायद का उपयोग करना चाहिए $ssl_client_escaped_cert के बजाय $ssl_client_cert (के बाद से इस वैसे भी हटा दिया गया है)। सुनिश्चित नहीं है कि यह परिवर्तन हालांकि हेडर पार्सिंग समस्या को ठीक करेगा।

उम्मीद है कि यह किसी और की मदद करता है जो इस समस्या में चल रहा है। ऐसा प्रतीत होता है कि 0.15.1 इस समय Python 2.7 के साथ PEM सर्टिफिकेट जैसे मल्टी-लाइन हेडर को ठीक से हैंडल नहीं करता है।

यह एक 2.7 मुद्दा है जो फिर से विकास सर्वर के हेडर प्रोसेसिंग के कारण होता है। मैं अनुरोध शीर्षलेखों के लिए 2.7 संगतता कोड में हेडर के फोल्डिंग को संसाधित करने की क्षमता जोड़ रहा हूं।

पुष्टि की है कि विकास सर्वर बग अब पायथन 2 और 3 दोनों में तय किया गया है। Headers ऑब्जेक्ट के साथ दूसरा मुद्दा अभी भी मौजूद है। #1608 खोला गया।