Requests: असामान्य यूआरएल स्ट्रिंग क्रैश py3 है

भावी पीढ़ी के लिए, संपूर्ण ट्रेसबैक यह है:

>>> requests.get(base_url)
Traceback (most recent call last):
  File "/Users/cory/.pyenv/versions/3.6.0/lib/python3.6/encodings/idna.py", line 165, in encode
    raise UnicodeError("label empty or too long")
UnicodeError: label empty or too long

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Users/cory/Documents/Python/requests_org/requests/requests/api.py", line 72, in get
    return request('get', url, params=params, **kwargs)
  File "/Users/cory/Documents/Python/requests_org/requests/requests/api.py", line 58, in request
    return session.request(method=method, url=url, **kwargs)
  File "/Users/cory/Documents/Python/requests_org/requests/requests/sessions.py", line 493, in request
    prep.url, proxies, stream, verify, cert
  File "/Users/cory/Documents/Python/requests_org/requests/requests/sessions.py", line 666, in merge_environment_settings
    env_proxies = get_environ_proxies(url, no_proxy=no_proxy)
  File "/Users/cory/Documents/Python/requests_org/requests/requests/utils.py", line 692, in get_environ_proxies
    if should_bypass_proxies(url, no_proxy=no_proxy):
  File "/Users/cory/Documents/Python/requests_org/requests/requests/utils.py", line 676, in should_bypass_proxies
    bypass = proxy_bypass(netloc)
  File "/Users/cory/.pyenv/versions/3.6.0/lib/python3.6/urllib/request.py", line 2616, in proxy_bypass
    return proxy_bypass_macosx_sysconf(host)
  File "/Users/cory/.pyenv/versions/3.6.0/lib/python3.6/urllib/request.py", line 2593, in proxy_bypass_macosx_sysconf
    return _proxy_bypass_macosx_sysconf(host, proxy_settings)
  File "/Users/cory/.pyenv/versions/3.6.0/lib/python3.6/urllib/request.py", line 2566, in _proxy_bypass_macosx_sysconf
    hostIP = socket.gethostbyname(hostonly)
UnicodeError: encoding with 'idna' codec failed (UnicodeError: label empty or too long)

मुझे नहीं लगता कि हम इसके बारे में बहुत कुछ कर सकते हैं। त्रुटि मानक पुस्तकालय से आ रही है (विशेष रूप से, urllib proxy_bypass फ़ंक्शन में)। यह केवल पायथन 3 पर मौजूद है, जिसे कॉल करने की आवश्यकता महसूस होती है socket.gethostbyname । यह फ़ंक्शन स्वचालित रूप से एक यूनिकोड होस्टनाम को आईडीएनए-एन्कोड करेगा, यहां तक ​​​​कि ऐसी स्थितियों में भी जहां यह आवश्यक नहीं है, और इसका आईडीएनए एन्कोडर इसे सही ढंग से अस्वीकार करता है।

इसे ठीक करने का एक ही तरीका है कि URL को किसी न किसी रूप में सामान्य बनाने वाले अधिक स्मार्ट URL हैंडलिंग कार्यान्वयन की ओर बढ़ें। सबसे अच्छा उम्मीदवार हाइपरलिंक है, लेकिन हाइपरलिंक भी इसी कारण से इस पर रोक लगाता है (यह आईडीएनए-एन्कोड करने की कोशिश करता है और विफल रहता है)।

इसका मतलब यह है कि हम यूआरएल होस्ट नॉर्मलाइज़र के साथ हाइपरलिंक को बढ़ाकर इसे ठीक कर सकते हैं और फिर इसे संभाल सकते हैं। हालाँकि, WHATWG URL विनिर्देश भी URL के इस रूप को मना करता प्रतीत होता है। अगर ऐसा होता है तो मुझे यकीन नहीं है कि क्यों, क्रोम इसे सामान्य करता है (हालांकि सफारी नहीं करता है)।

ऐसा करने के लिए आवश्यक कार्य की मात्रा को देखते हुए, मुझे इसे सहन करने का कोई कारण नहीं दिखता। यूआरएल किसी भी चीज से बहुत ही शानदार रूप से दूर है जिसे उचित रूप से काम करने की उम्मीद की जा सकती है, इसलिए मैं इसे ठीक नहीं करने के रूप में इसे बंद करने के इच्छुक हूं।

मुझे प्रारूप के यूआरएल के लिए इसका सामना करना पड़ रहा है:

https://key:[email protected]/path/file.json

और 132 वर्णों की लंबाई।

@johnpaulhayes यह अभी भी अनुरोध पुस्तकालय के साथ कोई समस्या नहीं है, लेकिन जैसा कि मैं इसमें भी चल रहा हूं, मुझे लगता है कि मैं एक अपडेट छोड़ दूंगा।

ऐसा लगता है कि यह यूआरएल की कुल लंबाई नहीं है, बस इसका एक हिस्सा है। जब होस्ट नाम का पहला भाग 64 वर्णों से अधिक लंबा होता है, तो idna एन्कोडर url पर टूटता हुआ प्रतीत होता है। किसी भी कारण से, इसमें कुंजी और रहस्य भी शामिल है। तो या तो python3 से बचें या लंबे समय तक " key:secret@example " स्ट्रिंग्स (लंबी एपीआई कुंजियों से बचने की संभावना) से बचें, जब तक कि अंतर्निहित कार्य तय न हो जाएं। मैंने कल इसके लिए अजगर ट्रैकर को एक बग जमा किया।

अजगर पक्ष पर इस मुद्दे में रुचि रखने वालों के लिए
https://bugs.python.org/issue32958