Requests: 비정상적인 URL 문자열 충돌은 py3입니다.

후손을 위해 전체 역추적은 다음과 같습니다.

>>> requests.get(base_url)
Traceback (most recent call last):
  File "/Users/cory/.pyenv/versions/3.6.0/lib/python3.6/encodings/idna.py", line 165, in encode
    raise UnicodeError("label empty or too long")
UnicodeError: label empty or too long

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Users/cory/Documents/Python/requests_org/requests/requests/api.py", line 72, in get
    return request('get', url, params=params, **kwargs)
  File "/Users/cory/Documents/Python/requests_org/requests/requests/api.py", line 58, in request
    return session.request(method=method, url=url, **kwargs)
  File "/Users/cory/Documents/Python/requests_org/requests/requests/sessions.py", line 493, in request
    prep.url, proxies, stream, verify, cert
  File "/Users/cory/Documents/Python/requests_org/requests/requests/sessions.py", line 666, in merge_environment_settings
    env_proxies = get_environ_proxies(url, no_proxy=no_proxy)
  File "/Users/cory/Documents/Python/requests_org/requests/requests/utils.py", line 692, in get_environ_proxies
    if should_bypass_proxies(url, no_proxy=no_proxy):
  File "/Users/cory/Documents/Python/requests_org/requests/requests/utils.py", line 676, in should_bypass_proxies
    bypass = proxy_bypass(netloc)
  File "/Users/cory/.pyenv/versions/3.6.0/lib/python3.6/urllib/request.py", line 2616, in proxy_bypass
    return proxy_bypass_macosx_sysconf(host)
  File "/Users/cory/.pyenv/versions/3.6.0/lib/python3.6/urllib/request.py", line 2593, in proxy_bypass_macosx_sysconf
    return _proxy_bypass_macosx_sysconf(host, proxy_settings)
  File "/Users/cory/.pyenv/versions/3.6.0/lib/python3.6/urllib/request.py", line 2566, in _proxy_bypass_macosx_sysconf
    hostIP = socket.gethostbyname(hostonly)
UnicodeError: encoding with 'idna' codec failed (UnicodeError: label empty or too long)

이에 대해 우리가 할 수 있는 일은 많지 않습니다. 오류는 표준 라이브러리에서 나옵니다(특히, urllib proxy_bypass 함수에서). socket.gethostbyname 를 호출할 필요성을 느끼는 Python 3에만 존재합니다. 이 기능은 단순히 필요하지 않은 상황에서도 유니코드 호스트 이름을 자동으로 IDNA 인코딩하고 해당 IDNA 인코더가 이를 올바르게 거부합니다.

이 문제를 해결할 수 있는 유일한 방법은 URL을 어떤 형태로든 정규화하는 훨씬 더 스마트한 URL 처리 구현으로 이동하는 것입니다. 가장 좋은 후보는 하이퍼링크이지만 하이퍼링크 도 비슷한 이유로 이에 대해 차단합니다(IDNA 인코딩을 시도하고 실패함).

이것은 URL 호스트 노멀라이저를 사용하여 하이퍼링크를 확장한 다음 처리함으로써 이 문제를 해결할 수 있음 을 의미합니다. 그러나 WHATWG URL 사양도 이러한 형식의 URL을 금지하는 것으로 보입니다. 그렇다면 Chrome이 정상화하므로 이유를 모르겠습니다(Safari는 그렇지 않음).

이를 수행하는 데 필요한 작업의 양을 감안할 때 이를 용인할 이유가 없습니다. URL은 합리적으로 작동할 것으로 예상되는 것과는 매우 거리가 멀기 때문에 해결되지 않을 것이므로 이 URL을 닫고 싶습니다.

형식의 URL에 대해 다음과 같은 문제가 발생합니다.

https://key:[email protected]/path/file.json

길이는 132자입니다.

@johnpaulhayes 그것은 여전히 ​​요청 라이브러리의 문제가 아니지만, 또한 실행 중이므로 업데이트를 삭제할 것이라고 생각합니다.

그것은 그것을 하는 것처럼 보이는 url의 전체 길이가 아니라 단지 그것의 한 부분입니다. 호스트 이름의 첫 번째 부분이 64자보다 길면 idna 인코더가 URL에서 중단되는 것 같습니다. 이유가 무엇이든 거기에는 키와 비밀도 포함되어 있습니다. 따라서 기본 기능이 수정될 때까지 python3을 피하거나 긴 " key:secret@example " 문자열을 피하십시오(긴 API 키를 피함으로써). 어제 python tracker에 버그를 제출했습니다.

파이썬 측 문제에 관심이 있는 사람들을 위해
https://bugs.python.org/issue32958