Requests: Response.text가 부적절하게 디코딩된 텍스트를 반환함(요청 1.2.3, python 2.7)

@lavr님 감사합니다!

이것은 요청에 대한 의도적인 디자인 결정입니다. 사양이 실제 동작과 너무 많이 달라 문제가 되는 위치에 있지 않는 한 사양을 따르고 있습니다(예: POST에 대한 302 응답 후 GET).

업스트림 서버가 올바른 인코딩이 무엇인지 알고 있으면 신호를 보내야 합니다. 그렇지 않으면 사양이 말하는 것을 따를 것입니다. =)

사양 기본값이 잘못된 것이라고 생각한다면 이 기본값을 변경하기 위해 HTTP/2.0용 RFC 프로세스에 참여하는 것이 좋습니다. =)

@Lukasa는 + 헤더에서 검색 인코딩이 존재하지 않는 경우 우리가에 의존한다는 사실 말했다 무엇 허구 인코딩 추측 할 수 있습니다. 문자 수가 너무 적기 때문에 charade는 통계 데이터를 사용하여 올바른 인코딩이 무엇인지 추측 하기 때문에 확실한 결과를 반환하지 않습니다.

솔직히 연도는 차이가 없으며 사양도 변경되지 않습니다.

어떤 인코딩을 예상하는지 알고 있다면 다음과 같이 직접 디코딩할 수도 있습니다.

text = str(r.content, '<ENCODING>', errors='replace')

내가 염려하는 한 요청에는 아무런 문제가 없으며 이것은 사기의 버그도 아닙니다. @Lukasa 가 저에게 동의하는 것 같아서 이 글을 닫습니다.

@lavr (/cc @sigmavirus24), 그보다 훨씬 더 쉽게 인코딩을 직접 제공할 수 있습니다.

>>> r = requests.get('http://irresponsible-server/')
>>> r.encoding = 'utf-8'

그런 다음 정상적으로 진행하십시오.

@kennethreitz 실망스럽습니다. 왜 우리는 사람들을 위해 그것을 쉽게 만들고 있습니까? =피

전적으로 :)

주로 일본 웹사이트용입니다. 그들은 모두 자신의 인코딩에 대해 거짓말을 합니다.

@sigmavirus24
utils.get_encoding_from_headers는 항상 'ISO-8859-1'을 반환하고 charade는 호출될 기회가 없다는 점에 유의하십시오.
그래서 버그는: 우리는 charade가 인코딩을 추측하는 데 사용된다고 예상하지만 그렇지 않습니다.

위의 패치는 버그를 수정하지만 여전히 RFC를 따릅니다.
검토해 보시기 바랍니다.

@lavr 죄송합니다. 이 점을 명확히 하지 못했습니다. 우리는 이 경우에 charade가 호출되기를 기대하지 _않습니다_. RFC는 매우 명확합니다. 문자 집합을 지정하지 않고 MIME 유형이 text/* 인 경우 인코딩은 ISO-8859-1로 가정해야 합니다. 그것은 "추측하지 마십시오"를 의미합니다. =)

@lavr : r.encoding 를 None 로 설정하면 예상대로 작동합니다.

또는 r.encoding = r.apparent_encoding .

더 좋습니다.

r.encoding = None 및 r.encoding = r.apparent_encoding 서버 문자 집합 정보가 손실되었습니다.
서버 헤더를 완전히 무시하는 것은 좋은 해결책이 아니라고 생각합니다.

올바른 솔루션은 다음과 같습니다.

r = requests.get(...)
params = cgi.parse_header(r.headers.get('content-type'))[0]
server_encoding = ('charset' in params) and params['charset'].strip("'\"") or None
r.encoding = server_encoding or r.apparent_encoding
text = r.text

이상해 보여요 :(

또는 다음을 수행하십시오.

r = requests.get(...)

if r.encoding is None or r.encoding == 'ISO-8859-1':
    r.encoding = r.apparent_encoding

나는 그렇게 생각하지 않습니다 :)

r.encoding is None 은 의미가 없습니다. r.encoding은 content-type=text/*에 대해 None이 될 수 없기 때문입니다.

r.encoding == 'ISO-8859-1' ...은(는) 무슨 뜻인가요? 서버에서 charset='ISO-8859-1'을 보냈거나 서버에서 charset을 보내지 않았습니까? 먼저 charset을 추측해서는 안됩니다.

@lavr 비텍스트 기반을 다루고 있었습니다. 대신 다음 조건을 사용하여 charset 가능성을 배제할 수 있습니다.

r.encoding == 'ISO-8859-1' and not 'ISO-8859-1' in r.headers.get('Content-Type', '')

@루카사
글쎄, 나는이 해킹을 사용할 수 있습니다.
그리고 동유럽과 아시아의 모든 사람들이 사용할 수 있습니다.

그러나 요청에서 수정하면 어떻게 될까요? ;)
요청이 charset 없이 응답에 대해 정직하게 enconding=None 를 설정할 수 있다면 어떻게 될까요?

여러 번 논의한 것처럼 Requests는 HTTP 사양을 따르고 있습니다. 현재의 행동은 잘못된 것이 아닙니다. =)

사용 사례에 도움이 되지 않는다는 사실은 완전히 다른 이야기입니다. =)

좋아요, 이것으로 충분한 논의가 있습니다. 피드백을 주셔서 감사합니다.

업데이트된 HTTP 1.1은 ISO-8859-1 기본 문자 집합을 사용하지 않습니다. http://tools.ietf.org/html/rfc7231#appendix -B

우리는 이미 #2086에서 이것을 추적하고 있습니다. =)

걱정할 수 있는 사람, 여기에 호환성 패치가 있습니다.

다음 코드로 requests_patch.py 파일을 생성하고 가져오면 문제가 해결됩니다.

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import requests
import chardet

def monkey_patch():
    prop = requests.models.Response.content
    def content(self):
        _content = prop.fget(self)
        if self.encoding == 'ISO-8859-1':
            encodings = requests.utils.get_encodings_from_content(_content)
            if encodings:
                self.encoding = encodings[0]
            else:
                self.encoding = chardet.detect(_content)['encoding']

            if self.encoding:
                _content = _content.decode(self.encoding, 'replace').encode('utf8', 'replace')
                self._content = _content
                self.encoding = 'utf8'

        return _content
    requests.models.Response.content = property(content)

monkey_patch()

@lavr (/cc @sigmavirus24), 그보다 훨씬 더 쉽게 인코딩을 직접 제공할 수 있습니다.

>>> r = requests.get('http://irresponsible-server/')
>>> r.encoding = 'utf-8'

그런 다음 정상적으로 진행하십시오.

감사합니다! 한 줄로 수행하는 방법에 대한 아이디어가 있습니까?