Requests: Response.text अनुचित तरीके से डिकोड किया गया पाठ लौटाता है (अनुरोध 1.2.3, अजगर 2.7)

इसके लिए धन्यवाद @lavr!

यह अनुरोधों के लिए एक जानबूझकर डिजाइन निर्णय है। हम कल्पना का पालन कर रहे हैं जब तक कि हम खुद को ऐसी स्थिति में नहीं पाते हैं जहां विनिर्देश वास्तविक दुनिया के व्यवहार से इतनी बेतहाशा अलग हो जाते हैं कि यह एक समस्या बन जाती है (उदाहरण के लिए पोस्ट के 302 प्रतिक्रिया के बाद प्राप्त करें)।

यदि अपस्ट्रीम सर्वर जानता है कि सही एन्कोडिंग क्या है, तो उसे इसका संकेत देना चाहिए। अन्यथा, हम उस युक्ति का पालन करने जा रहे हैं जो युक्ति कहती है। =)

यदि आपको लगता है कि विशिष्ट डिफ़ॉल्ट खराब है, तो मैं आपको इस डिफ़ॉल्ट को बदलने के लिए HTTP/2.0 के लिए RFC प्रक्रिया में शामिल होने के लिए अत्यधिक प्रोत्साहित करता हूं। =)

क्या @Lukasa कहा + तथ्य यह है कि अगर एन्कोडिंग हेडर से लिया गया न के बराबर है हम पर भरोसा करते हैं नाटक एन्कोडिंग में अनुमान लगाना। इतने कम वर्णों के साथ, सारड कुछ भी निश्चित नहीं लौटाएगा क्योंकि यह अनुमान लगाने के लिए सांख्यिकीय डेटा का उपयोग करता है

सच कहूं तो साल से कोई फर्क नहीं पड़ता और न ही स्पेसिफिकेशन में कोई बदलाव आता है।

यदि आप जानते हैं कि आप किस एन्कोडिंग की अपेक्षा कर रहे हैं तो आप स्वयं को डिकोडिंग भी कर सकते हैं:

text = str(r.content, '<ENCODING>', errors='replace')

जहां तक ​​मेरा संबंध है, अनुरोधों में कुछ भी गलत नहीं है और यह किसी भी तरह की गड़बड़ी नहीं है। चूंकि @ लुकासा मुझसे सहमत है, इसलिए मैं इसे बंद कर रहा हूं।

@lavr (/cc @ sigmavirus24), इससे भी आसान, आप बस स्वयं एन्कोडिंग प्रदान कर सकते हैं।

>>> r = requests.get('http://irresponsible-server/')
>>> r.encoding = 'utf-8'

फिर, सामान्य रूप से आगे बढ़ें।

@kennethreitz यह निराशाजनक है। हम लोगों के लिए इतना आसान क्यों बना रहे हैं? = पी

बिल्कुल :)

ज्यादातर जापानी वेबसाइटों के लिए। वे सभी अपने एन्कोडिंग के बारे में झूठ बोलते हैं।

@sigmavirus24
कृपया ध्यान दें, कि utils.get_encoding_from_headers हमेशा 'ISO-8859-1' लौटाता है, और charade को कॉल करने का कोई मौका नहीं है।
तो बग है: हम उम्मीद करते हैं कि एन्कोडिंग का अनुमान लगाने के लिए चरदे का उपयोग किया जाता है, लेकिन ऐसा नहीं है।

ऊपर एक पैच बग को ठीक करता है, लेकिन फिर भी RFC का अनुसरण करता है।
कृपया, इसकी समीक्षा करने पर विचार करें।

@lavr क्षमा करें, हमने इसे बहुत स्पष्ट नहीं किया है। हम _not_ इस मामले में सारथी को बुलाए जाने की अपेक्षा करते हैं। RFC बहुत स्पष्ट है: यदि आप एक वर्णसेट निर्दिष्ट नहीं करते हैं, और MIME प्रकार text/* , तो एन्कोडिंग को ISO-8859-1 माना जाना चाहिए। इसका मतलब है "अनुमान न लगाएं"। =)

@lavr : बस r.encoding से None , और यह आपकी अपेक्षा के अनुरूप काम करेगा (मुझे लगता है)।

या r.encoding = r.apparent_encoding ।

और भी बेहतर।

r.encoding = None और r.encoding = r.apparent_encoding हमने सर्वर चारसेट जानकारी खो दी।
मुझे लगता है कि सर्वर हेडर को पूरी तरह से अनदेखा करना अच्छा समाधान नहीं है।

सही समाधान कुछ इस प्रकार है:

r = requests.get(...)
params = cgi.parse_header(r.headers.get('content-type'))[0]
server_encoding = ('charset' in params) and params['charset'].strip("'\"") or None
r.encoding = server_encoding or r.apparent_encoding
text = r.text

अजीब लग रहा है :(

या यह करें:

r = requests.get(...)

if r.encoding is None or r.encoding == 'ISO-8859-1':
    r.encoding = r.apparent_encoding

मुझे ऐसा नहीं लगता :)

शर्त r.encoding is None का कोई मतलब नहीं है, क्योंकि सामग्री-प्रकार = टेक्स्ट/* के लिए r.encoding कभी भी कोई नहीं हो सकता है।

r.encoding == 'ISO-8859-1' ... इसका क्या मतलब है ? सर्वर ने चारसेट भेजा = 'ISO-8859-1' या सर्वर ने कोई चारसेट नहीं भेजा? अगर पहले, मुझे वर्णमाला का अनुमान नहीं लगाना चाहिए।

@lavr मैं गैर-पाठ आधारों को कवर कर रहा था। आप इसके बजाय इस शर्त का उपयोग करके charset संभावना से इंकार कर सकते हैं:

r.encoding == 'ISO-8859-1' and not 'ISO-8859-1' in r.headers.get('Content-Type', '')

@लुकासा
खैर, मैं इस हैक का उपयोग कर सकता हूं।
और पूर्वी यूरोप और एशिया में हर कोई इसका इस्तेमाल कर सकता है।

लेकिन क्या होगा अगर हम इसे अनुरोधों में ठीक कर दें? ;)
क्या होगा यदि अनुरोध ईमानदारी से enconding=None बिना चारसेट के प्रतिक्रिया पर सेट कर सकते हैं?

जैसा कि हमने कई बार चर्चा की है, अनुरोध पत्र के HTTP विनिर्देशन का पालन कर रहे हैं। वर्तमान व्यवहार गलत नहीं है। =)

तथ्य यह है कि यह आपके उपयोग के मामले में सहायक नहीं है, एक पूरी कहानी है। =)

ठीक है, इस पर पर्याप्त चर्चा है। प्रतिपुष्टि के लिए धन्यवाद।

अद्यतन HTTP 1.1 अप्रचलित ISO-8859-1 डिफ़ॉल्ट वर्णसेट: http://tools.ietf.org/html/rfc7231#appendix -B

हम इसे पहले से ही #2086 में ट्रैक कर रहे हैं। =)

यह किससे संबंधित हो सकता है, यहाँ एक संगतता पैच है

निम्नलिखित कोड के साथ फ़ाइल requests_patch.py बनाएं और इसे आयात करें, फिर समस्या हल होनी चाहिए।

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import requests
import chardet

def monkey_patch():
    prop = requests.models.Response.content
    def content(self):
        _content = prop.fget(self)
        if self.encoding == 'ISO-8859-1':
            encodings = requests.utils.get_encodings_from_content(_content)
            if encodings:
                self.encoding = encodings[0]
            else:
                self.encoding = chardet.detect(_content)['encoding']

            if self.encoding:
                _content = _content.decode(self.encoding, 'replace').encode('utf8', 'replace')
                self._content = _content
                self.encoding = 'utf8'

        return _content
    requests.models.Response.content = property(content)

monkey_patch()

@lavr (/cc @ sigmavirus24), इससे भी आसान, आप बस स्वयं एन्कोडिंग प्रदान कर सकते हैं।

>>> r = requests.get('http://irresponsible-server/')
>>> r.encoding = 'utf-8'

फिर, सामान्य रूप से आगे बढ़ें।

इसके लिए धन्यवाद! इसे एक पंक्ति में कैसे करें इस पर कोई विचार?