Requests: स्ट्रीमिंग gzipped प्रतिक्रियाएं

नहीं, इसे विभिन्न कारणों से सेट करने के लिए डिफ़ॉल्ट नहीं होना चाहिए। क्या करना चाहिए इस्तेमाल होता है functools.partial बदलने के लिए read प्रतिक्रिया पर विधि (या बस इसे दूसरे तरीके से लपेट) ताकि आप की तरह कुछ कार्य करें:

response.raw.read = functools.partial(response.raw.read, decode_content=True)

और फिर अपने पार्सर को response.raw पास करें।

@ sigmavirus24 धन्यवाद, यह निश्चित रूप से ऊपर उल्लिखित समस्या का एक सुंदर समाधान है!

मैं इसे अनुरोधों के दस्तावेज़ीकरण में जोड़ने की अनुशंसा करता हूं, उदाहरण के लिए अक्सर पूछे जाने वाले प्रश्नों में: http://docs.python-requests.org/en/latest/community/faq/#encoded -data
वर्तमान में, कथन "अनुरोध स्वचालित रूप से gzip-एन्कोडेड प्रतिक्रियाओं को विघटित करता है" stream=True मामले के लिए सही नहीं है और इससे आश्चर्य हो सकता है।

मेरी समस्या के लिए, जैसा कि आपने urllib3 मुद्दे पर पढ़ा है, gzip डीकंप्रेसन के urllib3 कार्यान्वयन की अपनी छोटी-छोटी विशेषताएं हैं जिन्हें मुझे अपने कोड में काम करना है, लेकिन यह अब अनुरोधों के लिए कोई समस्या नहीं है।

लेकिन यह अब अनुरोधों के लिए कोई समस्या नहीं है।

जैसा कि आपको लगता है कि इसे बंद किया जा सकता है?

@ sigmavirus24 मेरा मानना ​​​​है कि इसे प्रलेखित किया जाना चाहिए, क्योंकि वर्तमान दस्तावेज गलत है।

लेकिन अगर आप इससे असहमत हैं, तो हाँ, बंद करें!

दस्तावेज़ीकरण स्पष्ट हो सकता है। मेरे लिए (और यह पूरी तरह से इसलिए है क्योंकि मैं एक कोर डेवलपर हूं) पहला पैराग्राफ उन 90% उपयोगकर्ताओं से बात करता है जो कभी भी कच्ची प्रतिक्रिया को नहीं छूएंगे, जबकि दूसरा पैराग्राफ पहले कहने के विपरीत है "लेकिन अगर आपको एक्सेस करने की आवश्यकता है कच्चा डेटा, यह आपके लिए है"। जैसा मैंने कहा, यह मेरे लिए स्पष्ट है, लेकिन मैं देख सकता हूं कि इसे कैसे स्पष्ट किया जा सकता है। मैं आज रात उस पर काम करूंगा।

मेरे लिए, यह अधिक है कि मैंने "कच्चे डेटा" को "कच्चे पेलोड" के रूप में व्याख्या किया होगा, यानी एक डीकंप्रेस्ड स्ट्रीम। मुझे बस इसे जितने भी टुकड़ों में चाहिए, उसे पढ़ना है। .content विपरीत, जो एक विघटित बूँद है (पेलोड भी, लेकिन एक अलग रूप में)।

वास्तविक डीकंप्रेसन मेरे लिए HTTP लाइब्रेरी की चिंता की तरह लगता है - यदि आप चाहें तो HTTP का एक कार्यान्वयन विवरण, एक जिसे मैं अमूर्त करने के अनुरोधों की अपेक्षा करता हूं। चाहे मैं अनुरोधों से पेलोड को स्ट्रीम के रूप में या डेटा के प्रीफ़ेच किए गए ब्लॉब के रूप में पढ़ता हूं, इससे कोई फर्क नहीं पड़ेगा। किसी भी तरह से, अनुरोध कार्यान्वयन विवरण 'संपीड़न' को सारणित करेंगे।

(यह धारणा decode_content से True को डिफ़ॉल्ट करने के मेरे मूल अनुरोध के मूल में भी थी। बेशक अब जब मैं देख रहा हूं कि यह एक लीकी एब्स्ट्रैक्शन है, तो मैं अब इसका सुझाव नहीं दे रहा हूं।)

लेकिन हाँ, मैं इस बात से पूरी तरह सहमत हूँ कि आपके 99% उपयोगकर्ता इस विवरण से कभी प्रभावित नहीं होंगे।

इस मुद्दे को बंद करने के लिए स्वतंत्र महसूस करें।

तो यह वास्तव में कुछ ऐसा होता है जो कुछ समय के लिए मेरे सिर में घूम रहा है और जिसे मैंने अभी तक प्रस्तावित नहीं किया है क्योंकि यह एक महत्वपूर्ण एपीआई परिवर्तन होगा।

मुझे यह तथ्य पसंद नहीं है कि हम सुझाव देते हैं कि लोग r.raw क्योंकि यह एक ऐसी वस्तु है जिसे हम दस्तावेज नहीं करते हैं और यह urllib3 द्वारा प्रदान की गई वस्तु है (जिसका हमने अतीत में दावा किया है एक कार्यान्वयन विवरण के अधिक)। इसे ध्यान में रखते हुए, मैं Response ऑब्जेक्ट पर विधियां प्रदान करने के विचार से टकरा रहा हूं जो urllib3 विधियों के लिए प्रॉक्सी है ( read केवल raw.read लिए प्रॉक्सी होगा urllib3 आसपास अतिरिक्त लचीलापन देता है और हमें (उपयोगकर्ताओं की ओर से) urllib3 में एक एपीआई परिवर्तन को संभालने की अनुमति देता है (जो ऐतिहासिक रूप से लगभग कभी कोई समस्या नहीं रही है, इसलिए कोई भी नहीं है उसमें तात्कालिकता)।

इसके साथ ही, मेरी राय में प्रतिक्रिया ऑब्जेक्ट पर हमारे पास पहले से ही पर्याप्त विधियां हैं और हमारे एपीआई को बढ़ाना आदर्श नहीं है। सबसे अच्छा एपीआई वह एपीआई है जिससे निकालने के लिए कुछ भी नहीं बचा है। इसलिए मैं इसे लेकर लगातार बाड़ पर हूं।

यह धारणा मेरे मूल अनुरोध के मूल में डिकोड_कंटेंट को सही करने के लिए डिफ़ॉल्ट थी। बेशक अब जब मैं देख रहा हूं कि यह क्या लीकी एब्स्ट्रैक्शन है, तो मैं अब इसका सुझाव नहीं दे रहा हूं।

दूसरों के लिए जो इसे पाते हैं और निश्चित नहीं हैं कि यह सच क्यों है, मुझे समझाने की अनुमति दें।

अनुरोधों के कई उपयोगकर्ता हैं जो प्रतिक्रिया की लंबाई को मान्य करने के लिए या इसके साथ अन्य महत्वपूर्ण काम करने के लिए स्वचालित डीकंप्रेसन को बंद कर देते हैं। पूर्व प्रकार का एक उपभोक्ता ओपनस्टैक है। कई ओपनस्टैक क्लाइंट क्लाइंट को भेजे गए Content-Length हेडर और प्राप्त बॉडी की वास्तविक लंबाई को मान्य करते हैं। उनके लिए, डीकंप्रेसन को संभालना एक उचित व्यापार-बंद है, यह सुनिश्चित करने के लिए कि वे एक वैध प्रतिक्रिया प्राप्त कर रहे हैं और उसे संभाल रहे हैं।

एक अन्य उपभोक्ता बीटामैक्स है (या वास्तव में कोई भी उपकरण जो (पुनः) प्रतिक्रिया वस्तुओं का निर्माण करता है) क्योंकि जब यह पूरी तरह से वैध प्रतिक्रिया करने की पूरी प्रक्रिया को संभाल रहा है, तो उसे सामग्री को संपीड़ित प्रारूप में होना चाहिए।

मुझे यकीन है कि कुछ और भी हैं जो न तो @Lukasa या मुझे इसके बारे में पता है, यह भी इस व्यवहार पर बहुत अधिक निर्भर करता है।

आज उसी मुद्दे को मारो, और उसी धारणा को समाप्त कर दिया क्योंकि इस समय प्रतिक्रियाओं को स्ट्रीम करने का कोई अन्य तरीका नहीं है।

रिस्पांस पर कई नए तरीकों के बजाय एक भी नई विशेषता क्यों नहीं जैसे response.stream जो प्रॉक्सी की समान भूमिका निभाएगी .raw ? यह stream=True सेटिंग/पैरामीटर को भी अच्छी तरह से प्रतिबिंबित करेगा, और मौजूदा .raw व्यवहार की आवश्यकता वाले उपयोगकर्ताओं को प्रभावित नहीं करेगा।

मैंने इसे अतीत में किया है

r = requests.get('url', stream=True)
r.raw.decode_content = True
...

ध्यान दें कि @sigmavirus24 द्वारा किया गया वर्कअराउंड tell पद्धति के शब्दार्थ को तोड़ता है, जो गलत ऑफ़सेट लौटाएगा।

Google क्लाउड स्टोरेज एपीआई में एक पुन: प्रयोज्य अपलोड के रूप में प्रतिक्रिया स्ट्रीमिंग करते समय मैं इसमें भाग गया, जो बाइट्स की संख्या का पता लगाने के लिए tell() का उपयोग करता है जो अभी पढ़े गए थे ( यहां )।