Celery: रेडिस को ब्रोकर समर्थन के रूप में पदावनत करने का प्रस्ताव। [अस्वीकृत]

आजकल अजवाइन के विकल्प मौजूद हैं, उदाहरण के लिए huey और rq जो स्पष्ट रूप से ब्रोकर के रूप में रेडिस का समर्थन करने पर ध्यान केंद्रित करते हैं। जब अजवाइन जारी की गई, तो कुछ भी नहीं था।

@ask एसक्यूएल ब्रोकर समर्थन छोड़ने के बारे में आप क्या सोचते हैं? मुझे संदेह है कि ऐसे कई लोग हैं जो उत्पादन में एसक्यूएल डेटाबेस का उपयोग करते हैं। अगर वे करते भी हैं, तो उन्हें वास्तव में ऐसा नहीं करना चाहिए।
हमारे पास docker भी है, जिसका अर्थ है कि Rabbitmq को तैनात करना सचमुच एक कमांड दूर है। यह अब _वह_ कठिन नहीं है।

मैंने अभी ब्रोकर के रूप में SQL के लिए समर्थन छोड़ दिया है, जिसमें RabbitMQ/Redis/SQS/Qpid के अलावा अन्य सभी ब्रोकर शामिल हैं :)

(डुप्लिकेट)

मैं अजवाइन समुदाय में बंधा नहीं हूँ; मेरी परवाह किए बिना $0.02:

• रेडिस वास्तव में लोकप्रिय है - अन्य सभी समर्थित दलालों के रूप में लोकप्रिय _combined_ , अगर आपको लगता है कि Google रुझान प्रतिनिधि है
• यह वास्तव में एक अच्छा ब्रोकर _and_ बैकएंड बनने में सक्षम है (हालांकि खरगोश एमक्यू भी)
• यह बड़े क्लाउड विक्रेताओं द्वारा पूरी तरह से प्रबंधित सेवा के रूप में विशिष्ट रूप से पेश किया जाता है
• हम रेडिस का बहुत उपयोग करते हैं!

मैं रखरखाव के मुद्दों के बारे में आपकी भावनाओं के साथ सहानुभूति रख सकता हूं, और इस तरह की कार्रवाई स्थिरता की दिशा में एक कदम है। लेकिन क्या आप कोई अन्य 'विच्छेदन' कर सकते हैं?

समीकरण के 'आपूर्ति' पक्ष पर, क्या आपके पास कोई विचार है कि समुदाय से अजवाइन में अधिक योगदान क्यों नहीं है?
कमिट और पीआर पर एक सरसरी नज़र से पता चलता है कि अजवाइन मुख्य रूप से एक व्यक्ति का काम है, कुछ ओपन सोर्स लाइब्रेरी की तुलना में मैं योगदान देता हूं

@MaximilianR केवल अपने लिए बोल रहा है:

1. इसमें चलने के लिए यह एक बड़ा कोडबेस है
2. खासकर यदि आप कोम्बू और अयन्सियो के विशेषज्ञ नहीं हैं
3. और आपके पास रिपोर्ट की गई समस्याओं की गहराई के बारे में अंतर्ज्ञान नहीं है

उस ने कहा, मैं अजवाइन का उपयोग करता हूं, इसलिए यदि कोई ऐसा तरीका है जिससे मैं उपयोगी हो सकता हूं, तो मुझे मदद करने में खुशी होगी।

@MaximilianR , कई योगदानकर्ता रहे हैं, लेकिन निश्चित रूप से मैंने बहुत काम किया है। परियोजना बहुत तेजी से बढ़ी, और कुछ बिंदु पर मेरे पास आईआरसी/ईमेल/स्टैक ओवरफ्लो इत्यादि पर बग फिक्स करने या उपयोगकर्ताओं का समर्थन करने के बीच विकल्प था। विशेष रूप से मल्टीप्रोसेसिंग पूल डेडलॉक मुद्दे जैसी चीजें केंद्रित कोडिंग के 6 महीने से अधिक समय लेती थीं, जब मुझे होना चाहिए था लोगों का मार्गदर्शन करना। हम उस समय डाउनलोड में लगभग RabbitMQ के आकार के थे, लेकिन जहां उनके पास पूर्णकालिक काम करने वाले 8 लोग थे, मैं अकेला था।

शायद अन्य चीजें भी विच्छेदन करने के लिए हैं, लेकिन मुझे नहीं लगता कि रेडिस के रूप में कुछ भी समय लगता है।

amqp/kombu को पूर्ण asyncio में पोर्ट करने का कार्य भी एक प्रमुख समय सिंक था, लेकिन कई मुद्दों को हल करने के लिए आवश्यक था। हालांकि यह कभी पूरा नहीं हुआ।

@ask क्या ऊपर दिए गए आपके संदेश का मतलब यह है कि आप अभी भी SQS में प्रयास करने में रुचि रखते हैं? मैंने देखा कि यहां केवल एक खुला SQS टिकट है, लेकिन मुझे अभी भी दस्तावेज़ों में "प्रायोगिक" चेतावनी दिखाई दे रही है। क्या आप एसक्यूएस की वर्तमान स्थिति और भविष्य की जरूरतों के बारे में सलाह दे सकते हैं?

हम उत्पादन में सेलेरी + एसक्यूएस का उपयोग करेंगे, इसलिए मैं इसके लिए कुछ प्रयास करने में सक्षम हो सकता हूं, लेकिन वास्तव में उस स्थिति में नहीं आना चाहता अगर एसक्यूएस परियोजना के लिए आपकी दीर्घकालिक योजना का हिस्सा नहीं है।

@ask ऊपर साझा करने के लिए धन्यवाद। मैं सराहना कर सकता हूं कि आप कहां से आ रहे हैं। मुझे उम्मीद है कि इस / अन्य तरीकों के माध्यम से अजवाइन को बनाए रखना और इसकी सफलता को जारी रखना आसान हो सकता है ...

निश्चित रूप से वह करें जो आपकी परियोजना के लिए सबसे अच्छा है, लेकिन मैं निश्चित रूप से सेलेरी से छुटकारा पाने के लिए जोर दूंगा, आंतरिक रूप से, अगर रेडिस समर्थन छोड़ दिया जाता है। मैं निजी तौर पर विस्तार से बताऊंगा यदि आप वास्तव में जानना चाहते हैं कि हम RabbitMQ का उपयोग क्यों नहीं करेंगे, लेकिन मैं वास्तव में सार्वजनिक रूप से अन्य परियोजनाओं पर हमला नहीं करना चाहता।

संबंधित: यह सुझाव देना कि यह एक कमांड है क्योंकि डॉकर पर आप जिस तरह से विकसित होते हैं, वह आपके लिए काम कर सकता है, लेकिन यह जरूरी नहीं कि हममें से बाकी लोग कैसे तैनात हों।

@nicksloan SQS अब मास्टर डॉक्स में समर्थित परिवहन के रूप में सूचीबद्ध है: http://docs.celeryproject.org/en/master/getting-started/brokers/index.html

एसक्यूएस परिवहन को एसिंक्स I/O का उपयोग करने के लिए फिर से लिखने का काम $1000 से अधिक के लिए प्रायोजित किया गया था।

@scoates रेडिस परिवहन एक बदतर स्थिति में है क्योंकि संदेशों को पढ़ने के लिए

मैं रेडिस का समर्थन करना चाहता हूं, मैं वास्तव में करता हूं। मैं इसके लिए लड़ रहा था जब मैंने RabbitMQ/Pivotal में काम किया क्योंकि मुझे लगा कि हमें सेलेरी लागू करने वाले पैटर्न के लिए पायथन में एक सामान्य समाधान की आवश्यकता है। लेकिन अगर समुदाय और इसका उपयोग करने वाली कंपनियों को इसे काम करने में निवेश नहीं किया जाता है, तो मुझे आग से लड़ने के लिए छोड़ दिया जाएगा और अब सबसे खराब स्थिति में परिवहन के साथ गंभीर समस्याओं को ठीक करने में असमर्थ है जिससे लोग परियोजना की आलोचना कर रहे हैं। इससे मेरा जीवन और अधिक दयनीय हो जाता है और मनोबल गिरता है।

अजवाइन के इतिहास को देखते हुए यह बहुत कट्टरपंथी हो सकता है, लेकिन क्या आपने केवल रेडिस को रैबिटएमक्यू पर रखने के बारे में सोचा है?

@MaximilianR मैंने इसे माना है, लेकिन मेरा जुनून संदेश पास करने और सही वितरित सिस्टम बनाने में है। रेडिस ने हमें अभी तक BRPOPLPUSH के कार्यान्वयन के साथ प्रदान नहीं किया है जो संदेश स्वीकृति को लागू करने के लिए काम करता है, और यह स्वीकार करने में असमर्थता के रहस्योद्घाटन के साथ कि वितरित सिस्टम में दीवार घड़ी के समय पर भरोसा करना असंभव है, एक बुनियादी तथ्य, मैं और अधिक सावधान हूं। RabbitMQ कम से कम समस्या स्थान पर गंभीरता से हमला कर रहा है, और काफ्का और NSQ जैसे अन्य खिलाड़ी भी हैं। बहुत सारे पुस्तकालय कार्य कतारों को एक साधारण सूची संचालन के रूप में मान रहे हैं, लेकिन मैंने सेलेरी को उनमें से एक बनने से मना कर दिया :)

@scoates : मैं इस बारे में बात नहीं कर रहा था कि मैं कैसे विकास कर रहा हूं या कुछ। मैं कह रहा था कि 2016 में "खरगोश को तैनात करना कठिन है" कहना बकवास है। यहां तक ​​​​कि अगर आप कहीं कुछ तैनात करने के बारे में कुछ नहीं जानते हैं, तो भी docker है जो वास्तव में मदद करता है। कृपया, गलत धारणा न बनाएं।

धन्यवाद @ask हमारे साथ चेक इन करने के लिए। अजवाइन एक बेहतरीन उत्पाद है और आपके (और समुदाय) के सीमित संसाधनों को देखते हुए मुझे लगता है कि मूल उत्पाद पर ध्यान केंद्रित करना सबसे अच्छा निर्णय है। मैं कल्पना कर सकता हूं कि कई अलग-अलग असंगत प्रणालियों का उपयोग करके एक ही महान सुविधाओं की कोशिश करना और उन्हें पेश करना कितना मुश्किल होगा। उपभोक्ता के दृष्टिकोण से, मुझे लगता है कि यह इतने सारे विकल्पों के लिए उत्पाद की जटिलता को जोड़ता है। मुझे यकीन है कि यह शायद आपके कुछ उपयोगकर्ताओं को परेशान करेगा लेकिन मुझे लगता है कि कम दलालों के साथ रहना उत्पाद के लिए सही काम है। मैं AMQP पर ध्यान केंद्रित करना चाहता हूं क्योंकि यह मानक, अच्छी तरह से स्वीकृत प्रोटोकॉल है और मुझे लगता है कि Rabbitmq इसका बहुत अच्छा कार्यान्वयन है।

यह दुख की बात है कि वास्तव में इतना सारा काम नहीं किया जाना है, लेकिन जब आप इसे सभी परिवहन और सुविधाओं में जोड़ते हैं तो यह सप्ताह में केवल कुछ घंटों के साथ टिकाऊ नहीं होता है।

चूंकि रेडिस प्रोटोकॉल इतना सरल है, परिवहन को पूरी तरह से एसिंक्स होने के लिए फिर से लिखना इतना मुश्किल नहीं है। मैंने एक परत बनाई है जो सेलेरी को किसी भी टॉर्नेडो लाइब्रेरी का समर्थन करने में सक्षम बनाती है, वही एसिंक्सियो और ट्विस्ट के लिए बनाई जा सकती है, इसलिए हमारे पास वहां क्लाइंट भी हो सकते हैं जिन्हें हम पुन: उपयोग कर सकते हैं।

अजगर stdlib में asyncio के साथ काफी बदल रहा है। हमें नए वेब ढांचे, नए नेटवर्क पुस्तकालयों और पूरे पारिस्थितिकी तंत्र को अनुकूलित करने की बहुत आवश्यकता है। यह हमारे काम को थोड़ा आसान बना देता है क्योंकि हमें अब अपने स्वयं के ईवेंट लूप को बनाए रखने की आवश्यकता नहीं है, लेकिन संक्रमण के लिए कुछ काम की आवश्यकता होगी।

मैं गो या इसी तरह के एक नए कार्यकर्ता को भी लिखना चाहता हूं कि हमारे पास कई भाषाओं के समर्थन के साथ एक नया संदेश प्रोटोकॉल है। मैसेजिंग इंटरऑपरेबिलिटी के लिए रेडिस सबसे अच्छा मैच नहीं है, क्योंकि यह मैसेज हेडर, प्रॉपर्टी आदि को लागू नहीं करता है। एएमक्यूपी प्रोटोकॉल का निश्चित रूप से ऊपरी हाथ है क्योंकि यह मूल उपयोग के मामलों में से एक था।

@ask मेरा दृष्टिकोण कंपनियों को अपने दलालों को बनाए रखने की कोशिश करना था। तो आइए रेडिस लैब के किसी व्यक्ति से बात करने की कोशिश करें और देखें कि क्या हमें कोई कर्षण मिलता है।
MongoDB और अन्य सेवाओं के लिए भी यही है।
जहां तक ​​SQL ब्रोकरों का सवाल है, मुझे लगता है कि वे बहुत अच्छे विचार नहीं हैं और हमें उनका समर्थन नहीं करना चाहिए।
हम कोड को हटाने के बजाय निकाल सकते हैं, और इसे बनाए रखने के लिए किसी की तलाश कर सकते हैं। यदि पर्याप्त रुचि नहीं है, तो उनकी कोई आवश्यकता नहीं है।
एकमात्र SQL डेटाबेस जो थोड़े ब्रोकर हो सकता है, वह पोस्टग्रेज है क्योंकि इसमें पब/सब क्षमताएं हैं लेकिन यह वर्तमान में वैसे भी लागू नहीं है।

मुझे लगता है कि हम इसे सिर्फ हटा सकते हैं और देख सकते हैं कि क्या होता है। हो सकता है कि कोई इसके लिए आगे बढ़े, रखरखाव का कार्यभार ग्रहण करके, या प्रायोजन द्वारा। यदि हमारे पास ऐसा उत्पाद नहीं है जिसकी लोगों को आवश्यकता है, लेकिन कोई भी समर्थन नहीं करना चाहता है, जो इस बिंदु पर कुल 18 वोटों के साथ होने की संभावना है। मुझे नहीं लगता कि यह अकेले रेडिस लैब्स को प्रभावित करेगा :)

लेकिन अगर समुदाय और इसका उपयोग करने वाली कंपनियों को इसे काम करने में निवेश नहीं किया जाता है, तो मुझे आग से लड़ने के लिए छोड़ दिया जाएगा और अब सबसे खराब स्थिति में परिवहन के साथ गंभीर समस्याओं को ठीक करने में असमर्थ है जिससे लोग परियोजना की आलोचना कर रहे हैं। इससे मेरा जीवन और अधिक दयनीय हो जाता है और मनोबल गिरता है।

हम कई परियोजनाओं पर रेडिस ब्रोकर के साथ अजवाइन का उपयोग कर रहे हैं और इस पर निर्भर हैं, लेकिन मैं उस भावना से दृढ़ता से सहमत हूं। यदि आप इसे उच्च स्तर की गुणवत्ता पर नहीं रख सकते हैं, तो यह केवल अजवाइन को बदनाम करेगा और सभी को दुखी करेगा - आप _और_ उपयोगकर्ता।

नमस्ते। मैं रेडिस लैब्स के लिए काम करता हूं और कुछ समय पहले तक मैं सेलेरी यूजर था। @thedrow ने इसे मेरे ध्यान में लाया, और हमने आंतरिक रूप से इस पर चर्चा की है। हम आप लोगों की मदद करने को तैयार हैं, हमें लगता है कि रेडिस को अजवाइन के हिस्से के रूप में रखना महत्वपूर्ण है। मुझे अभी तक यकीन नहीं है कि मैं इसे व्यक्तिगत रूप से करूंगा या कोई और, लेकिन आइए चर्चा करें कि क्या करने की आवश्यकता है।

@dvirsky की तरह रेडिस लैब्स द्वारा प्रायोजित है, और अगर हम इस बैकएंड के साथ मदद करने में सक्षम होंगे (उम्मीद है कि हाँ) मैं रेडिस पक्ष में सर्वोत्तम समाधान खोजने में मदद करने में शामिल होऊंगा, और संभावित रूप से यहां तक ​​​​कि कार्यान्वयन में कुछ चीजों को सुविधाजनक बनाने के लिए रेडिस मैसेजिंग समर्थन का विस्तार करना। हम एचए-तैयार अनुभव प्राप्त करने के लिए किसी बिंदु पर सेंटीनेल/रेडिस क्लस्टर का उपयोग करने के लिए बैकएंड की क्षमता पर भी जोर दे सकते हैं। मुझे आशा है कि हमारे पास ASAP के लिए अच्छी खबर होगी, जो वर्तमान में आवश्यक प्रयास का मूल्यांकन कर रही है।

यह वास्तव में अच्छी खबर है! मैं पूरी तरह से समझता हूं कि आप इसे करने से पहले इसमें शामिल कार्य जानना चाहेंगे :)

अभी यहाँ सुबह के 3 बज रहे हैं, और मैंने मुद्दों की एक सूची एकत्र नहीं की है, लेकिन यहाँ कुछ छोटे नोट दिए गए हैं:

सेलेरी सुविधाओं के एक सेट को परिभाषित नहीं करता है जो कि रेडिस के इंटरफ़ेस के साथ कार्यान्वित किया जाता है, इसके बजाय
यह सामान्य तरीके से मैसेजिंग का उपयोग करने के लिए AMQP API का उपयोग करता है। नाम-से-कतार संदेश, पब/उप और विषय रूटिंग। विषय रूटिंग एक सख्त आवश्यकता नहीं है, लेकिन बाकी सेलेरी की मुख्य विशेषताओं के लिए महत्वपूर्ण हैं 1) कार्य संदेशों को संभालना, 2) निगरानी घटनाओं को भेजना/प्राप्त करना, और 3) श्रमिकों को उन्हें प्रबंधित करने के लिए संदेश प्रसारित करना (उदाहरण के लिए शटडाउन/समापन बढ़ाना/आदि। )

1) async होने की आवश्यकता है ताकि यह किसी भी ऑपरेशन के लिए कार्यकर्ता को ब्लॉक न करे

वर्तमान संस्करण रेडिस-पीई पुस्तकालय का उपयोग करता है, जो तुल्यकालिक है। मैंने इसे बनाने के लिए हैक किया है
यह एक एसिंक तरीके से संदेशों का उपभोग करता है, लेकिन मुझे संदेह है कि वहां अभी भी बग हैं क्योंकि हम नहीं जानते कि क्लाइंट में क्या होता है। इसके लिए पहले से ही async redis क्लाइंट उपलब्ध हो सकते हैं
टॉरनेडो/एसिन्सियो जिसका हम उपयोग कर सकते हैं, या सबसे खराब स्थिति क्योंकि हमें इसे कच्चा करने की ज्यादा जरूरत नहीं है
इतना पेचीदा हो।

2) कनेक्शन प्रबंधन

हमारे पास एक कनेक्शन उपभोग करने वाला कार्य है, और एक कनेक्शन पबसुब कर रहा है, फिर एक पूल
आउट-ऑफ-बैंड संचालन करने के लिए कनेक्शन, जैसे संदेशों को स्वीकार करना या अनजाने संदेशों को पुनर्स्थापित करना। यहां त्रुटि प्रबंधन के बारे में कुछ भ्रम है, और हम उपयोग के बाद सभी कनेक्शन बंद नहीं कर सकते हैं।

3) संदेश पावती

संदेश केवल सर्वर से हटाए जाने के बाद ही हटाए जाते हैं और हमारे पास एक दृश्यता टाइमआउट होता है जहां सभी संदेश उपभोक्ता संदेशों को पुनर्स्थापित करने का प्रयास करते हैं। खैर यह एक गड़बड़ है,
मैं बाद में और अधिक विस्तार से इसका वर्णन कर सकता हूं।

धन्यवाद @ask , बिंदु "1" के बारे में यह समझ में आता है कि न्यूनतम

ध्यान दें कि केवल 2, और संभवत: कुछ अन्य छोटे मुद्दों को जल्द ही समाधान की आवश्यकता है। यह काफी हद तक काम कर रहा है, लेकिन ऐसे मामले हैं जब संदेश पावती के कारण संदेश खो सकते हैं लेकिन यह एक इच्छा सूची आइटम है क्योंकि एके इम्यूलेशन से पहले स्थिति बहुत खराब थी। कार्यकर्ता को सिंक्रोनस रेडिस क्लाइंट द्वारा अवरुद्ध किया जा सकता है, जो खराब प्रदर्शन का कारण बन रहा है, और कुछ दुर्लभ मामलों में श्रमिकों को लटका रहा है।

1) async होने की आवश्यकता है ताकि यह किसी भी ऑपरेशन के लिए कार्यकर्ता को ब्लॉक न करे

पिछली बार मैंने जाँच की, async redis क्लाइंट सही नहीं थे (बवंडर के लिए कुछ जोड़े हैं)। मैंने इन स्थितियों में कई बार रेडिस-पीई को एसिंक क्लाइंट की तरह व्यवहार करने के लिए थ्रेड पूल निष्पादक और वायदा का उपयोग किया था। जब तक आपके पास बहुत से समवर्ती कार्य नहीं हैं और कुछ धागे करेंगे, यह एसिंक क्लाइंट से बेहतर काम करता है।

संपादित करें: मैंने अभी तक सीधे अजगर के एसिंकियो के साथ काम नहीं किया है, लेकिन जो मैंने देखा है वह बवंडर के समान है, इसलिए यह पैटर्न शायद करना आसान होगा।

@dvirsky हमें थ्रेड्स का उपयोग करने की अनुमति नहीं है, क्योंकि हम fork का भी उपयोग कर रहे हैं। पायथन इस मामले का समर्थन नहीं करता है, और भले ही cpython के लिए एक पैच का उत्पादन किया गया हो, हमें इस तरह से सुरक्षित होने के लिए मौजूदा पायथन पुस्तकालयों, कम से कम सी एक्सटेंशन को सावधानीपूर्वक पैच करना होगा। यह कुछ समय पहले पायथन बग ट्रैकर पर महसूस किया गया था, और यही वजह है कि हम async I/O में माइग्रेशन कर रहे हैं। हमें वहां सामान्य रूप से स्थानांतरित करने की भी आवश्यकता है, क्योंकि यह अब पाइथन के भविष्य में कोर एसिंक I/O समर्थन के साथ है।

@antirez पुन:

बिंदु "1" के बारे में यह समझ में आता है कि न्यूनतम एसिंक रेडिस समर्थन को सीधे लागू करने के लिए हमें कुछ आदेशों की आवश्यकता होती है जो हम सीधे ब्रोकर के अंदर भेजते हैं बजाय बाहरी lib पर निर्भर करते हैं।

मैं ऐसा नहीं करूंगा। रेडिस-पीई का अधिकांश कोड नेटवर्किंग और कनेक्शन प्रबंधन के इर्द-गिर्द घूमता है, न कि आदेशों को लागू करने के आसपास ...

@dvirsky हमारे पास कनेक्शन प्रबंधन जेनरिक है जो उसके लिए पूरी तरह से काम करेगा, ताकि कोई समय सिंक न हो। नेटवर्किंग हमारे पास बहुत कुछ नहीं है, लेकिन मुझे लगता है कि अधिकांश प्रोटोकॉल को पार्स कर रहे हैं और हम पहले से ही मैन्युअल रूप से या मौजूदा रेडिस कक्षाओं में हुक कर रहे हैं।

@ask हाँ किराए पर लिया गया है जो रेडिस प्रोटोकॉल को पार्स करने के लिए एक समर्पित सी एक्सटेंशन है, आईआईआरसी यह एक एसिंक क्लाइंट के साथ भी काम कर सकता है। रेडिस एसिंक्स बनाने में आपने अब तक कौन सी रणनीति चुनी है?

वैसे भी मुझे हाल ही में एसिंक क्लाइंट के साथ क्या हो रहा है, इस पर एक नज़र डालने की ज़रूरत है, मैंने पिछले डेढ़ सालों में ज्यादा पाइथन काम नहीं किया है। मैं देख रहा हूँ कि https://github.com/leporo/tornado-redis बहुत सक्रिय नहीं रहा है।

बहुत अधिक रणनीति नहीं है, हम ईवेंट लूप में सॉकेट जोड़ते हैं और उदाहरण के लिए BRPOP को सिंक्रोनाइज़ करते हैं, फिर हम सॉकेट के पढ़ने योग्य होने की प्रतीक्षा करते हैं और हम प्रतिक्रिया को सिंक्रोनाइज़ करते हैं;)

चूंकि हमारे पास प्रतिक्रिया को पार्स करने के बीच में पुनरारंभ करने का कोई तरीका नहीं है

@dvirsky यदि हम प्रोटोकॉल पार्सिंग के अलावा किसी अन्य चीज़ के लिए हायरर्स का उपयोग करते हैं, तो हमें gevent/eventlet (जब इसका उपयोग मल्टीप्रोसेसिंग के बजाय किया जाता है) के साथ संगतता समस्याएँ होंगी और यह भी अनिवार्य बना देगा कि यदि सेलेरी को PyPy पर चलाया जाता है तो पोर्टेबिलिटी की समस्या क्या है।

@dvirsky इसके अलावा py-hiredis इस समय प्रोटोकॉल पार्सिंग के अलावा किसी भी कार्यक्षमता का खुलासा नहीं करता है।

मुझे विश्वास है कि किसी बिंदु पर पाइथन को एक सभ्य एसिंक रेडिस क्लाइंट की आवश्यकता होगी, इसलिए कुछ उचित शुरू करना एक बुरा विचार नहीं होगा। जैसे redis-py में कुछ प्रोटोकॉल पार्सिंग कोड को रिफैक्ट करना।

आप अभी गीवेंट का उपयोग कर रहे हैं?

@dvirsky हम async I/O के साथ gevent, Eventlet और मल्टीप्रोसेसिंग (prefork) का समर्थन करते हैं। लेकिन अगर आप एक का समर्थन करते हैं तो आपके पास आमतौर पर दूसरे होते हैं।

हां, ऐसे समय होते हैं जब गीवेंट कार्यों के लिए अधिक उपयुक्त होता है। उदाहरण के लिए जब कार्य केवल डेटाबेस को लिखते हैं या HTTP अनुरोध करते हैं।
FD को gevent में एक्सपोज़ करना और रजिस्टर करना काफी आसान है लेकिन इसके लिए py-hiredis में और काम करने की आवश्यकता है।

@dvirsky यहां एक उदाहरण दिया गया है कि यह PyCurl के साथ कैसे किया जाता है। https://gist.github.com/GuoJing/5875326
gevent के साथ सहयोग करने के लिए आपको FD को बेनकाब करना होगा।

मुझे हाल ही में रेडिस के लिए अजवाइन समर्थन के आसपास के मुद्दे के साथ पेश किया गया था और जब तक मैंने पूरी तरह से विश्लेषण पूरा नहीं किया है, तो मैं कह सकता हूं कि asyncio के साथ एक पायथन रेडिस क्लाइंट को लिखना/अपग्रेड करना एक अच्छा विचार है, लेकिन हाल के बेंचमार्क से, यह सबसे अच्छा होगा जितना संभव हो उतना प्रदर्शन निचोड़ने के लिए asyncio + libuv के शीर्ष पर लागू किया गया।

संदर्भ के लिए देखें

• https://github.com/MagicStack/uvloop
• https://github.com/saghul/pyuv
• http://magic.io/blog/uvloop-blazing-fast-python-networking/

इस स्थिति के खिलाफ - या मामलों को जटिल बनाने के लिए, मैं ध्यान दूंगा कि रेडिस क्लाइंट के साथ अपने अनुभव से, डेवलपर और उपयोगकर्ता के रूप में, पूरी तरह से libuv पर निर्भर होने से क्लाइंट को अधिकतम प्रदर्शन प्राप्त करने से रोका जा सकेगा, और इसके लिए किराए पर लेना जरूरी है। libuv में बहुत सारा सामान अंडर-द-हूड चल रहा है जो वास्तव में कुछ मामलों में io को धीमा कर देता है, ioredis इसे Node के माध्यम से करता है और यह वास्तव में प्रदर्शनकारी नहीं है।

इसलिए जिस समाधान की मैं परिकल्पना करूंगा, उसमें मिश्रित हायररिस-एसिंक कार्यान्वयन है। (अलग तरह से कहा गया है, विकल्पों के एक समूह को चेरी-पिकिंग और बेंचमार्किंग के टन के साथ आज़माने की आवश्यकता है)

@ मेर्ल-देव समस्या अभी भी पीपीपी है जहां शुद्ध पायथन प्रोटोकॉल पार्सर कार्यान्वयन की तुलना में रेडिस प्रोटोकॉल को पार्स करने में हायररिस + सीएफआई धीमा है।
कम से कम मेरे संस्करण में रेडिस-पीई के साथ कुछ परीक्षण विफलताएं भी हैं। देखें https://github.com/redis/hiredis-py/pull/46

CPython एक्सटेंशन के रूप में एक किराए के ग्राहक को लिखना पूरी तरह से संभव है। मैं अभी भी CFFI के बारे में 100% निश्चित नहीं हूँ।

चलो इसे हासिल करते है

@thedrow यह मुझे याद दिलाता है - क्या आपने नई रेडिस स्ट्रीम सुविधा को देखा है? इसका उपयोग वर्तमान सामग्री की तुलना में अधिक मजबूत संदेश दलाल के रूप में किया जा सकता है। यह बहुत जल्द GA होने जा रहा है।

हमने नहीं किया। हमारे पास इस समय रेडिस ब्रोकर को रिफलेक्टर करने की क्षमता नहीं है।
हम उम्मीद कर रहे थे कि आप लोगों के पास ऐसा करने के लिए कुछ अतिरिक्त हाथ होंगे।

@thedrow हम बस कुछ भी वादा नहीं कर सकते हैं लेकिन हम रेडिस पारिस्थितिक तंत्र को सक्रिय रूप से समर्थन देने के लिए कुछ और संसाधन समर्पित कर सकते हैं।

@dvirsky आपका मतलब यह प्रस्ताव है , है ना? तो आप TAPPEND को एनक्यू करने के लिए, TREAD + TACK को डिक्यू करने, प्रोसेस करने और स्वीकार करने के लिए उपयोग कर सकते हैं।

@georgepsarakis यह अब एक प्रस्ताव नहीं है, यह काम कर रहा है, और उपसर्ग X है, यानी XADD। देखें https://www.youtube.com/watch?v=ELDzy9lCFHQ

तो रेडिस ब्रोकर का समर्थन करने पर अंतिम कॉल क्या है? क्या जल्द ही किसी भी समय बहिष्कृत होने जा रहा है?

इस समय नहीं।

मैं यह नहीं बता सकता कि समुदाय किस तरफ झुक रहा है, लेकिन हम एक नई परियोजना शुरू कर रहे हैं और मैं इसे बहिष्कृत करने के विचार के कारण ब्रोकर के रूप में w/Redis जाने में संकोच कर रहा हूं। विचार?

यह मान लेना सुरक्षित है कि रेडिस ब्रोकर निकट भविष्य में बने रहेंगे। बहुत से लोग इस पर रिले करते हैं।

हर समय #301 / 601 बासी होते जा रहे हैं।

@ermik संबंधित मुद्दे पर इसे प्राप्त करने में मदद करने का प्रयास करें।