Etherpad-lite: स्टेटलेस ईथरपैड

इस समय ईथरपैड को स्टेटलेस बनाने के लिए कोई पहल नहीं है, हम आपको इस पर नेतृत्व करने के लिए प्रोत्साहित करते हैं और आमंत्रित करते हैं, क्योंकि यह खाने लायक है।

स्टेटलेस जाने के बजाय हमने थ्रेड पर प्रदर्शन के लिए अनुकूलित किया, इसका मतलब है कि सिमुलेशन पर हमारे लोड परीक्षण संख्याएं (हमारे द्वारा प्रदान किए जाने वाले टूल देखें) बहुत प्रभावशाली हैं। यह हमारे लगभग सभी ग्राहकों को संतुष्ट करता है।

हमारे अन्य बड़े क्लाइंट (एम के पैड, 5k आंकड़े प्रति दिन उपयोगकर्ता) के पास एक शार्डिंग सिस्टम है जहां एक विशिष्ट यूआरएल वाले पैड हार्डवेयर के दिए गए टुकड़े को पास कर दिए जाते हैं। तो पैड a से सर्वर 1, oz से सर्वर 2 और कोई अन्य यादृच्छिक वर्ण #!'; आदि से सर्वर 3. प्रत्येक सर्वर का अपना बैकएंड भी होता है। हालांकि यह इष्टतम नहीं है क्योंकि जैसा आपने कहा, हा एक मुद्दा है ... :)

बात यह है कि, हम किसी दिए गए थ्रेड पर दिए गए पैड के लिए सभी ऑपरेशनल ट्रांसफ़ॉर्मेशन ऑपरेशंस को रखना चाहते हैं ताकि हम ऑप्टिमाइज़ कर सकें और ट्रैफ़िक कम रख सकें। 5 उपयोगकर्ताओं के लिए ओटी को संभालने वाले 10 सर्वर होने का कोई मतलब नहीं है, यह विलंबता और नाजुकता का परिचय देगा। तो आखिरकार मेरी राय है कि यदि आप स्टेटलेस हो गए हैं तो भी आप किसी दिए गए पैड की सामग्री को एक उदाहरण में रखना चाहेंगे।

फिर भी, ऐसा लगता है कि आप मुझसे अधिक स्टेटलेस / एचए जाने के बारे में अधिक जानते हैं और मुझे इसे देखे हुए 5+ साल हो गए हैं, इसलिए मुझे यह जानने के लिए सभी कान हैं कि क्या हम बिल्कुल मदद कर सकते हैं और मैं इसे देखने के लिए बहुत उत्सुक हूं लागू किया गया

स्पष्टीकरण के लिए धन्यवाद। मैं इसे स्टेटलेस बनाने के बजाय थ्रेड पर ऑप्टिमाइज़ करने के निर्णय के पीछे तर्क को पूरी तरह समझता हूं। अभी के लिए, हम स्टेटफुल सेटअप के साथ जारी रखेंगे क्योंकि हम सिर्फ एक POC का निर्माण कर रहे हैं, जिसे अभी भी उच्च स्तर पर ऑर्गनाइजेशन बाय-इन की जरूरत है। इसे हासिल करने के बाद, मैं वास्तव में स्टेटलेस होने के प्रयास का समर्थन करने के लिए बहुत अधिक हूं।

एचए के आसपास बस एक विचार और यह स्पष्ट करने के लिए कि मैं अपनी स्थिति में यह क्यों मांग रहा हूं। हम एक उद्यम वातावरण में काम करते हैं और यह किसी भी समाधान के लिए बहुत जटिलता ला सकता है। HA हमें बाद में उन्हें प्रबंधित करने की चिंता करने के बजाय अच्छे समाधान बनाने पर ध्यान केंद्रित करने की अनुमति देगा। जीवन पहले से ही काफी कठिन है इसलिए स्टेटलेस सॉफ्टवेयर का हर टुकड़ा मदद करता है! और न केवल समाधान बनाने और चलाने वाले इंजीनियरों के लिए ... व्यावसायिक पक्ष ने जल्दी से पकड़ लिया है और एचए समाधानों के निर्माण में मूल्य देखता है। इंजीनियरों के हाथों को तदर्थ कार्य और अग्निशामक से मुक्त छोड़ने से इसके बजाय नए मूल्य उत्पन्न करने पर ध्यान केंद्रित करना संभव हो जाता है।

बहुत अच्छे धन्यवाद; हमें पोस्ट करते रहें और किसी भी नापसंद/क्विर्क/बग रिपोर्ट के माध्यम से शूट करने के लिए स्वतंत्र महसूस करें और हम उन्हें एएसपीएपी पर कार्रवाई करने का प्रयास करेंगे।

नमस्ते: लहर:

हमने (OpenFUN) etherpad-lite लिए एक स्टेटलेस डॉकर छवि विकसित की है: https://github.com/openfun/etherpad-docker

हम इस छवि को k8s (ओकेडी) पर चला रहे हैं और यह उत्पादन में ठीक चल रहा है (देखें https://pad.education), लेकिन हम अपने पॉड्स को स्केल करने की कोशिश करते समय वेबसोकेट मुद्दों से पीड़ित हैं। हमने इसे संबोधित करने के लिए एक रेडिस-आधारित अमूर्त परत का मसौदा तैयार किया है, लेकिन दुर्भाग्य से, सभी घटनाएं इस अमूर्त परत में पारगमन नहीं लगती हैं ... आप हमारे पीओसी को यहां देख सकते हैं: https://github.com/openfun/etherpad- डोकर/पुल/8

@ottomattas मुझे यकीन नहीं है कि आप अपने उदाहरण को k8s संदर्भ में या यहां तक ​​​​कि डॉकर कंटेनर में चलाने की कोशिश कर रहे हैं, लेकिन अगर ऐसा है तो हम सेना में शामिल हो सकते हैं: प्रार्थना करें:

@JohnMcLear सॉकेट. io-redis एडॉप्टर का उपयोग करने में कोई सलाह बहुत मददगार होगी। :प्रार्थना:

Pad.education पैड लोड नहीं कर रहा है?

अगर मैं मदद कर सकता हूँ तो खुशी होगी, आपका शेड्यूल कैसा दिखता है?

Pad.education पैड लोड नहीं कर रहा है?

नहीं, यह पैड लोड कर रहा है! लेकिन हम केवल एक ईथरपैड इंस्टेंस चला रहे हैं और हम "कुबेरनेट्स वे" को स्केल नहीं कर सकते हैं (_i.e._ ऐप की अधिक प्रतिकृतियां जोड़कर और राउंड-रॉबिन एल्गोरिदम के साथ रूट अनुरोध)।

सबसे पहले, मैंने सोचा था कि यह केवल websockets के कारण था, और इस प्रकार हमने एक socket.io-redis एडेप्टर का उपयोग करने का प्रयास किया है ताकि एक ईथरपैड इंस्टेंस क्लाइंट से बंधा न हो। लेकिन, यह काम नहीं कर रहा है क्योंकि कुछ घटनाएं इस रेडिस एडेप्टर को नहीं भेजी जाती हैं, और, एफडब्ल्यूआईयू [1], हम आवेदन स्थिति से संबंधित अन्य मुद्दों का सामना करने जा रहे हैं। क्या मैं सही हूँ?

अगर मैं मदद कर सकता हूँ तो खुशी होगी, आपका शेड्यूल कैसा दिखता है?

अभी के लिए, इस नई सेवा को बढ़ाना हमारे लिए महत्वपूर्ण नहीं है (सब कुछ ठीक चल रहा है), लेकिन हम भविष्य के लिए योजना बना रहे हैं। मैं सोच रहा हूं कि एप्लिकेशन को स्टेटलेस बनाने के लिए क्या हासिल किया जाना चाहिए? क्या रेडिस सॉकेट.आईओ एडॉप्टर एक मृत अंत है?

यदि ईथरपैड को स्टेटलेस बनाना प्राथमिकता नहीं है या इसके लिए कोर ऐप में बहुत अधिक बदलाव की आवश्यकता है, तो हमारे पास अन्य वैकल्पिक योजनाएँ हैं जो आपके द्वारा पहले बताए गए शार्पिंग दृष्टिकोण के करीब हैं [2]। मैं ऐप को स्केल करने के लिए अधिक कुशल/व्यावहारिक दृष्टिकोण चुनने के लिए फीडबैक एकत्र कर रहा हूं।

[1] https://github.com/ether/etherpad-lite/issues/3680#issuecomment -566809617
[2] https://github.com/ether/etherpad-lite/issues/3848#issuecomment -610942249

@jmaupetit , अभी, क्षैतिज रूप से

मुझे वास्तव में ऐसी सुविधा पर भी दिलचस्पी है, हमें एचए और लोड-बैलेंसिंग की भी आवश्यकता है।
मैं ईथरपैड के साथ केवल एक नौसिखिया हूं, लेकिन प्रतीक्षा में मैंने इसे 2 सर्वरों पर तैनात किया है और मैं अपने उपयोगकर्ताओं के प्रकार के आधार पर पहुंच वितरित कर रहा हूं, हमारे पास लगभग 5,000 उपयोगकर्ता एक साथ हो सकते हैं, और शायद अधिक। 2 ईथरपैड सर्वर एक ही डेटाबेस पर अनुरोध करते हैं, और विफल-ओवर के लिए मैंने दूसरे सर्वर को फ़ॉल-बैक सर्वर के रूप में रखा।

@ जॉन मैकलियर

हमारे अन्य बड़े क्लाइंट (एम के पैड, 5k आंकड़े प्रति दिन उपयोगकर्ता) के पास एक शार्डिंग सिस्टम है जहां एक विशिष्ट यूआरएल वाले पैड हार्डवेयर के दिए गए टुकड़े को पास कर दिए जाते हैं। तो पैड a से सर्वर 1, oz से सर्वर 2 और कोई अन्य यादृच्छिक वर्ण #!'; आदि से सर्वर 3. प्रत्येक सर्वर का अपना बैकएंड भी होता है। हालांकि यह इष्टतम नहीं है क्योंकि जैसा आपने कहा, हा एक मुद्दा है ... :)

मुझे यह जानने में दिलचस्पी होगी कि लोगों ने यह कैसे किया, और उन्होंने कौन से शार्डिंग सिस्टम किए। हमें बड़े इंस्टेंस परिनियोजन पर ऐसी प्रतिक्रिया नहीं मिल रही है।

@jgribonvald यहां पूर्ण अस्वीकरण: मैं यह काम वाणिज्यिक ग्राहकों के लिए करता हूं इसलिए यह वास्तव में एक दैनिक दर पर काम करने का प्रकार है। लेकिन ओपन सोर्स की भावना के भीतर और यहां हमारे समुदाय का समर्थन करने के लिए एक वार्निश वीसीएल है जिसे आप काम करने के लिए जोड़-तोड़ कर सकते हैं।

शेयरिंग

    vcl 4.0;

    backend static {
        .host = "staticcontent.etherpad.com";
        .port = "9001";
        .connect_timeout = 6000s;
        .first_byte_timeout = 6000s;
        .between_bytes_timeout = 6000s;
    }

    backend ep1 {
        .host = "192.168.0.1";
        .port = "9001";
        .connect_timeout = 6000s;
        .first_byte_timeout = 6000s;
        .between_bytes_timeout = 6000s;
    }

    backend ep2 {
        .host = "192.168.0.2";
        .port = "9001";
        .connect_timeout = 6000s;
        .first_byte_timeout = 6000s;
        .between_bytes_timeout = 6000s;
    }

    sub vcl_recv {
           if (req.url == "^/static/*$") {
              set req.backend_hint = static;
           } else {
        set req.backend_hint = vm1;
        }

   .. logic for socket header stickiness [ secret sauce I can't copy/pasta (see below for understanding)]

    sub vcl_recv {
           if (req.url == "^/[a-g]/*$") {
              set req.backend_hint = ep1;
           }

    sub vcl_recv {
           if (req.url == "^/[h-z]/*$") {
              set req.backend_hint = ep2;
           }

आप शायद req.http.header आधार पर एक पुनर्लेखन सेट करना चाहेंगे जिसमें सॉकेट कनेक्टिविटी के लिए पैडआईड शामिल करने की आवश्यकता होगी। यूरी हमेशा /socket.io/ । हेडर में padId शामिल करने के लिए आपको ईथरपैड का विस्तार करना होगा। यह बहुत आसानी से एक प्लगइन के साथ किया जाता है।

चिपका

किसी भी कुंजी/मूल्य प्रणाली का उपयोग करके आप पैड स्तर की रूटिंग प्रणाली को आसानी से कार्यान्वित कर सकते हैं। मूल रूप से आपके पुनर्लेखन समापन बिंदु में सर्वर<>padId [1 से 1 संबंध] का एक साझा (आदर्श रूप से त्वरित पहुंच) स्थान होगा और प्रत्येक रूटिंग एंडपॉइंट इस संबंध से अवगत है, इसलिए उपयोगकर्ता को पैडआईडी के आधार पर सर्वर पर रूट करता है। इस तरह से अन्य बड़े प्लेटफॉर्म काम करते हैं क्योंकि जैसा कि मैंने पहले कहा है, आप वास्तव में एक भी पैड सॉकेट कनेक्टिविटी वितरित नहीं करना चाहते हैं। यह अभी भी तेज है लेकिन यह आपके द्वारा निर्धारित मानदंडों के आधार पर गतिशील है (आईई पैड निर्माता की भौगोलिक निकटता), यह वही है जो Google करता है।

इसे पूरा करना

ईथरपैड डेवलपर्स के रूप में हम ऐसा नहीं करते हैं क्योंकि रोल आउट की भिन्नता (एक बड़ी राशि) है, इसलिए हम अपने devops / sys व्यवस्थापक मित्रों को मौजूदा लोकप्रिय समाधान को उस पैमाने पर हिट करने के लिए तैनात करने के लिए सौंपते हैं जिसकी उन्हें आवश्यकता होती है। इसलिए जब तक इस प्रश्न का स्वागत है, मैं केवल उन कारणों के साथ आगे आना चाहता हूं जो इसे ईथरपैड में बेक नहीं किया गया है।

@JohnMcLear बहुत बहुत धन्यवाद, मैं

यह भी देखें https://github.com/ether/etherpad-lite/issues/3335

इस समस्या को स्वचालित रूप से पुराना के रूप में चिह्नित कर दिया गया है क्योंकि इसमें हाल की गतिविधि नहीं है। आगे कोई गतिविधि नहीं होने पर इसे बंद कर दिया जाएगा। आपके योगदानों के लिए धन्यवाद।