Kafka-backup: उपभोक्ता ऑफसेट

हाय इमरान,

मैं एक अन्य ओपन सोर्स प्रोजेक्ट ओपनईबीएस के साथ एक कुबेरनेट्स वातावरण में काफ्का विषयों के बैकअप और पुनर्स्थापना पर एक ब्लॉग पोस्ट लिख रहा हूं जो अंतर्निहित लगातार कंटेनर संलग्न भंडारण प्रदान करता है।

फ़ाइल सिस्टम स्नैपशॉट का उपयोग करके काफ्का का बैकअप लेना इतना छोटा नहीं है। इसके बारे में अधिक जानकारी के लिए https://github.com/azapps/kafka-backup/blob/master/docs/Comparing_Kafka_Backup_Solutions.md देखें।

अभी के लिए मैं स्प्रेडफास्ट के S3 कनेक्टर का उपयोग करने के लिए तैयार हूं लेकिन मेरे मित्र अराश कफमनेश ने मुझे आपके काम की ओर इशारा किया। मेरे पास एक दो प्रश्न थे।

यदि आपको किसी उपभोक्ता ऑफ़सेट को पुनर्स्थापित करने की आवश्यकता नहीं है, तो S3 कनेक्टर पूरी तरह से ठीक लगता है। मैंने अपनी समस्याओं के समाधान के रूप में इसे खारिज करने से पहले S3 कनेक्टर के स्रोत कोड में गहराई से गोता लगाया क्योंकि यह वह महत्वपूर्ण विशेषता प्रदान नहीं करता है और उस मामले को संभालने के लिए इसे विस्तारित करना कठिन है।

पुनर्स्थापना के समय, मैं उपभोक्ता को यह कैसे बताऊं कि उपभोग कहां से शुरू करना है?

वर्तमान में एकमात्र तरीका केवल उन खंडों को हटाना है जिन्हें पुनर्स्थापित नहीं किया जाना चाहिए और अनुक्रमणिका को फिर से बनाना चाहिए। इसे कैसे हासिल किया जाए, इस बारे में जल्द ही और जानकारी मिलेगी। यदि आपको वास्तव में एक बहुत ही विशिष्ट ऑफ़सेट से बहाली शुरू करने की आवश्यकता है, तो कृपया एक समस्या खोलें। इसे लागू करना कठिन नहीं होना चाहिए।

क्या आप कृपया स्प्रेडफास्ट के कनेक्टर के साथ अतिरिक्त अंतर साझा कर सकते हैं?

फिर से, S3 कनेक्टर बहाली के दौरान उपभोक्ता ऑफसेट को सिंक करने में सक्षम नहीं है। वास्तव में, काफ्का के वर्तमान संस्करण में ऐसा मज़बूती से करने का कोई तरीका नहीं है। मिरर मेकर 2 पर @ryannedolan काम के लिए धन्यवाद, जल्द ही ऐसा करने का एक तरीका होगा और kafka-backup उस एपीआई का उपयोग करता है। सौभाग्य से यह परिवर्तन और भी पिछड़ा-संगत है और बहुत जल्द इस तरह से kafka-backup का उपयोग करने का दस्तावेज़ीकरण होगा।

इसके अतिरिक्त, S3 कनेक्टर केवल S3 का समर्थन करता है। वर्तमान में kafka-backup फाइल सिस्टम के लिए केवल बैकअप का समर्थन करता है और फिर आप जो भी टूल इसे अपने अंतिम गंतव्य पर ले जाना चाहते हैं उसका उपयोग कर सकते हैं। यदि आवश्यकता हो तो मैं अधिक संग्रहण बैकएंड के लिए समर्थन जोड़ने की योजना बना रहा हूं।

इसके अलावा, दोनों परियोजनाएं वास्तुशिल्प रूप से बहुत समान हैं (वास्तव में, मिरर मेकर 2 के साथ S3 कनेक्टर ने kafka-backup प्रेरित किया)

मेरा काफ्का वातावरण कुबेरनेट्स में चलता है। आदर्श रूप से मैं अपने क्लस्टर के बाहर एक बैकअप/पुनर्स्थापना संग्रहण स्थान चाहता हूं ताकि विफलता की स्थिति में मैं इसे वापस प्राप्त कर सकूं।

जहाँ तक मुझे पता है कि आप भी स्ट्रिमज़ी का उपयोग कर रहे हैं, हमारे पास वही बैकअप है। मैं जल्द ही एक ब्लॉग पोस्ट लिखूंगा कि काफ्का का पूर्ण बैकअप कैसे करें और (यह मत भूलो!) कुबेरनेट्स और स्ट्रिमज़ी पर ज़ुकीपर।

बैकअप स्थान target.dir द्वारा निर्धारित किया जाता है, यदि वातावरण Kubernetes है, तो नोड पर पथ का प्रबंधन करना मुश्किल हो जाता है।

हमेशा की तरह लगातार वॉल्यूम माउंट करें। इसे अपने अंतिम गंतव्य तक ले जाने के लिए एक साइडकार कंटेनर का उपयोग करें। आप लगातार वॉल्यूम को अपेक्षाकृत छोटा भी रख सकते हैं क्योंकि जैसे ही आप पुराने सेगमेंट और उनके इंडेक्स को अंतिम रूप देते हैं, उन्हें हटा सकते हैं। (दस्तावेज आ रहा है)

यदि आप कुछ और दिन प्रतीक्षा करते हैं, तो मैं आपके कुछ विषयों को शामिल करते हुए एक परिचयात्मक ब्लॉग पोस्ट प्रकाशित करूंगा। मुझे एक ईमेल लिखें या ड्राफ्ट के लिए @arashkaffmanesh से पूछें: पलक:

@azapps का योगदान अद्वितीय और भयानक है और मुझे लगता है कि पूरे समुदाय को काफ्का पारिस्थितिकी तंत्र का एक मानकीकृत टुकड़ा बनने के लिए @azapps द्वारा प्रस्तावित और कार्यान्वित काफ्का बैकअप प्राप्त करने में मदद करनी चाहिए!

कुछ भी सही नहीं है, लेकिन @azapps द्वारा यह कार्यान्वयन शानदार है!

रिकॉर्ड के लिए: यहां हम जाते हैं: https://medium.com/@anatolyz/introducing -kafka-backup-9dc0677ea7ee