आप पुनर्स्थापना प्रक्रिया के बारे में सही हैं। बहाल करना एक बार की गतिविधि है।
बैकअप लगातार चलने वाली गतिविधि है। काफ्का में कोई "मैंने बैकअप करना समाप्त कर दिया" नहीं है क्योंकि काफ्का डेटा एक धारा है और इसका कोई अंत नहीं है। निश्चित रूप से, आप मान सकते हैं कि यदि आपको x सेकंड के लिए कोई नया डेटा नहीं मिला तो आप "हो गया" लेकिन आप इसे सामान्य नहीं कर सकते।
अधिक के लिए #46 और #54 पर एक नज़र डालें

56: फिर:

@itadventurer

बैकअप लगातार चलने वाली गतिविधि है।

यह 24x7x365 डेटा की निरंतर स्ट्रीम मानता है, जो सभी मामलों पर लागू नहीं होता है। हमारे मामले में स्ट्रीम प्रति दिन केवल एक्स घंटे के लिए चलती है, बैकअप उसके बाद ही होता है और वास्तव में डेटा के दैनिक बैकअप/स्नैपशॉट के रूप में होता है।

मुझे लगता है कि (आंतरिक रूप से) यह पता लगाने का एक तरीका होना चाहिए कि एक्स राशि (संभवतः कॉन्फ़िगर करने योग्य अंतराल) के लिए कोई नया संदेश नहीं आया है जिसके बाद बैकअप प्रक्रिया शानदार ढंग से बाहर निकल जाएगी और इस प्रकार प्रक्रिया को समाप्त कर देगी।

इसका एक और (संभवतः सरल) विकल्प केवल बैकअप संदेशों के लिए होगा जब बैकअप शुरू किया गया था। सुनिश्चित नहीं है कि यह बैक अप ऑफ़सेट के साथ कैसे खेलेंगे। हो सकता है कि पहले बैकअप ऑफ़सेट हो, फिर हम उस टाइमस्टैम्प को जानते हैं जिस पर हमने ऑफ़सेट का बैकअप लिया था और हम उस टाइमस्टैम्प तक संदेशों का बैकअप ले सकते हैं।

तुम्हारी बात सही है। हाँ, शायद यह अच्छा होगा कि पॉइंट-इन-टाइम बैकअप करने का कोई तरीका हो: सोच:
हालांकि, यह मामूली नहीं है क्योंकि यह तय करने का कोई आसान तरीका नहीं है कि कोई धारा "समाप्त" हो गई है या नहीं।

आप अपने मामले में क्या कर सकते हैं:

• काफ्का बैकअप को पृष्ठभूमि में चलने दें
• काफ्का बैकअप फ़ाइल सिस्टम के लिए पृष्ठभूमि में लगातार डेटा लिखता है
• kill -9 काफ्का बैकअप जैसे ही "समाप्त" होता है, यानी यह आपका डेटा लिखना समाप्त कर देता है। यह आपके द्वारा डेटा तैयार करने के तुरंत बाद होना चाहिए
• काफ्का बैकअप के डेटा को अपने नए गंतव्य पर ले जाएं।

मैं समझता हूं कि यह काफी सामान्य उपयोग का मामला है और मैं इसके लिए #2 के साथ और अधिक दस्तावेज उपलब्ध कराऊंगा। v0.1 के लिए दस्तावेज़ीकरण आखिरी बड़ा मुद्दा है, इसलिए उम्मीद है कि यह जल्द ही होना चाहिए;)

मैं निम्नलिखित दृष्टिकोण देखता हूं:

• #54 एक नया स्टैंडअलोन सीएलआई टूल पेश करता है। CLI टूल को इसका समर्थन करना चाहिए।
• हम CLI टूल में एक नया ध्वज --snapshot जोड़ते हैं (या backup-snapshot.sh नामक एक नया टूल जोड़ते हैं)

बैकअप "समाप्त" होने पर कैसे पता लगाया जाए (केवल तभी लागू होता है जब --snapshot ध्वज सेट हो):

• हम उस समय को याद करते हैं जब बैकअप शुरू होता है। बैकअप के दौरान नए टाइमस्टैम्प वाले सभी रिकॉर्ड को अनदेखा कर दिया जाता है
• जब कोई विभाजन कुछ समय के लिए कोई नया डेटा उत्पन्न नहीं करता है (जैसे 20s) तो हम मान लेते हैं कि कोई नया डेटा नहीं है

तुम क्या सोचते हो?

काफ्का बैकअप को पृष्ठभूमि में चलने दें

मुद्दा बिल्कुल इस कदम के साथ है। हम इसे बैकग्राउंड में चालू नहीं रख सकते। जब हम स्नैपशॉट कर सकते हैं तो हमारे पास केवल एक विशिष्ट विंडो होती है। यह तय करना हमारे ऊपर नहीं है कि हम बैकअप कब कर सकते हैं यह एक बाहरी नियामक आवश्यकता है।

हम उस समय को याद करते हैं जब बैकअप शुरू होता है। बैकअप के दौरान नए टाइमस्टैम्प वाले सभी रिकॉर्ड को अनदेखा कर दिया जाता है

हां, यही मेरा मतलब था और मुझे लगता है कि यह पृष्ठभूमि में चलने की आवश्यकता को हटा देगा (और उस क्षण को पकड़ने की कोशिश कर रहा है जब सभी निर्माता किए जाते हैं)।

जब कोई विभाजन कुछ समय के लिए कोई नया डेटा उत्पन्न नहीं करता है (जैसे 20s) तो हम मान लेते हैं कि कोई नया डेटा नहीं है

मुझे लगता है कि यह विकल्प दूसरे के साथ परस्पर अनन्य है। और मुझे लगता है कि पहला बेहतर है क्योंकि यह एक विशिष्ट संदर्भ बिंदु देता है और कोई संदेश नहीं होने पर विंडो खोजने पर भरोसा नहीं करता है।

असल में मैं लिखना चाहता था कि काफ्का के साथ यह लगभग असंभव है, लेकिन लिखते समय मुझे समाधान के लिए एक विचार आया:

kafka-consumer-groups विभाजन में उपभोक्ता की वर्तमान स्थिति लौटाता है, लेकिन अधिक दिलचस्प बात यह है कि यह प्रत्येक विशेष विभाजन के वर्तमान एंड-ऑफ़सेट को लौटाता है। इसका मतलब है कि एक निश्चित समय पर विभाजन के लिए नवीनतम ऑफसेट प्राप्त करने का एक तरीका है। मुझे वर्तमान में पता नहीं है कि यह कैसे हासिल किया जाता है (कोड की जांच करने की आवश्यकता है)।

तो अब एक स्पष्ट रास्ता है कि (अधिक या कम) पॉइंट-इन-टाइम बैकअप कैसे करें:

1. प्रत्येक पार्टीशन के बैकअप के लिए एंड-ऑफ़-पार्टिशन ऑफ़सेट प्राप्त करें (कहीं यहाँ: https://github.com/itadventurer/kafka-backup/blob/master/src/main/java/de/azapps/kafkabackup/sink /बैकअपसिंकटास्क.जावा#L81 )
2. हर विभाजन का उपभोग करें
3. जैसे ही उपभोग किए गए रिकॉर्ड में ऑफसेट >= , उस विभाजन के लिए सहेजा गया एक इसे याद रखें। बैकअप में सभी रिकॉर्ड पर ध्यान न दें। (देखें https://github.com/itadventurer/kafka-backup/blob/master/src/main/java/de/azapps/kafkabackup/sink/BackupSinkTask.java#L63 )
4. जैसे ही सभी पार्टीशन अप टू डेट होते हैं, STDOUT को एक संदेश प्रिंट करें
5. इस संदेश का पता लगाने के लिए रैपर स्क्रिप्ट का उपयोग करें और काफ्का को इनायत से कनेक्ट करें। पुनर्स्थापना के दौरान इसे कैसे हल किया जाता है: https://github.com/itadventurer/kafka-backup/blob/master/bin/restore-standalone.sh#L232 -L252

आप देखते हैं कि यह वास्तव में इतना तुच्छ नहीं है।

मेरा वर्तमान ध्यान परीक्षण सूट में सुधार करना और पहली रिलीज के लिए काफ्का बैकअप को स्थिर करना है (देखें https://github.com/itadventurer/kafka-backup/milestone/1)। मैं आपको उस सुविधा के लिए ईटीए नहीं दे सकता। मुझे उसके लिए एक पीआर की समीक्षा करने में खुशी होगी (और मैं अतिरिक्त अनुरक्षकों की भी तलाश कर रहा हूं;)) अगर कोई प्रश्न हैं तो मुझे मदद करने में खुशी होगी

आप देखते हैं कि यह वास्तव में इतना तुच्छ नहीं है।

मैं चीजों के संचालन पक्ष पर अधिक हूं (जैसे काफ्का समूहों की स्थापना, निगरानी आदि)। इसलिए मैं इस हिस्से पर आप पर भरोसा करता हूं। मेरा कहना यह है कि मेरे काम की तरफ से यह कुछ ऐसा है जो मुझे (और निश्चित रूप से कई अन्य लोगों को) चाहिए।

मुझे उसके लिए एक पीआर की समीक्षा करने में खुशी होगी (और मैं अतिरिक्त अनुरक्षकों की भी तलाश कर रहा हूं;))

मैं जावा/स्कैला के साथ यहां बहुत मदद करने के लिए इतना अच्छा नहीं हूं। अगर यह पायथन, सी/सी ++ या कम से कम गो मैं मदद कर सकता था: पी

नमस्कार!
सबसे पहले - मैं आपका समाधान पाकर खुश हूं, क्योंकि मुझे काफ्का विषय डेटा का बैकअप लेना है
दूसरे पर - दुर्भाग्य से मैं जावा/स्कैला में कुछ भी नहीं लिख सका, इसलिए मैंने आपके लिए 'आवरण' तैयार किया है 'बैकअप-स्टैंडअलोन.श' पूर्ण बैकअप समाधान के लिए पायथन के साथ
https://gist.github.com/FloMko/7adf2e00cd80fe7cc88bb587cde999ce
पॉइंट-इन-टाइम बैकअप के लिए किसी भी बिल्ड-इन समर्थन के बारे में कोई भी अपडेट देखना अच्छा होगा

अरे,
तुम्हारे काम के लिए धन्यवाद! एक अस्थायी समाधान के रूप में मैं इसे इस रेपो में एक अतिरिक्त स्क्रिप्ट के रूप में जोड़ने की कल्पना कर सकता था और बाद में इसे एक अंतर्निर्मित समाधान द्वारा प्रतिस्थापित कर सकता था। इसे पुल अनुरोध के रूप में जोड़ने के लिए स्वतंत्र महसूस करें :) ( ./bin/kafka-backup-point-in-time.py या कुछ और;))

मैं गो में लिखे गए पूरी तरह से अलग कार्यान्वयन को प्रकाशित करने वाला हूं जो कनेक्ट एपीआई पर निर्भर नहीं करता है। सिर्फ आपकी जानकारी के लिए। हम पहले से ही अपने उत्पादन परिवेश में इसका उपयोग कर रहे हैं।

@akamensky क्या आप अपना समाधान साझा कर सकते हैं? जहाँ तक आपने अपने समाधान का परीक्षण किया है यह ठीक रहेगा

@FloMko हमने अभी इसे प्रकाशित किया है। आप इसे (साथ ही एक पुनर्निर्माण बाइनरी) यहां पा सकते हैं

आपके पीआर #99 के लिए @WesselVS धन्यवाद! मैंने अभी इसे मास्टर में विलय कर दिया है। इस एन्हांसमेंट के साथ रिलीज़ करेंगे और जल्द ही कुछ अन्य सुधार भी करेंगे।

@akamensky कूल! काफ्का बैकअप के संबंध में कुछ और काम देखकर बहुत अच्छा लगा;)