Kafka-backup: تعويض المستهلك

مرحبا عمران

أنا أكتب منشور مدونة حول النسخ الاحتياطي واستعادة موضوعات كافكا في بيئة Kubernetes مع مشروع OpenEBS آخر مفتوح المصدر يوفر التخزين الأساسي المتصل بالحاوية الثابتة.

النسخ الاحتياطي لكافكا باستخدام لقطات نظام الملفات ليس بهذه السهولة. راجع https://github.com/azapps/kafka-backup/blob/master/docs/Comparing_Kafka_Backup_Solutions.md لمزيد من المعلومات حول ذلك.

في الوقت الحالي ، قررت استخدام موصل S3 من Spredfast لكن صديقي أراش كافامانيش وجهني إلى عملك. عندي بعض الأسئلة.

يبدو موصل S3 جيدًا تمامًا إذا لم تكن بحاجة إلى استعادة أي تعويضات للمستهلك. لقد تعمقت في الكود المصدري لموصل S3 قبل رفضه كحل لمشاكلنا لأنه لا يوفر هذه الميزة المهمة ويصعب تمديدها للتعامل مع هذه الحالة.

في وقت الاستعادة ، كيف يمكنني إعلام المستهلك من أين يبدأ الاستهلاك؟

الطريقة الوحيدة حاليًا هي حذف الأجزاء التي لا ينبغي استعادتها وإعادة إنشاء الفهرس. سيكون هناك المزيد من المعلومات قريبًا حول كيفية تحقيق ذلك. إذا كنت تحتاج حقًا إلى بدء الاستعادة من تعويض محدد جدًا ، فيرجى فتح مشكلة. لا ينبغي أن يكون من الصعب التنفيذ.

هل يمكنك مشاركة اختلافات إضافية مع موصل spredfast؟

مرة أخرى ، موصل S3 غير قادر على مزامنة تعويضات المستهلك أثناء الاستعادة. في الواقع ، لا توجد طريقة للقيام بذلك بشكل موثوق في نسخة كافكا الحالية. بفضل عمل ryannedolan على Mirror Maker 2 ، سيكون هناك قريبًا طريقة للقيام بذلك ويستخدم kafka-backup واجهة برمجة التطبيقات هذه. لحسن الحظ ، فإن هذا التغيير متوافق مع الإصدارات السابقة وستكون هناك وثائق حول كيفية استخدام kafka-backup بهذه الطريقة قريبًا جدًا.

بالإضافة إلى ذلك ، يدعم موصل S3 فقط S3. حاليًا ، يدعم kafka-backup النسخ الاحتياطي لنظام الملفات فقط ، وبعد ذلك يمكنك استخدام أي أداة تريد نقلها إلى وجهتك النهائية. أخطط لإضافة دعم لمزيد من الخلفيات التخزينية إذا كانت هناك حاجة.

بصرف النظر عن ذلك ، فإن المشروعين متشابهان جدًا من الناحية المعمارية (في الواقع ، موصل S3 مع Mirror Maker 2 مستوحى من kafka-backup )

تعمل بيئة كافكا الخاصة بي في Kubernetes. من الناحية المثالية ، أريد موقع تخزين نسخ احتياطي / استعادة خارج المجموعة الخاصة بي حتى أتمكن من استعادته في حالة حدوث فشل.

بقدر ما أعلم أنك تستخدم Strimzi أيضًا ، فلدينا نفس النسخة الاحتياطية. سأكتب منشور مدونة قريبًا عن كيفية عمل نسخة احتياطية كاملة من كافكا و (لا تنسى ذلك!) Zookeeper على Kubernetes و Strimzi.

يتم تحديد موقع النسخ الاحتياطي بواسطة target.dir ، ويصبح من الصعب إدارة مسار على عقدة إذا كانت البيئة Kubernetes.

فقط قم بتركيب وحدة تخزين ثابتة كما هو الحال دائمًا. استخدم حاوية جانبية لنقلها إلى وجهتك النهائية. يمكنك حتى الحفاظ على الحجم الثابت صغيرًا نسبيًا حيث يمكنك حذف المقاطع القديمة وفهرسها بمجرد الانتهاء منها. (التوثيق قادم)

إذا انتظرت بضعة أيام أخرى ، فسوف أنشر منشورًا تمهيديًا للمدونة يغطي بعضًا من موضوعاتك. اكتب لي بريدًا إلكترونيًا أو اسأل arashkaffamanesh عن مسودة: غمزة:

مساهمة azapps فريدة ورائعة وأعتقد أن المجتمع بأكمله يجب أن يساعد في الحصول على نسخة احتياطية من كافكا المقترحة والمنفذة بواسطة azapps لتصبح جزءًا قياسيًا من نظام كافكا البيئي!

لا يوجد شيء مثالي ، لكن هذا التنفيذ بواسطة azapps رائع!

للسجل: هنا نذهب: https://medium.com/@anatolyz/introducing -kafka-backup-9dc0677ea7ee