Restic: بطيء ، على الرغم من أنه يقوم فقط بفحص الطوابع الزمنية

تم إنشاؤها على ١٧ فبراير ٢٠١٦ · 5تعليقات · مصدر: restic/restic

لدي 164809 ملفًا للنسخ الاحتياطي بانتظام (حوالي 60 جيجابايت) ... في كل مرة أقوم فيها بتشغيل "النسخ الاحتياطي restic" ، لا يتجاوز التقرير 33 ميجابايت / ثانية ويتحقق من ذلك باستخدام strace ، فإنه يقوم فقط بإجراء مكالمات lstat ().

هذا يجعل حوالي 20 دقيقة لكل نسخة احتياطية. أتساءل ما الذي يفعله restic ، نظرًا لكون جميع الملفات تقريبًا غير معدلة ، فإنه يُظهر 33 ميجابايت / ثانية ثابتة وأنا أفهم أنه يحتاج فقط إلى lstat () لهم ، وهو بالضبط ما يفعله restic بالفعل في الخطوة الأولى من النسخ الاحتياطي فقط لإظهار الحجم الإجمالي ، في 6 أو 7 ثوان.

هل هو مجرد وقت وحدة المعالجة المركزية الذي يقضيه في فحص محتويات نفس الملف / الطابع الزمني موجود بالفعل في لقطة سابقة ثابتة؟

feature enhancement

مصدر

viric

التعليق الأكثر فائدة

نعم ، سيكون هذا هو السبب على الأرجح. يوجد حل بديل لحالة الاستخدام هذه: استخدم الخيار -f ( --force ) للأمر backup ، والذي سيقرأ جميع الملفات محليًا مرة أخرى ولن يتم تحميل البيانات الوصفية من الريبو . يجب أن يكون ذلك سريعًا.

fd0 في ١٣ أغسطس ٢٠١٦

👍2

ال 5 كومينتر

في الوقت الحالي ، لا يتم تخزين البيانات الوصفية للملفات والأدلة مؤقتًا ، ولكن يتم تحميلها (وفك تشفيرها) من المستودع. يتم ذلك مرة واحدة لكل دليل. أخطط لتخزين البيانات الوصفية مؤقتًا محليًا ، وهو ما لم يتم تنفيذه بعد ولكن يجب تسريع عمليات النسخ الاحتياطي "المتزايدة" كثيرًا.

fd0 في ١٩ فبراير ٢٠١٦

👍2

أهلا

هل يمكن أن يتسبب هذا أيضًا في ضعف أداء النسخ الاحتياطية المتزايدة عبر اتصال WAN بطيء؟

لقد قمت للتو بعمل نسخة احتياطية من مجلد يحتوي على ما يزيد عن 9000 ملف و 250 ميجابايت إلى خادم s3 بعيد. كلا الجهازين متصلان باتصال إنترنت غير متماثل بمعدل 50/5 ميجابت / ثانية لأسفل وأعلى.

استغرق النسخ الاحتياطي الأولي حوالي 5 دقائق وبدا معقولًا جدًا. لكن النسخ الاحتياطي الثاني بعد فترة وجيزة استغرق ضعف الوقت! يبدو أن المجلد الذي يحتوي على ملفات أقل يكون أسرع بكثير.