Restic: कमांड लाइन विकल्प के साथ मेमोरी खपत कम करें

अरे, रेस्टिक में आपकी रुचि के लिए धन्यवाद। लगभग 300MiB RAM की संख्या जिसका मैंने बात में उल्लेख किया है, का उपयोग दो चीजों के लिए किया जाता है (मुख्य रूप से):

• स्क्रीप्ट (पासवर्ड) की गणना करना: स्क्रीप्ट के लिए स्थिरांक अभी हार्ड-कोडेड हैं, और कोड जोड़ने के लिए #17 है जो स्वचालित रूप से यह पता लगाता है कि वर्तमान सिस्टम के लिए स्क्रीप्ट कितना कठिन होना चाहिए
• मेमोरी में बैकअप के लिए ब्लॉब्स/पैक्स के कई बफ़र्स होना: यह अनुमत अधिकतम संगामिति के साथ कसकर युग्मित है। इसके लिए मैं ऑटो-ट्यूनिंग कोड भी रखना चाहूंगा, लेकिन एक कमांड लाइन विकल्प भी संभव है।

ऊपर दिए गए मेरे बिंदुओं को संक्षेप में प्रस्तुत करने के लिए: यह योजनाबद्ध है और किसी समय इसे लागू किया जाएगा।

मुझे अच्छा लगता है। मैं उस सुविधा को ट्रैक करने के लिए इस मुद्दे को खुला रखना चाहता हूं।

माना।

मुझे इस विषय में सर्वर के नजरिए से भी दिलचस्पी होगी, इसलिए जरूरी नहीं कि कम मेमोरी हो लेकिन "अभी भी पर्याप्त नहीं है"। :) उदाहरण के लिए मेरे पास ~950GB डेटा ( scanned 64173 directories, 2147728 files in 2:41 ) के साथ एक मेल सर्वर है और 2GB RAM के साथ मैं रेस्टिक के साथ OOM में चला गया ( ionice -c 3 nice -n 19 तहत चल रहा है)। क्या रेस्टिक (प्रति फ़ाइल/प्रति जीबी/...) के लिए स्मृति आवश्यकताओं की गणना के लिए कोई ज्ञात संख्या है? (मैं सभी प्रकार के विभिन्न वीएम में रेस्टिक के साथ ओओएम में भाग गया, ज्ञात है कि उन जरूरतों को आगे बढ़ाना जीवन को आसान बना देगा, और यदि कोई तरीका होगा कि स्मृति खपत को कैसे कम किया जाए तो यह बहुत अच्छा होगा।)

धन्यवाद!

मेरा अनुभव 1.5TB रेपो आकार (बैकअप के लिए) के लिए लगभग 4GB RAM है। प्रून और भी अधिक लेता है (~9-10GB RAM)।

मेमोरी का उपयोग ज्यादातर विशेष मशीन पर डेटा आकार पर नहीं, बल्कि अधिकतर भंडार आकार पर निर्भर करता है। इसलिए मशीन पर 2GB RAM (कोई स्वैप नहीं) के साथ 100KB फ़ाइल का बैकअप लेना असंभव है यदि रेस्टिक रिपॉजिटरी स्वयं ~ 1TB है।

यहां:

• निर्माण:
  restic 0.8.3 (v0.8.3-11-gda77f4a2) compiled with go1.9.4 on linux/amd64
• आयाम (लेकिन मैं वास्तव में मानता हूं कि उन फ़ाइलों में से अधिकांश - बहुत सारे भंडार क्लोन, मेटाडेटा कैश, निर्देशिका बनाने आदि - वास्तव में बाहर रखे गए हैं और रेस्टिक द्वारा रिपोर्ट की गई संख्या कुल राशि को दर्शाती है):
  118775 directories 829113 files 129.220 GiB
• मेमोरी उपयोग: लगभग 3.8G प्रति दैनिक रन

क्या इस पर कोई प्रगति हुई है? लव रेस्टिक, लेकिन मेमोरी थकावट (1.5TB रिपॉजिटरी, ~ 23G RAM, b2 बैकएंड का उपयोग करता है) के कारण मेरा बैकअप अब पूरा नहीं होता है। अफैक, वर्तमान में समरूपता को केवल स्रोत को संशोधित करके संशोधित किया जा सकता है (https://github.com/restic/restic/issues/979#issuecomment-374359647), लेकिन यह वास्तव में बनाए रखने योग्य नहीं है।

स्मृति उपयोग आवश्यकताओं के संदर्भ में क्या कुछ बदला है?

मैं भी इस मुद्दे में भाग रहा हूँ। 2GB सिस्टम 250GB रेस्टिक रेपो। दौड़ना:

आयोनिस-सी ३ अच्छा-एन १९ ~/लोकल/बिन/रेस्टिक-आर/एमएनटी/रेस्टिक-पी आरके चेक --रीड-डेटा-सबसेट ३/७

(स्मृति उपयोग को 3/7 से कम करने का प्रयास करने के लिए 4/14 का उपयोग करना) 1.7G लेता है। कमांड को पूरा करने में 10 या 12 घंटे लग सकते हैं क्योंकि खराब सिस्टम अपने दिमाग की अदला-बदली कर रहा है। इसके अलावा सिस्टम स्वैपिंग के कारण किसी और चीज के लिए काफी बेकार है।

मुझे रेस्टिक पसंद है लेकिन यह टिकाऊ नहीं है।

क्या कोई स्पष्ट कर सकता है कि इस मुद्दे में वास्तविक सुझाव क्या है? मेरा मतलब है, अगर स्मृति खपत/आवश्यकताओं को छोटा बनाया जा सकता है, तो हमें ऐसा क्यों नहीं करना चाहिए और इसके बजाय कम मेमोरी का उपयोग करने के लिए कमांड लाइन स्विच करना चाहिए?

मुझे लगता है कि यदि संभव हो तो कम जगह आवंटित करने का मतलब यह होगा कि प्रक्रिया धीमी है, इसलिए यह डिफ़ॉल्ट रूप से ऐसा नहीं करने की गारंटी देगा?

स्मृति उपयोग के संबंध में पहले से ही सुधार हुए हैं और कुछ अन्य पाइपलाइन में हैं।
सिद्धांत रूप में, मैं @rawtaz के तर्क के साथ

उस ने कहा, निश्चित रूप से स्मृति उपयोग को और कम करने की संभावनाएं हैं, विशेष रूप से गति के लिए व्यापार। मैंने #2794 . में सूचकांक से संबंधित संभावनाओं पर काम करना शुरू किया

इसके लिए एक उचित समाधान सबसे अधिक संभावना ऑन-डिस्क रिपॉजिटरी इंडेक्स का उपयोग करेगा या क्लाइंट को इंडेक्स के केवल कुछ हिस्सों को लोड करने की अनुमति देगा जैसा कि #1988 में चर्चा की गई है।