Orientdb: हैश इंडेक्स के लिए बिग डेटा सपोर्ट

वर्तमान हैश इंडेक्स कार्यान्वयन के लिए पढ़ने के लिए केवल एक i/o और लिखने के मामले में अधिकतम 3 i/os की आवश्यकता होती है लेकिन हम अभी भी यादृच्छिक I/O ओवरहेड से पीड़ित हैं। औसत यादृच्छिक I/O में 20 ms लगते हैं यह बहुत धीमा है। वर्तमान लेखन कैश ऑप्टिमाइज़ेशन इस ओवरहेड को परिशोधित करता है लेकिन बड़े सम्मिलन के मामले में हम अभी भी इससे पीड़ित होंगे। इस ओवरहेड से बचने के लिए ऑप्टिमाइज़ेशन के लिए अच्छा है जो एलएसएम प्रयासों के लिए लागू किया गया था। संक्षेप में एलएसएम ट्री को सॉर्ट किया गया डिक्शनरी है, जिसमें से एक इंस्टेंस मेमोरी में और दूसरा डिस्क पर इन इंस्टेंस को बहुत बड़े डेटा चंक्स का उपयोग करके बैकग्राउंड में मर्ज किया जाता है, इसलिए हमारे पास लिखने के लिए 3 I/O नहीं बल्कि लगभग 3/16 IO होंगे। सिंगल राइट के लिए जो बहुत तेज़ है अगर हम यह भी ध्यान में रखते हैं कि अतिरिक्त कैश ऑप्टिमाइज़ेशन लागू किया जाएगा तो हमारे पास बहुत तेज़ इंडेक्स कार्यान्वयन होगा। अतिरिक्त अनुकूलन ब्लूम फिल्टर का उपयोग है, लेकिन एक की गिनती नहीं है जो कुल सर्वर संसाधन बर्बाद कर रहा है।

लेकिन यह संसाधन लेने वाला भी है, एकल व्यक्ति के लिए 4 महीने और दो व्यक्तियों के लिए लगभग 2.5 महीने। लेकिन परिणाम वास्तव में मूल्यवान होना चाहिए।

यह अनुकूलन https://github.com/orientechnologies/orientdb/issues/1756 अंक के बाद लागू किया जाना चाहिए।