Orientdb: دعم البيانات الضخمة لمؤشر التجزئة

تم إنشاؤها على ٢٢ أكتوبر ٢٠١٣  ·  3تعليقات  ·  مصدر: orientechnologies/orientdb

يتطلب تطبيق فهرس التجزئة الحالي إدخالاً / إخراجًا واحدًا للقراءة وعلى الأكثر 3 i / os لحالة الكتابة ولكننا ما زلنا نعاني من عمليات الإدخال / الإخراج العشوائية. يستغرق متوسط ​​الإدخال / الإخراج العشوائي 20 مللي ثانية وهو بطيء جدًا. يعمل تحسين ذاكرة التخزين المؤقت للكتابة الحالية على إطفاء هذه النفقات العامة ولكننا ما زلنا نعاني منها في حالة الإدخالات الضخمة. لتجنب هذه السلعة العامة ، يجب أن يكون لديك تحسينات تم تطبيقها على محاولات LSM. في شجرة LSM المجزأة ، يتم فرز القاموس ، حيث يتم دمج مثيل واحد في الذاكرة والثاني على القرص في الخلفية باستخدام أجزاء كبيرة جدًا من البيانات ، لذلك لن يكون لدينا 3 وحدات إدخال / إخراج للكتابة ولكن حوالي 3/16 IOs للكتابة الفردية التي تكون أسرع بكثير إذا أخذنا في الاعتبار أيضًا أنه سيتم تطبيق تحسينات إضافية لذاكرة التخزين المؤقت للكتابة ، سيكون لدينا تنفيذ فهرس سريع جدًا. التحسين الإضافي هو استخدام مرشح bloom ، ولكن لا يتم احتساب واحد وهو إهدار إجمالي لموارد الخادم.

لكنها تستهلك الموارد أيضًا ، 4 أشهر لشخص واحد وحوالي 2.5 شهر لشخصين. لكن النتيجة يجب أن تكون قيّمة حقًا.

يجب تنفيذ هذا التحسين بعد مشكلة https://github.com/orientechnologies/orientdb/issues/1756 .

enhancement

التعليق الأكثر فائدة

saeedtabrizi أيضًا لا تستخدم WiredTiger المعاملات وتجعل تنفيذ مثل هذه الأشياء أبسط بكثير ، فنحن نركز الآن على فهارس الفركتال التي تتمتع بإمكانيات جيدة للتكامل في الأنظمة القائمة على المعاملات

ال 3 كومينتر

laa بناءً على هذا التقرير ، أعتقد أن تنفيذ شجرة LSM هو الخطوة الأكثر قيمة للنمو الشرقي.

saeedtabrizi هذا التقرير غش قليلاً ، فهو لا يأخذ في الاعتبار الحالات عندما يكون لدى LSM Tree مستويات عديدة ، اكتب تضخيمًا هائلاً لدرجة أن كل الكتابة تتوقف عند هذا الحد.

saeedtabrizi أيضًا لا تستخدم WiredTiger المعاملات وتجعل تنفيذ مثل هذه الأشياء أبسط بكثير ، فنحن نركز الآن على فهارس الفركتال التي تتمتع بإمكانيات جيدة للتكامل في الأنظمة القائمة على المعاملات

هل كانت هذه الصفحة مفيدة؟
0 / 5 - 0 التقييمات