Xxhash: crc32 . के साथ गति तुलना अपडेट करें

समस्या यह है,
बेंचमार्क कोर 2 डुओ @3GHz पर चलाया गया था।
यह CPU हार्डवेयर crc32c को सपोर्ट नहीं करता है।

साथ ही, crc32 और crc32c समान हैं लेकिन अलग-अलग एल्गोरिदम हैं: आपको समान परिणाम नहीं मिलेंगे।
सीआरसी 32 का व्यापक रूप से उपयोग किया जाता है, सीआरसी 32 सी बहुत कम है। इस तरह के नामकरण भ्रम गैर-तुच्छ अंतःक्रियाशीलता मुद्दों को प्रेरित कर सकते हैं।

यहां दिया गया crc32 संस्करण स्मैशर टेस्ट सूट में उपलब्ध कराया गया है।
वेक्टरकृत वाले सहित तेज़ संस्करण मौजूद हैं।
इसे एकीकृत करने के लिए परीक्षण सूट को संशोधित करने की आवश्यकता है।

यदि आप अपने आवेदन के लिए इंटेल निर्भरता को सहन कर सकते हैं, और गारंटी दे सकते हैं कि आपके सभी क्लाइंट सीपीयू हाल ही में पर्याप्त हैं (जो 2016 में उचित है), तो आप हार्डवेयर सीआरसी 32 सी का उपयोग कर सकते हैं, यह वास्तव में बहुत तेज़ है।

xxHash एक अलग संदर्भ में बनाया गया था, इस क्षमता के बिना एक सीपीयू का उपयोग करके, और अधिकतम पोर्टेबिलिटी के इच्छित लक्ष्य के साथ, इंटेल के दायरे (हाथ, मिप्स, पावर, आदि) से परे। इसलिए ब्रांड-विशिष्ट सुविधाओं पर कोई निर्भरता नहीं है।

@ सियान4973
वास्तव में देर से अनुवर्ती कार्रवाई के रूप में, क्या आप crc32c की तुलना में नए XXH3 पर कुछ अंतर्दृष्टि प्रदान कर सकते हैं?

हार्डवेयर crc32c अपने आप में प्रतिस्पर्धी नहीं है। हालांकि यह निश्चित रूप से सॉफ्टवेयर crc32 की तुलना में तेज़ है, यह ILP के साथ नहीं रह सकता है, जिसका उपयोग अधिकांश आधुनिक हैश एल्गोरिदम करते हैं।

हालांकि, समानांतर में कई crc32c चैनल अधिक कुशल हो सकते हैं। इस मामले में, सटीक परिणाम कार्यान्वयन-निर्भर है। कई कार्यान्वयन इंटरनेट पर पाए जा सकते हैं। मुझे कई कार्यान्वयन मिले हैं जो XXH64 गति को सर्वोत्तम कर सकते हैं, लेकिन अभी तक कोई भी XXH3 सर्वोत्तम नहीं हो सकता है। शायद यह और खोजने की बात है।

CRC32 और CRC32C को इंटेल के pclmulqdq या ARMv8 CLMUL निर्देशों का उपयोग करके बहुत कुशलता से कार्यान्वित किया जा सकता है।

कुछ समय पहले मैंने CRC32 और CLMUL निर्देशों का उपयोग करते हुए कुछ ARM कार्यान्वयन को एक साथ रखा था और उनकी गति rk3399 पर 4.1GB/s के आसपास तैर रही है। अब मैंने उनकी तुलना xxh32 और xxh64 से की और क्रमशः 3.5GB/s और 2.5GB/s प्राप्त किया।

क्या यह उम्मीद की जाती है कि xxh64 ARMv8 पर xxh32 से धीमा है, या कुछ गड़बड़ है?

यह उम्मीद की जाती है कि 32-बिट बायनेरिज़ पर xxh64 xxh32 से धीमा है।
हालांकि, 64-बिट बायनेरिज़ पर, इसकी संभावना कम है, लेकिन कोई अभी भी एक चिप की कल्पना कर सकता है जिसमें कमजोर/धीमी 64-बिट मल्टीप्लाई निर्देश हैं, जो 32-बिट वाले की तुलना में बहुत धीमी है, इस मामले में, यह संभव है।
दुर्भाग्य से, चिप्स का ARMv8 परिवार काफी बड़ा है, और प्रत्येक चिप में बहुत अलग प्रदर्शन ट्रेड-ऑफ की सुविधा हो सकती है। तो मैं कहूंगा कि यह मामला कहीं होना है, लेकिन मैं इसे नियम नहीं बनाऊंगा।

ARM पर तेज़ 64-बिट हैश के लिए, आपको नवीनतम रिलीज़ में विशेष रुप से प्रदर्शित नए XXH3_64bit() को आज़माने में रुचि हो सकती है।

धन्यवाद!
बाइनरी 64 बिट हैं।
XXH3_64bit निश्चित रूप से बेहतर प्रदर्शन करता है। नीयन वैश्वीकरण का उपयोग किए बिना मुझे 3.9GB/s मिल रहा है और NEON के साथ 4.0 GB/s के करीब है। अभी भी vmull_p64 का उपयोग करने वाले CRC32 में हालांकि थोड़ा बेहतर थ्रूपुट है।