Xxhash: crc32로 속도 비교 업데이트

문제는,
벤치마크는 Core 2 Duo @3GHz에서 실행되었습니다.
이 CPU는 하드웨어 crc32c를 지원하지 않습니다.

또한 crc32와 crc32c는 비슷하지만 다른 알고리즘입니다. 동일한 결과를 얻을 수 없습니다.
crc32는 널리 사용되지만 crc32c는 훨씬 적습니다. 이러한 명명 혼동은 사소한 상호 운용성 문제를 유발할 수 있습니다.

여기에서 벤치마크된 crc32 버전은 스매셔 테스트 스위트 내에서 제공되는 버전입니다.
벡터화된 버전을 포함하여 더 빠른 버전이 있습니다.
통합하려면 테스트 스위트를 수정해야 합니다.

응용 프로그램에 대한 Intel 종속성을 허용할 수 있고 모든 클라이언트 CPU가 충분히 최신임을 보장할 수 있다면(2016년에 합리적임) 하드웨어 crc32c를 사용할 수 있습니다. 이는 실제로 매우 빠릅니다.

xxHash는 이 기능이 없는 CPU를 사용하여 Intel의 영역(arm, mips, power 등)을 훨씬 능가하는 최대 이식성을 의도한 목표로 다른 컨텍스트에서 만들어졌습니다. 따라서 브랜드별 기능에 의존하지 않습니다.

@cyan4973
정말 늦은 후속 조치로 crc32c와 비교하여 새로운 XXH3에 대한 통찰력을 제공할 수 있습니까?

하드웨어 crc32c 자체는 경쟁력이 없습니다. 소프트웨어 crc32보다 확실히 빠르지만 대부분의 최신 해시 알고리즘이 사용하는 ILP를 따라갈 수 없습니다.

그러나 여러 crc32c 채널을 병렬로 사용하는 것이 더 효율적일 수 있습니다. 이 경우 정확한 결과는 구현에 따라 다릅니다. 인터넷을 통해 많은 구현을 찾을 수 있습니다. XXH64 속도를 최대화할 수 있는 몇 가지 구현을 찾았지만 XXH3 최고가 될 수 있는 구현은 아직 없습니다. 아마도 더 검색하는 문제 일 것입니다.

CRC32 및 CRC32C는 ​​Intel의 pclmulqdq 또는 ARMv8 CLMUL 명령어를 사용하여 매우 효율적으로 구현할 수 있습니다.

얼마 전에 CRC32 및 CLMUL 명령어를 사용하여 몇 가지 ARM 구현을 결합했으며 해당 속도는 rk3399에서 약 4.1GB/s로 부동합니다. 이제 xxh32 및 xxh64와 비교하여 각각 3.5GB/s 및 2.5GB/s를 얻었습니다.

ARMv8에서 xxh64가 xxh32보다 느릴 것으로 예상됩니까? 아니면 문제가 있습니까?

xxh64 는 32비트 바이너리에서 xxh32 보다 느릴 것으로 예상됩니다.
64비트 바이너리에서는 그럴 가능성이 적지만 여전히 약하거나 느린 64비트 곱셈 명령어가 있는 칩을 상상할 수 있습니다. 이 경우 32비트보다 훨씬 느립니다.
불행히도 ARMv8 칩 제품군은 상당히 크며 각 칩은 매우 다른 성능 트레이드오프를 특징으로 할 수 있습니다. 그래서 나는 이 사건이 어디선가 일어나야 한다고 말하고 싶지만 그것을 규칙으로 만들지는 않을 것입니다.

ARM에서 더 빠른 64비트 해시를 사용하려면 최신 릴리스에 포함된 최신 XXH3_64bit() 를 사용해 보십시오.

감사!
바이너리는 64비트입니다.
XXH3_64bit 확실히 더 나은 성능을 보입니다. NEON 벡터화를 사용하지 않고 3.9GB/s를 얻고 NEON을 사용하면 4.0GB/s에 가깝습니다. 그래도 vmull_p64 사용하는 CRC32는 처리량이 약간 더 좋습니다.