Xxhash: 문자열 해시 결합

XXH64를 사용하여 일련의 비연속 문자열을 해시하고 각 해시의 결과를 다음 XXH64 호출의 시드로 전달하면 해시 품질에 손실이 있습니까?

큰 손실이 있습니다.

XXH64_state_t , XXH64_update_endian 및 XXH64_digest_endian 내부를 살펴보십시오.
XXH64가 XXH64_state_t 의 멤버 변수 v1 , v2 , v3 , v4 , total_len 사용(쓰기 및 읽기)하는 것을 볼 수 있습니다 unsigned long long ( uint_64 , 64비트 부호 없는 정수)입니다.

우리는 말할 수있다:
(1) XXH64_state 의 총 비트 수가 64비트보다 큽니다.
(2) 한 번 상태를 64비트 값으로 최소화(다이제스트)하면 많은 정보가 사라진다.

따라서 가정을 기대할 수 없습니다. 스트리밍 기능 사용을 고려하십시오.

@t-mat에서 제안한 대로 스트리밍 기능은 실제로 이 시나리오에 맞게 설계되었습니다.

나는 당신이 속도에 대해 걱정하고 있다고 가정합니다.
한 해시에서 다음 해시로 결과를 전달하여 아무 것도 얻을 수 없다고 생각합니다.
스트리밍 컨텍스트를 유지하는 것은 실제로 비용이 들지만 해시를 마무리하는 것도 비용이 듭니다. 몇 바이트마다 해시를 종료하는 것은 XXH_digest() 가 호출될 때 종료가 한 번만 수행되는 스트리밍 컨텍스트를 유지하는 것보다 실제로 더 많은 비용이 들 것으로 예상합니다.

제 목표는 CRC32 사용에 대한 '드롭 인' 대체품을 제공하여 많은 호출 사이트에 대한 코드 변경을 최소화하면서 속도를 향상시키는 것입니다. 스트리밍 접근 방식은 기술적으로 적용할 수 없습니다. 10바이트 청크로 분할된 스트림의 해시는 100바이트 청크로 분할된 정확히 동일한 스트림의 해시와 동일하기 때문입니다. 불연속 문자열의 '구조'는 관련성이 있으며 해시 결과에 기여해야 합니다.

이것은 임의의 위치(단 한 수준 깊이)에 포함된 다른 문자열에 대한 '간접' 참조가 있는 문자열입니다. 간접 문자열과 기본 문자열의 하위 집합을 해시해야 합니다(간접 문자열에 대한 포인터 제외).

나는 XXH64를 사용하는 것이 64비트 하드웨어에서 더 빠르고 XXH32보다 더 나은 성능을 보인다는 것을 알았다. 결과의 32비트를 해시로 사용한다.

저는 32비트 수준의 해시 품질에 만족하므로 다양한 문자열의 32비트 해시를 다음 문자열을 통합하는 시드로 넣는 것이 합리적으로 보였습니다.

기존 프로그램 구조에서 허용하는 경우 2개의 연속 해시 사이에 64비트를 전달하는 것이 좋습니다. 끝에만 32비트 추출을 수행합니다. 해시 품질을 최대화합니다.

64비트 시드를 허용하도록 코드를 수정하시겠습니까? 현재 다음 단계를 시드하기 위해 하위 32비트를 추출하는 대신 상위 32비트와 하위 32비트를 함께 xor'하여 모든 64비트가 32비트 이월에 '기여'하도록 합니다. 불행히도 데이터를 복사하지 않고 중간 64비트 값을 다음 문자열에 추가하거나 추가하는 것은 불가능합니다. 해당 저장소를 제어할 수 없기 때문에 나에게 전달됩니다.

신경쓰지 마세요. 이제 XXH64가 64비트 시드 값을 허용한다는 것을 알았습니다.