Zstd: iOS의 ZSTD-32 비트 정렬이 필요합니까?

에 만든 2018년 06월 26일 · 3코멘트 · 출처: facebook/zstd

안녕하세요

첫째, ZSTD에 감사드립니다!

나는 ZSTD 1.3.4를 활용하는 iOS 앱에서 크래셔를 쫓아 왔고, 사전이없는 컨텍스트로 압축 할 때 가끔 MEM_write32에서 크래시가 발생합니다.

    NSData* metadata = (snip)
    const size_t expectedCompressionSize = ZSTD_compressBound(metadata.length);

    UInt8* compressionBuffer = malloc(expectedCompressionSize);

    size_t const compressedSize = ZSTD_compressCCtx(compressionContext, compressionBuffer, expectedCompressionSize, metadata.bytes, (size_t) metadata.length, 1);

    // Hit error on compression use ZSTD_getErrorName for error reporting eventually.
    if(ZSTD_isError(compressedSize))
    {
        free(compressionBuffer);
        return nil;
    }

    NSData* zstdCompressedData = [[NSData alloc] initWithBytesNoCopy:compressionBuffer length:compressedSize freeWhenDone:YES];

iOS / Arm에 배포하기위한 정렬 요구 사항이나 뉘앙스가 있습니까? make 파일에서 몇 가지 align = 32를 발견했지만 iOS 용 문서에서는 구체적인 내용을 보지 못했습니다. 특정 clang 정렬이 있습니까?

직렬 디스패치 큐에서 ZSTD_compressCCtx를 사용하는 것과 관련하여 뉘앙스가 있습니까 (단일 스레드가 아니라 몇 개의 시스템 스레드에서 사용할 수 있지만 동시 적이 지 않은 컨텍스트 인스턴스의 보장 된 직렬 호출)?

정보 감사합니다!

question

출처

vade

👍1

모든 3 댓글

MEM_write32() 은 (는) 엄격한 정렬이 필요한 대상을 포함하여 모든 대상에서 작동하도록되어 있습니다.
흔하지 않은 저전력 장치에는 약간의 미묘한 차이가있을 수 있지만 iOS 장치의 경우 문제가 없을 것으로 예상됩니다. 게다가 대부분의 최신 iOS 장치는 데스크톱 x86 CPU와 같이 정렬되지 않은 주소에서 읽고 쓸 수있는 ARM 64 비트 파생물을 사용합니다.
따라서이 경우 정렬이 문제가된다면 매우 놀랄 것입니다.

또 다른 가능성은 MEM_write32() 가 승인되지 않은 주소에 쓰는 것입니다.
왜 일어날지는 분명하지 않습니다.
ZSTD_compressCCtx() 는 버퍼 오버 플로우 대비 안전해야합니다.

다중 스레드 환경에서 작업하는 것도 언급합니다.
주어진 컨텍스트는 한 번에 하나의 스레드에서만 사용해야합니다.
스레드를 전환 할 수 있습니다. 그러나 정말 중요한 것은 2 개의 스레드가 동시에 사용해서는 안된다는 것입니다.
귀하의 구현이이 조건을 처리해야한다는 것을 이해합니다.
그러나 나는 다시 보도록 권할 것입니다.
때로는 구현 세부 사항에 따라 이러한 조건을 보장하기가 매우 어려울 수 있습니다.

스레드 새니 타이 저를 사용하여 애플리케이션을 실행하는 것이 좋습니다. 잘못된 사용이있는 경우 플래그를 지정할 수 있어야합니다.

Cyan4973 에 2018년 06월 26일

👍1

ZSTD 압축 컨텍스트에 액세스하기위한 WRT 정렬 및 스레딩에 대한 설명에 대해 @ Cyan4973 에게 감사드립니다. 나는 당신이 언급 한 규칙을 따른 다고 믿는다 (다양한 스레드에 걸친 엄격하게 직렬 액세스에는 안전하지만 동시 액세스에는 절대적으로 안전하지 않음). 나는 또한 그것이 사실임을 보장하는 것이 얼마나 어려운지 알고 있습니다 :) Apples libDispatch / Grand Central Dispatch를 통한 dispatch_async는 엄격한 준수를 허용해야하지만 아마도 내가 생각하는 것처럼 매끄럽지 않을 것입니다 :)

버그가 아닌 질문으로이 문제를 종결 해 주시기 바랍니다. 격리 할 수있는 특정 충돌 동작을 찾거나 추가 질문을하는 경우 새 '버그'를 제출하겠습니다.

철저한 답변 감사합니다. 감사합니다!

vade 에 2018년 06월 26일

👍1

당신은 직감이 완전히 죽었고 스레딩이 까다 롭습니다. 세 번 확인하기 위해 엉덩이를 걷어차 주셔서 감사합니다.

vade 에 2018년 06월 27일

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Zstd: iOS의 ZSTD-32 비트 정렬이 필요합니까?

모든 3 댓글

관련 문제