Zstd: 스트리밍 압축을위한 건너 뛸 수있는 블록

에 만든 2020년 10월 01일 · 3코멘트 · 출처: facebook/zstd

스트리밍 데이터를 지속적으로 수신하고이 데이터를 미리 지정된 FrameSize를 사용하여 여러 프레임으로 압축하려는 시나리오가 있습니다. 이 목적으로 C-API 함수 ZSTD_CCtx_setPledgedSrcSize ()를 사용하고 있습니다. 현재 프레임 크기에 아직 도달하지 않은 시점에서 데이터 스트림이 중지되거나 파일을 닫고 새 파일을 시작하도록 요청하면 문제가 발생합니다. 이 경우 프레임을 닫을 수 없습니다. 프레임이 끝날 때까지 무의미한 데이터로 패딩을 할 수 있다고 생각했습니다. 그러나 이것은 파일의 압축을 풀 때 깨끗하지 않습니다. 건너 뛸 수있는 블록과 같은 것을 사용할 수 있다면 나머지 프레임을 이것들로 채울 수 있고 압축 해제 기는 자동으로 건너 뛸 것입니다. 이것은 내 문제를 해결할 수 있습니다. 그렇지 않으면이 문제를 극복하는 데 도움을 주시면 감사하겠습니다.

감사합니다

question

출처

AbdulrahmanAltabba

모든 3 댓글

이 목적으로 C-API 함수 ZSTD_CCtx_setPledgedSrcSize ()를 사용하고 있습니다.

정확하지 않을 수 있는데 약속 된 소스 크기를 설정하는 이유는 무엇입니까? 약속 된 소스 크기를 설정하지 않는 것이 더 나은 해결책이 아닐까요? 그러면 원하는 크기의 프레임을 가질 수 있습니까?

압축 해제 측의 소스 크기를 알아야하는 경우 대역 외 통신 할 수 있습니다. 그것은 당신이 그것을 조정하는 프로토콜을 가질 수 있기 때문에 과대 / 과소 평가를 허용합니다.

terrelln 에 2020년 10월 02일

👍1

추가 조사 결과 분석이 잘못된 것으로 나타났습니다. 우리는 그들이 작동 할 수 있는지 확인하기 위해 약속 된 크기를 더 살펴볼 것입니다.

pizzard 에 2020년 10월 02일

보고하는 것을 잊었습니다. 약속 된 크기 설정은 올바르게 사용하면 실제로 예상대로 작동합니다. 실제 콘텐츠보다 더 큰 약속 크기를 가진 블록이 있으면 끝까지 올바르게 압축이 풀린 다음 예기치 않은 입력 오류 종료 (잡아서 처리 할 수 있음)가 발생합니다. 그래서 이것은 닫을 수 있습니다.

pizzard 에 2020년 12월 01일

👍1

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Zstd: 스트리밍 압축을위한 건너 뛸 수있는 블록

모든 3 댓글

관련 문제