Zstd: 多线程/多线程支持多核系统

创建于 2016-12-19  ·  4评论  ·  资料来源: facebook/zstd

请考虑添加对多线程/多线程压缩和解压缩的支持,以便在具有多个 CPU 内核的系统上进行更快的处理。

enhancement

最有用的评论

pzstd是一个命令行工具,可以进行多线程压缩和解压缩。 pzstd 格式使用 zstd 可跳过的帧来编码并行解压缩所需的信息,因此 pzstd 压缩数据与标准 zstd 解压缩兼容。

计划向zstd二进制文件添加并行压缩。 问题 #471 还跟踪并行库函数的添加。

所有4条评论

pzstd是一个命令行工具,可以进行多线程压缩和解压缩。 pzstd 格式使用 zstd 可跳过的帧来编码并行解压缩所需的信息,因此 pzstd 压缩数据与标准 zstd 解压缩兼容。

计划向zstd二进制文件添加并行压缩。 问题 #471 还跟踪并行库函数的添加。

还有一个zstdmt库。 但是它的 API 目前不被认为是稳定的......而且文档还没有完成。

FWIW, Blosc 库还为一系列编解码器(当前为 BloscLZ、LZ4、LZ4HC、Snappy 和 Zstandard)提供多线程实现,此外还支持洗过

多线程支持已添加到最新版本 v1.1.3 中

由于它仍处于实验阶段,因此需要明确定位(来自根文件的make zstdmt )。
然后可以从命令行请求 nb 个线程,例如:
zstd -T4 file

此页面是否有帮助?
0 / 5 - 0 等级

相关问题

robert3005 picture robert3005  ·  4评论

scherepanov picture scherepanov  ·  3评论

terrelln picture terrelln  ·  3评论

itsnotvalid picture itsnotvalid  ·  3评论

TheSil picture TheSil  ·  3评论