Zstd: Prise en charge multithread / multithread pour système multicœur

pzstd est un outil en ligne de commande qui effectue une compression et une décompression multithread. Le format pzstd utilise des trames sautables zstd pour coder les informations dont il a besoin pour la décompression parallèle, de sorte que les données compressées pzstd sont compatibles avec la décompression zstd standard.

L'ajout d'une compression parallèle au binaire zstd est prévu. Le numéro 471 suit également l'ajout d'une fonction de bibliothèque parallèle.

Il existe également une bibliothèque zstdmt . Mais son API n'est pas considérée comme stable actuellement... la documentation n'est pas non plus terminée.

FWIW, la bibliothèque Blosc a également une implémentation multithread pour une série de codecs (actuellement BloscLZ, LZ4, LZ4HC, Snappy et Zstandard), ainsi que la prise en charge des filtres de brassage avec prise en charge du jeu d'instructions SSE2 et AVX2 SIMD dans les processeurs compatibles Intel.

La prise en charge du multithread a été ajoutée à la

Comme il est encore expérimental, il doit être explicitement ciblé ( make zstdmt du fichier racine).
Ensuite, il est possible de demander nb de threads depuis la ligne de commande, par exemple :
zstd -T4 file