Zstd: 这个 Weissman 分数是多少?

创建于 2018-03-31  ·  3评论  ·  资料来源: facebook/zstd

我想将此算法用于各种用例。
如果 weissman 分数高于理论极限,我只想使用它。
我没有看到自述文件中列出的 weissman 分数。

最有用的评论

Weissman 评分有很多问题:

  1. 这是一个相对分数。 您需要选择一个参考速度和比率进行比较。
  2. 它使用T <= 1产生无意义的答案。
  3. 它对使用的时间单位很敏感。 ( log(T_ref / T_exp)可能会比log(T_ref) / log(T_exp)更好)。 就目前而言,使用分钟与秒对压缩器进行评分会产生不同的分数。
  4. 它未能捕捉到比率和时间之间的现实权衡。 压缩速度和比率之间权衡的可能性边界不是对数形的。
  5. 它根本不考虑减压速度。

尽管如此,使用以下参数:

  • 使用gzip (在其默认级别 6)作为参考压缩器。
  • 对西里西亚语料库进行基准测试。
  • 使用十分之一秒作为时间单位(因为一些更快的压缩器需要不到一秒,否则会产生负对数)。
  • 使用 1 的 alpha。

我得到以下分数:

算法 | 等级 | 分数
---- | --- | -----
压缩包| 1 | 1.19
压缩包| 2 | 1.20
压缩包| 3 | 1.15
压缩包| 4 | 1.16
压缩包| 5 | 1.09
压缩包| 6 | 1.00
压缩包| 7 | 0.96
压缩包| 8 | 0.87
压缩包| 9 | 0.83
lz4 | 1 | 2.98
zstd | -5 | 2.97
zstd | -4 | 2.86
zstd | -3 | 2.77
zstd | -2 | 2.58
zstd | -1 | 2.54
zstd | 1 | 2.67
zstd | 2 | 2.34
zstd | 3 | 2.11
zstd | 4 | 1.98
zstd | 5 | 1.67
zstd | 6 | 1.55
zstd | 7 | 1.42
zstd | 8 | 1.34
zstd | 9 | 1.24
zstd | 10 | 1.18
zstd | 11 | 1.12
zstd | 12 | 1.03
zstd | 13 | 0.97
zstd | 14 | 0.94
zstd | 15 | 0.90
zstd | 16 | 0.89
zstd | 17 | 0.86
zstd | 18 | 0.84
zstd | 19 | 0.82
zstd | 20 | 0.82
zstd | 21 | 0.80
zstd | 22 | 0.79

如您所见,zstd 和 lz4 都突破了 2.9 的理论限制。

我希望这些信息对你有用!

所有3条评论

想知道同样的事情,是否有人进行了足够的测试来发布准确的魏斯曼分数?

Weissman 评分有很多问题:

  1. 这是一个相对分数。 您需要选择一个参考速度和比率进行比较。
  2. 它使用T <= 1产生无意义的答案。
  3. 它对使用的时间单位很敏感。 ( log(T_ref / T_exp)可能会比log(T_ref) / log(T_exp)更好)。 就目前而言,使用分钟与秒对压缩器进行评分会产生不同的分数。
  4. 它未能捕捉到比率和时间之间的现实权衡。 压缩速度和比率之间权衡的可能性边界不是对数形的。
  5. 它根本不考虑减压速度。

尽管如此,使用以下参数:

  • 使用gzip (在其默认级别 6)作为参考压缩器。
  • 对西里西亚语料库进行基准测试。
  • 使用十分之一秒作为时间单位(因为一些更快的压缩器需要不到一秒,否则会产生负对数)。
  • 使用 1 的 alpha。

我得到以下分数:

算法 | 等级 | 分数
---- | --- | -----
压缩包| 1 | 1.19
压缩包| 2 | 1.20
压缩包| 3 | 1.15
压缩包| 4 | 1.16
压缩包| 5 | 1.09
压缩包| 6 | 1.00
压缩包| 7 | 0.96
压缩包| 8 | 0.87
压缩包| 9 | 0.83
lz4 | 1 | 2.98
zstd | -5 | 2.97
zstd | -4 | 2.86
zstd | -3 | 2.77
zstd | -2 | 2.58
zstd | -1 | 2.54
zstd | 1 | 2.67
zstd | 2 | 2.34
zstd | 3 | 2.11
zstd | 4 | 1.98
zstd | 5 | 1.67
zstd | 6 | 1.55
zstd | 7 | 1.42
zstd | 8 | 1.34
zstd | 9 | 1.24
zstd | 10 | 1.18
zstd | 11 | 1.12
zstd | 12 | 1.03
zstd | 13 | 0.97
zstd | 14 | 0.94
zstd | 15 | 0.90
zstd | 16 | 0.89
zstd | 17 | 0.86
zstd | 18 | 0.84
zstd | 19 | 0.82
zstd | 20 | 0.82
zstd | 21 | 0.80
zstd | 22 | 0.79

如您所见,zstd 和 lz4 都突破了 2.9 的理论限制。

我希望这些信息对你有用!

此页面是否有帮助?
0 / 5 - 0 等级