Zstd: Qual é a pontuação de Weissman para isso?

Criado em 31 mar. 2018  ·  3Comentários  ·  Fonte: facebook/zstd

Eu quero usar este algoritmo para vários casos de uso.
Eu só quero usá-lo se a pontuação do weissman for melhor que o limite teórico.
Não vejo a pontuação de weissman listada no leia-me.

Comentários muito úteis

A pontuação de Weissman tem vários problemas:

  1. É uma pontuação relativa. Você precisa escolher uma velocidade de referência e relação para comparar.
  2. Produz respostas sem sentido com T <= 1 .
  3. É sensível à unidade de tempo utilizada. ( log(T_ref / T_exp) provavelmente teria sido melhor que log(T_ref) / log(T_exp) ). Tal como está, pontuar um compressor usando minutos versus segundos produz pontuações diferentes.
  4. Ele não consegue capturar o trade-off do mundo real entre razão e tempo. A fronteira de possibilidade de trocas entre velocidade e razão na compressão não é em forma de log.
  5. Não leva em consideração a velocidade de descompressão.

No entanto, com os seguintes parâmetros:

  • Usando gzip (no nível 6 padrão) como o compressor de referência.
  • Benchmarking no corpus da Silésia.
  • Usando décimos de segundo como unidade de tempo (já que alguns dos compressores mais rápidos levam menos de um segundo, o que produziria logs negativos).
  • Usando um alfa de um.

Obtenho as seguintes pontuações:

Algo | Nível | Pontuação
---- | --- | -----
gzip | 1 | 1.19
gzip | 2 | 1,20
gzip | 3 | 1,15
gzip | 4 | 1,16
gzip | 5 | 1,09
gzip | 6 | 1,00
gzip | 7 | 0,96
gzip | 8 | 0,87
gzip | 9 | 0,83
lz4 | 1 | 2,98
zstd | -5 | 2,97
zstd | -4 | 2,86
zstd | -3 | 2,77
zstd | -2 | 2,58
zstd | -1 | 2,54
zstd | 1 | 2,67
zstd | 2 | 2,34
zstd | 3 | 2.11
zstd | 4 | 1,98
zstd | 5 | 1,67
zstd | 6 | 1,55
zstd | 7 | 1,42
zstd | 8 | 1,34
zstd | 9 | 1,24
zstd | 10 | 1,18
zstd | 11 | 1.12
zstd | 12 | 1,03
zstd | 13 | 0,97
zstd | 14 | 0,94
zstd | 15 | 0,90
zstd | 16 | 0,89
zstd | 17 | 0,86
zstd | 18 | 0,84
zstd | 19 | 0,82
zstd | 20 | 0,82
zstd | 21 | 0,80
zstd | 22 | 0,79

Como você pode ver, tanto zstd quanto lz4 quebram o limite teórico de 2,9.

Espero que esta informação seja útil!

Todos 3 comentários

Imaginando a mesma coisa, alguém fez testes suficientes para publicar uma pontuação de Weissman precisa?

A pontuação de Weissman tem vários problemas:

  1. É uma pontuação relativa. Você precisa escolher uma velocidade de referência e relação para comparar.
  2. Produz respostas sem sentido com T <= 1 .
  3. É sensível à unidade de tempo utilizada. ( log(T_ref / T_exp) provavelmente teria sido melhor que log(T_ref) / log(T_exp) ). Tal como está, pontuar um compressor usando minutos versus segundos produz pontuações diferentes.
  4. Ele não consegue capturar o trade-off do mundo real entre razão e tempo. A fronteira de possibilidade de trocas entre velocidade e razão na compressão não é em forma de log.
  5. Não leva em consideração a velocidade de descompressão.

No entanto, com os seguintes parâmetros:

  • Usando gzip (no nível 6 padrão) como o compressor de referência.
  • Benchmarking no corpus da Silésia.
  • Usando décimos de segundo como unidade de tempo (já que alguns dos compressores mais rápidos levam menos de um segundo, o que produziria logs negativos).
  • Usando um alfa de um.

Obtenho as seguintes pontuações:

Algo | Nível | Pontuação
---- | --- | -----
gzip | 1 | 1.19
gzip | 2 | 1,20
gzip | 3 | 1,15
gzip | 4 | 1,16
gzip | 5 | 1,09
gzip | 6 | 1,00
gzip | 7 | 0,96
gzip | 8 | 0,87
gzip | 9 | 0,83
lz4 | 1 | 2,98
zstd | -5 | 2,97
zstd | -4 | 2,86
zstd | -3 | 2,77
zstd | -2 | 2,58
zstd | -1 | 2,54
zstd | 1 | 2,67
zstd | 2 | 2,34
zstd | 3 | 2.11
zstd | 4 | 1,98
zstd | 5 | 1,67
zstd | 6 | 1,55
zstd | 7 | 1,42
zstd | 8 | 1,34
zstd | 9 | 1,24
zstd | 10 | 1,18
zstd | 11 | 1.12
zstd | 12 | 1,03
zstd | 13 | 0,97
zstd | 14 | 0,94
zstd | 15 | 0,90
zstd | 16 | 0,89
zstd | 17 | 0,86
zstd | 18 | 0,84
zstd | 19 | 0,82
zstd | 20 | 0,82
zstd | 21 | 0,80
zstd | 22 | 0,79

Como você pode ver, tanto zstd quanto lz4 quebram o limite teórico de 2,9.

Espero que esta informação seja útil!

Esta página foi útil?
0 / 5 - 0 avaliações