Zstd: Was ist der Weissman-Score dafür?

Erstellt am 31. März 2018  ·  3Kommentare  ·  Quelle: facebook/zstd

Ich möchte diesen Algorithmus für verschiedene Anwendungsfälle verwenden.
Ich möchte es nur verwenden, wenn der Weissman-Score besser als die theoretische Grenze war.
Ich sehe die Weissman-Punktzahl nicht, die in der Readme-Datei aufgeführt ist.

Hilfreichster Kommentar

Das Weissman-Scoring hat eine Reihe von Problemen:

  1. Es ist eine relative Punktzahl. Sie müssen eine Referenzgeschwindigkeit und ein Übersetzungsverhältnis auswählen, mit denen Sie vergleichen möchten.
  2. Es erzeugt unsinnige Antworten mit T <= 1 .
  3. Es ist empfindlich gegenüber der verwendeten Zeiteinheit. ( log(T_ref / T_exp) wäre wahrscheinlich besser gewesen als log(T_ref) / log(T_exp) ). So wie es aussieht, führt die Bewertung eines Kompressors mit Minuten vs. Sekunden zu unterschiedlichen Bewertungen.
  4. Es scheitert, den realen Kompromiss zwischen Verhältnis und Zeit zu erfassen. Die Möglichkeitsgrenze von Kompromissen zwischen Geschwindigkeit und Verhältnis bei der Komprimierung ist nicht logarithmisch.
  5. Die Dekompressionsgeschwindigkeit wird überhaupt nicht berücksichtigt.

Allerdings mit folgenden Parametern:

  • Verwendung gzip (auf der Standardstufe 6) als Referenzkompressor.
  • Benchmarking auf dem Silesia-Korpus.
  • Verwendung von Zehntelsekunden als Zeiteinheit (da einige der schnelleren Kompressoren weniger als eine Sekunde benötigen, was sonst negative Protokolle erzeugen würde).
  • Mit einem Alpha von eins.

Ich bekomme folgende Werte:

Algo | Stufe | Ergebnis
---- | --- | -----
gzip | 1 | 1.19
gzip | 2 | 1.20
gzip | 3 | 1.15
gzip | 4 | 1.16
gzip | 5 | 1.09
gzip | 6 | 1.00
gzip | 7 | 0,96
gzip | 8 | 0,87
gzip | 9 | 0,83
lz4 | 1 | 2,98
zstd | -5 | 2,97
zstd | -4 | 2.86
zstd | -3 | 2.77
zstd | -2 | 2.58
zstd | -1 | 2.54
zstd | 1 | 2.67
zstd | 2 | 2.34
zstd | 3 | 2.11
zstd | 4 | 1,98
zstd | 5 | 1,67
zstd | 6 | 1,55
zstd | 7 | 1.42
zstd | 8 | 1.34
zstd | 9 | 1.24
zstd | 10 | 1.18
zstd | 11 | 1.12
zstd | 12 | 1.03
zstd | 13 | 0,97
zstd | 14 | 0,94
zstd | 15 | 0,90
zstd | 16 | 0,89
zstd | 17 | 0,86
zstd | 18 | 0,84
zstd | 19 | 0,82
zstd | 20 | 0,82
zstd | 21 | 0,80
zstd | 22 | 0,79

Wie Sie sehen können, überschreiten sowohl zstd als auch lz4 die theoretische Grenze von 2,9.

Ich hoffe, diese Informationen sind hilfreich!

Alle 3 Kommentare

Ich frage mich dasselbe, hat jemand genug Tests durchgeführt, um eine genaue Weissman-Punktzahl zu veröffentlichen?

Das Weissman-Scoring hat eine Reihe von Problemen:

  1. Es ist eine relative Punktzahl. Sie müssen eine Referenzgeschwindigkeit und ein Übersetzungsverhältnis auswählen, mit denen Sie vergleichen möchten.
  2. Es erzeugt unsinnige Antworten mit T <= 1 .
  3. Es ist empfindlich gegenüber der verwendeten Zeiteinheit. ( log(T_ref / T_exp) wäre wahrscheinlich besser gewesen als log(T_ref) / log(T_exp) ). So wie es aussieht, führt die Bewertung eines Kompressors mit Minuten vs. Sekunden zu unterschiedlichen Bewertungen.
  4. Es scheitert, den realen Kompromiss zwischen Verhältnis und Zeit zu erfassen. Die Möglichkeitsgrenze von Kompromissen zwischen Geschwindigkeit und Verhältnis bei der Komprimierung ist nicht logarithmisch.
  5. Die Dekompressionsgeschwindigkeit wird überhaupt nicht berücksichtigt.

Allerdings mit folgenden Parametern:

  • Verwendung gzip (auf der Standardstufe 6) als Referenzkompressor.
  • Benchmarking auf dem Silesia-Korpus.
  • Verwendung von Zehntelsekunden als Zeiteinheit (da einige der schnelleren Kompressoren weniger als eine Sekunde benötigen, was sonst negative Protokolle erzeugen würde).
  • Mit einem Alpha von eins.

Ich bekomme folgende Werte:

Algo | Stufe | Ergebnis
---- | --- | -----
gzip | 1 | 1.19
gzip | 2 | 1.20
gzip | 3 | 1.15
gzip | 4 | 1.16
gzip | 5 | 1.09
gzip | 6 | 1.00
gzip | 7 | 0,96
gzip | 8 | 0,87
gzip | 9 | 0,83
lz4 | 1 | 2,98
zstd | -5 | 2,97
zstd | -4 | 2.86
zstd | -3 | 2.77
zstd | -2 | 2.58
zstd | -1 | 2.54
zstd | 1 | 2.67
zstd | 2 | 2.34
zstd | 3 | 2.11
zstd | 4 | 1,98
zstd | 5 | 1,67
zstd | 6 | 1,55
zstd | 7 | 1.42
zstd | 8 | 1.34
zstd | 9 | 1.24
zstd | 10 | 1.18
zstd | 11 | 1.12
zstd | 12 | 1.03
zstd | 13 | 0,97
zstd | 14 | 0,94
zstd | 15 | 0,90
zstd | 16 | 0,89
zstd | 17 | 0,86
zstd | 18 | 0,84
zstd | 19 | 0,82
zstd | 20 | 0,82
zstd | 21 | 0,80
zstd | 22 | 0,79

Wie Sie sehen können, überschreiten sowohl zstd als auch lz4 die theoretische Grenze von 2,9.

Ich hoffe, diese Informationen sind hilfreich!

War diese Seite hilfreich?
0 / 5 - 0 Bewertungen