Zenodo: Gzipped फ़ाइलें दो बार संपीड़ित होती हैं

को निर्मित 18 फ़र॰ 2019 · 5टिप्पणियाँ · स्रोत: zenodo/zenodo

संदर्भ के लिए इस डेटासेट को देखें: https://zenodo.org/record/2539424

ऐसा लगता है कि Zenodo बिना किसी सूचना के gzipped फ़ाइलों को दो बार संपीड़ित कर रहा है। तो वे "डबल कंप्रेस्ड" (!) इसलिए, जब आप उन्हें डाउनलोड करते हैं तो उनका नाम होना चाहिए:

eswiki.wikilink_graph.2006-03-01.csv.gz.gz

सुपर भ्रमित करने वाली बात यह है कि प्रदर्शित MD5 मूल फ़ाइल (एक बार संपीड़ित) को संदर्भित करता है:

eswiki.wikilink_graph.2006-03-01.csv.gz

md5:2036a75ed53acdcc81f53061057fe343

इसलिए जब आप इसे डाउनलोड करते हैं तो यह फ़ाइल से मेल नहीं खाता है, लेकिन यह मूल फ़ाइल से मेल खाता है (केवल एक बार संपीड़ित)।

तो मुझे यही मिलता है (मैं डाउनलोड की गई फ़ाइल को .gz.gz के रूप में सहेजता हूं):

$ md5sum eswiki.wikilink_graph.2006-03-01.csv.gz.gz
b32c3b896be22c32bb17b9fe887bda51  eswiki.wikilink_graph.2006-03-01.csv.gz.gz

$ gunzip eswiki.wikilink_graph.2006-03-01.csv.gz.gz

$ md5sum eswiki.wikilink_graph.2006-03-01.csv.gz
2036a75ed53acdcc81f53061057fe343  eswiki.wikilink_graph.2006-03-01.csv.gz

$ sha512sum eswiki.wikilink_graph.2006-03-01.csv.gz
56a48b0f82922fee20c07b0a2480bca1872c5e4aa8521a86e178dc00aea5dd2e4cda4ae05eb1b1950da7447dae70d47d8daa8d7a3c62d6989aaad09bd1fbcc71
 eswiki.wikilink_graph.2006-03-01.csv.gz

$ zcat eswiki.wikilink_graph.2006-03-01.csv.gz | head -n10
page_id_from    page_title_from page_id_to  page_title_to
10  Argentina   3037    10 de enero
10  Argentina   3326    12 de octubre
10  Argentina   6301    13 de abril
10  Argentina   7874    1492
10  Argentina   6302    14 de abril
10  Argentina   14485   1502
10  Argentina   14471   1516
10  Argentina   14450   1536
10  Argentina   14434   1553

जैसा कि आप देख रहे हैं, डाउनलोड की गई फाइल, एमडी5 के साथ मेल नहीं खाती है और अगर आप फाइल को एक बार अनकम्प्रेस कर देते हैं तो एमडी5 मैच हो जाता है। एक बार असम्पीडित हो जाने पर, यह SHA512 रकम से भी मेल खाता है जो मैं फ़ाइल में एक ही डेटासेट में अलग से प्रदान कर रहा हूं eswiki.wikilink_graph.sha512sums.txt :

$ grep '2006-03-01' eswiki.wikilink_graph.sha512sums.txt
56a48b0f82922fee20c07b0a2480bca1872c5e4aa8521a86e178dc00aea5dd2e4cda4ae05eb1b1950da7447dae70d47d8daa8d7a3c62d6989aaad09bd1fbcc71
 eswiki.wikilink_graph.2006-03-01.csv.gz

यह बहुत अजीब है क्योंकि ज़ेनोडो टेक्स्ट फाइलों (रीडमे और हैशसम फाइलों) को संपीड़ित नहीं कर रहा है और इस व्यवहार के बारे में कहीं भी कोई नोटिस नहीं है।

संपादित करें: यदि आप सोच रहे हैं (चूंकि मैंने इस समस्या के बारे में सभी को बताया है) मुझे यकीन है कि मेरे द्वारा अपलोड की गई फ़ाइलें केवल एक बार संपीड़ित की गई थीं, मेरे पास वे मेरी डिस्क पर हैं, वे अभी भी वहां हैं और वे एक बार संपीड़ित हैं .

स्रोत

CristianCantoro

सभी 5 टिप्पणियाँ

समस्या की सूचना देने के लिए धन्यवाद।

मैंने उस समस्या को पुन: प्रस्तुत किया है जो Accept-Encoding: gzip शीर्षलेख से संबंधित है जिसे ब्राउज़र भेज रहा है।

$ curl -H "Accept-Encoding: gzip" -o eswiki.wikilink_graph.2006-03-01.csv.gz https://zenodo.org/record/2539424/files/eswiki.wikilink_graph.2006-03-01.csv.gz?download=1
$ md5sum eswiki.wikilink_graph.2006-03-01.csv.gz
b32c3b896be22c32bb17b9fe887bda51  eswiki.wikilink_graph.2006-03-01.csv.gz

बनाम

$ curl -o eswiki.wikilink_graph.2006-03-01.csv.gz https://zenodo.org/record/2539424/files/eswiki.wikilink_graph.2006-03-01.csv.gz?download=1
$ md5sum eswiki.wikilink_graph.2006-03-01.csv.gz
2036a75ed53acdcc81f53061057fe343  eswiki.wikilink_graph.2006-03-01.csv.gz

मैं इसमें आगे देख रहा हूं लेकिन यह या तो हमारे एनजीआईएनएक्स कॉन्फ़िगरेशन से संबंधित है या किसी भी तरह से हमारे एप्लिकेशन सर्वर द्वारा एमआईएमईटाइप वितरित किया जा रहा है।

lnielsen 19 फ़र॰ 2019

❤1

ठीक है, तो मुझे लगता है कि मुझे पता चल गया है कि क्या हो रहा है। यह एक एप्लिकेशन बग और गलत कॉन्फ़िगरेशन का संयोजन है।

MIME प्रकार का अनुमान इस तरह के एप्लिकेशन सर्वर द्वारा लगाया जाता है:

>>> import mimetypes
>>> mimetypes.guess_type('eswiki.wikilink_graph.2006-03-01.csv.gz')
('text/csv', 'gzip')

हालांकि, यह केवल पहले भाग text/csv (बग) का उपयोग कर रहा है। सुरक्षा उपाय के रूप में (क्योंकि हम किसी भी उपयोगकर्ता द्वारा अपलोड की गई फ़ाइल को स्वीकार करते हैं), ब्राउज़र पर भेजे जाने से पहले माइमटाइप को साफ कर दिया जाता है, जिससे text/csv को text/plain में बदल दिया जाता है। एनजीआईएनएक्स तब text/plain हेडर सामग्री देखता है, जिसे बैंडविड्थ (गलत कॉन्फ़िगरेशन) को बचाने के लिए क्लाइंट को भेजने से पहले संपीड़ित करने के लिए कॉन्फ़िगर किया गया है।

lnielsen 19 फ़र॰ 2019

👍1

महान! मुझे बताएं कि क्या (और कैसे) मैं मदद कर सकता हूं।

CristianCantoro 19 फ़र॰ 2019

दुर्भाग्य से एनजीआईएनएक्स का पुन: विन्यास समस्या का समाधान नहीं कर पाया, इसलिए इसे ठीक करने में थोड़ा अधिक समय लगेगा, क्योंकि हमें एप्लिकेशन में बग को ठीक करने की भी आवश्यकता है। मैं

lnielsen 19 फ़र॰ 2019

द्वारा बंद: https://github.com/inveniosoftware/invenio-files-rest/pull/202

frankois 7 मार्च 2019

🎉1

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Zenodo: Gzipped फ़ाइलें दो बार संपीड़ित होती हैं

सभी 5 टिप्पणियाँ

संबंधित मुद्दों