Zenodo: Gzip으로 압축된 파일은 두 번 압축됩니다.

참조를 위해 이 데이터 세트를 참조하십시오: https://zenodo.org/record/2539424

Zenodo가 예고 없이 gzip으로 압축된 파일을 두 번 압축하는 것 같습니다. 따라서 "이중 압축"(!)됩니다. 따라서 다운로드할 때 이름을 지정해야 합니다.

eswiki.wikilink_graph.2006-03-01.csv.gz.gz

매우 혼란스러운 점은 표시된 MD5가 원본 파일(한 번 압축됨)을 참조한다는 것입니다.

eswiki.wikilink_graph.2006-03-01.csv.gz

md5:2036a75ed53acdcc81f53061057fe343

따라서 다운로드한 파일과 일치하지 않지만 원본 파일과 일치합니다(한 번만 압축됨).

이것이 내가 얻은 것입니다 (다운로드 한 파일을 .gz.gz 으로 저장합니다).

$ md5sum eswiki.wikilink_graph.2006-03-01.csv.gz.gz
b32c3b896be22c32bb17b9fe887bda51  eswiki.wikilink_graph.2006-03-01.csv.gz.gz

$ gunzip eswiki.wikilink_graph.2006-03-01.csv.gz.gz

$ md5sum eswiki.wikilink_graph.2006-03-01.csv.gz
2036a75ed53acdcc81f53061057fe343  eswiki.wikilink_graph.2006-03-01.csv.gz

$ sha512sum eswiki.wikilink_graph.2006-03-01.csv.gz
56a48b0f82922fee20c07b0a2480bca1872c5e4aa8521a86e178dc00aea5dd2e4cda4ae05eb1b1950da7447dae70d47d8daa8d7a3c62d6989aaad09bd1fbcc71
 eswiki.wikilink_graph.2006-03-01.csv.gz

$ zcat eswiki.wikilink_graph.2006-03-01.csv.gz | head -n10
page_id_from    page_title_from page_id_to  page_title_to
10  Argentina   3037    10 de enero
10  Argentina   3326    12 de octubre
10  Argentina   6301    13 de abril
10  Argentina   7874    1492
10  Argentina   6302    14 de abril
10  Argentina   14485   1502
10  Argentina   14471   1516
10  Argentina   14450   1536
10  Argentina   14434   1553

보시다시피 다운로드한 파일은 제공된 MD5와 일치하지 않으며 파일을 한 번 압축을 풀면 MD5가 일치합니다. 압축을 풀면 eswiki.wikilink_graph.sha512sums.txt 파일의 동일한 데이터 세트에서 별도로 제공하는 SHA512 합계와도 일치합니다.

$ grep '2006-03-01' eswiki.wikilink_graph.sha512sums.txt
56a48b0f82922fee20c07b0a2480bca1872c5e4aa8521a86e178dc00aea5dd2e4cda4ae05eb1b1950da7447dae70d47d8daa8d7a3c62d6989aaad09bd1fbcc71
 eswiki.wikilink_graph.2006-03-01.csv.gz

Zenodo가 텍스트 파일(README 및 해시섬 파일)을 압축하지 않고 이 동작에 대한 통지가 없기 때문에 매우 이상합니다.

편집: 궁금한 경우를 대비하여(내가 이 문제에 대해 말한 모든 사람들이 질문했기 때문에) 내가 업로드한 파일은 한 번만 압축되었으며 내 디스크에 있으며 여전히 존재하며 한 번 압축됩니다. .