Zenodo: 파일 검색에서 "HTTP/1.1 바이트 범위 요청" 지원

에 만든 2018년 09월 09일 · 10코멘트 · 출처: zenodo/zenodo

zenodo에 대한 기능 요청이 하나 있습니다. zenodo 서버가 HTTP/1.1 바이트 범위 요청 https://tools.ietf.org/html/rfc7233을 지원할 수 있습니까?

Zenodo 플랫폼은 이미 놀랍습니다. 일부 애플리케이션이 특히 대용량 파일을 처리할 때 바이트 범위 요청에 의존했기 때문에 바이트 범위 요청을 지원하면 기탁된 데이터의 가치가 더욱 높아집니다.

내 요점을 명확히 하기 위해 바이트 범위 요청이 작동하는 방식에 대한 예를 추가하고 싶습니다. 예를 들어 github(raw.githubusercontent.com)은 아래와 같이 바이트 범위 요청을 지원합니다.

###
### The entire part of the README file is retrieved, and processed locally
###
$ curl  https://raw.githubusercontent.com/zenodo/zenodo/master/README.rst |head -5 | tail -1
    Zenodo is free software; you can redistribute it

###
### Only the specified bytes specified in the file is retrieved, which does not require local processing
###
$ curl -H "range: bytes=72-125"  https://raw.githubusercontent.com/zenodo/zenodo/master/README.rst 
    Zenodo is free software; you can redistribute it

그러나 zenodo.org에서는 바이트 범위 요청이 무시됩니다.

###
### the entire part of the file is retrieved
###
$ curl   https://zenodo.org/record/1407145/files/DOI_Test.txt
This is a test of the Zenodo DOI functionality for GitLab. 

###
### Only small bytes are requested, but the entire part is retrieved
###
$ curl -H "range: bytes=6-7"  https://zenodo.org/record/1407145/files/DOI_Test.txt
This is a test of the Zenodo DOI functionality for GitLab.

Enhancement Needs investigation Accepted

출처

hkawaji

👍11

가장 유용한 댓글

범위 요청을 활성화하면 지리 공간 데이터 형식에 매우 유용할 것이라고 명시하기 위해 내 :+1:을 추가하고 싶었습니다. 특히 Cloud Optimized GeoTIFF 는 이를 통해 많은 이점을 얻을 수 있습니다. 범위 요청을 허용하면 zenodo에서 필요한 대역폭을 실제로 줄일 수 있습니다.

rabernat 에 2020년 09월 18일

👍11

모든 10 댓글

나는 이것을 두 번째로 할 것이다. 예를 들어 유전학 데이터 세트에 tabix를 사용 하여 직접 액세스하는 것은 매우 유용합니다. zenodo 웹서버 설정 'max_ranges' 에서 양수로 설정 변경이 필요한 것 같습니다.

그렇게 하지 않는 기술적인 이유가 있습니까?

kpalin 에 2019년 01월 31일

현재 우리의 파일 스토리지 백엔드는 HTTP 범위 요청을 처리하도록 최적화되어 있지 않습니다(이 기능을 활성화하면 잠재적으로 파일 업로드/다운로드 API의 속도가 크게 느려질 수 있음을 의미합니다). 물론, 그것을 가능하게 하기 위해 노력하는 사람들이 있지만 정확한 ETA를 말할 수는 없습니다...

slint 에 2019년 01월 31일

rabernat 에 2020년 09월 18일

👍11

현재 우리의 파일 스토리지 백엔드는 HTTP 범위 요청을 처리하도록 최적화되어 있지 않습니다(이 기능을 활성화하면 잠재적으로 파일 업로드/다운로드 API의 속도가 크게 느려질 수 있음을 의미합니다). 물론, 그것을 가능하게 하기 위해 노력하는 사람들이 있지만 정확한 ETA를 말할 수는 없습니다...

많은 사람들이 대용량 유전자 파일(수 GB)을 다운로드할 수 없습니다. 예,
https://github.com/zenodo/zenodo/issues/460#issuecomment -546623751

일부는 여러 번 다시 시도해야 하며 이는 실제로 대역폭을 낭비하고 있습니다...

zhanxw 에 2020년 10월 11일

우리 프로젝트의 경우 Zenodo에서 직접 Cloud-Optimized GeoTIFF(예: https://zenodo.org/record/4483227 참조)를 사용할 수 있다는 점도 중요합니다. Figshare는 분명히 COG와 함께 작동하지만 zenodo는 작동하지 않습니까? 우리는 COG 파일을 사용하여 데이터의 작은 청크를 얻는 방법에 대한 튜토리얼을 작성했습니다.

thengl 에 2021년 02월 04일

이것을 지원해 주시겠습니까?

큰 이미지 파일(Zarr 형식)을 청크로 제공하는 데 필요하므로 브라우저에서 즉시 파일을 시각화할 수 있습니다. 브라우저에서 예를 들어 10GB, 파일 및 표시를 다운로드하는 것은 불가능합니다.

oeway 에 2021년 03월 25일

👍6

Zarr 사용 사례에 대한 값만 기록해 두십시오. Zenodo에 대한 모든 작업에 감사드립니다!

jakirkham 에 2021년 03월 25일

Zarr의 경우 변경 사항 없이 오늘날 가상으로 zenodo를 작동시킬 수 있습니다. Zenodo는 디렉토리를 지원하지 않지만 일반 zarr 디렉토리 저장소를 특수 문자를 통해 일종의 평면 계층 구조에 매핑할 수 있다면 작동하게 만들 수 있습니다. 예를 들어 특수 문자가 __

.zgroup
foo__.zarray
foo__.zattrs
foo__0.0
foo__0.1

등.

rabernat 에 2021년 03월 25일

여기( https://github.com/zarr-developers/zarr-specs/issues )에서 문제를 제기해 주시겠습니까?

jakirkham 에 2021년 03월 25일

@rabernat Zenodo 는 최대 100개의 파일만 허용하기 때문에 확장되지 않을 것 같습니다.

레코드당 총 파일 크기 제한은 50GB(최대 100개 파일)입니다. 일회성 100GB 할당량은 사례별로 요청 및 부여할 수 있습니다.

출처: https://www.openaire.eu/technical-requirements

oeway 에 2021년 03월 25일

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Zenodo: 파일 검색에서 "HTTP/1.1 바이트 범위 요청" 지원

가장 유용한 댓글

모든 10 댓글

관련 문제