Zenodo: फ़ाइल पुनर्प्राप्ति में "HTTP/1.1 बाइट रेंज अनुरोध" का समर्थन

को निर्मित 9 सित॰ 2018 · 10टिप्पणियाँ · स्रोत: zenodo/zenodo

मेरे पास ज़ेनोडो पर एक सुविधा अनुरोध है - क्या ज़ेनोडो सर्वर HTTP/1.1 बाइट रेंज अनुरोध का समर्थन कर सकता है https://tools.ietf.org/html/rfc7233 ?

ज़ेनोडो प्लेटफ़ॉर्म पहले से ही अविश्वसनीय है, और बाइट रेंज अनुरोध के आपके समर्थन से जमा किए गए डेटा के मूल्य में और वृद्धि होगी क्योंकि कुछ एप्लिकेशन बाइट रेंज अनुरोध पर भरोसा करते हैं, विशेष रूप से बड़ी फ़ाइलों को डील करते समय।

मैं अपनी बात स्पष्ट करने के लिए बाइट रेंज अनुरोध कैसे काम करता है, इस पर एक उदाहरण जोड़ना चाहता हूं। उदाहरण के लिए, जीथब (raw.githubusercontent.com) नीचे दिए गए बाइट रेंज अनुरोध का समर्थन करता है:

###
### The entire part of the README file is retrieved, and processed locally
###
$ curl  https://raw.githubusercontent.com/zenodo/zenodo/master/README.rst |head -5 | tail -1
    Zenodo is free software; you can redistribute it

###
### Only the specified bytes specified in the file is retrieved, which does not require local processing
###
$ curl -H "range: bytes=72-125"  https://raw.githubusercontent.com/zenodo/zenodo/master/README.rst 
    Zenodo is free software; you can redistribute it

हालांकि, zenodo.org में बाइट श्रेणी अनुरोध को अनदेखा किया जाता है

###
### the entire part of the file is retrieved
###
$ curl   https://zenodo.org/record/1407145/files/DOI_Test.txt
This is a test of the Zenodo DOI functionality for GitLab. 

###
### Only small bytes are requested, but the entire part is retrieved
###
$ curl -H "range: bytes=6-7"  https://zenodo.org/record/1407145/files/DOI_Test.txt
This is a test of the Zenodo DOI functionality for GitLab.

Enhancement Needs investigation Accepted

स्रोत

hkawaji

👍11

सबसे उपयोगी टिप्पणी

मैं बस अपना जोड़ना चाहता था: +1: यह बताने के लिए कि भू-स्थानिक डेटा प्रारूपों के लिए रेंज अनुरोध सक्षम करना बहुत उपयोगी होगा। विशेष रूप से क्लाउड ऑप्टिमाइज्ड जियो टीआईएफएफ को इससे काफी फायदा होगा। सीमा अनुरोधों की अनुमति वास्तव में ज़ेनोडो से आवश्यक बैंडविड्थ को कम कर सकती है।

rabernat 18 सित॰ 2020

👍11

सभी 10 टिप्पणियाँ

मैं इसे दूसरा करूंगा। यह बहुत उपयोगी होगा उदाहरण के लिए जीनोमिक्स डेटासेट को सीधे टैबिक्स के साथ एक्सेस किया जा सकता है। ऐसा लगता है कि ज़ेनोडो वेब सर्वर सेटिंग 'max_ranges' को सकारात्मक संख्या में कॉन्फ़िगरेशन परिवर्तन की आवश्यकता है।

क्या ऐसा न करने का कोई तकनीकी कारण है?

kpalin 31 जन॰ 2019

इस समय हमारा फ़ाइल संग्रहण बैकएंड HTTP श्रेणी अनुरोधों को पूरा करने के लिए अनुकूलित नहीं है (जिसका अर्थ है कि इस सुविधा को सक्षम करने से संभावित रूप से फ़ाइल अपलोड/डाउनलोड API के लिए महत्वपूर्ण मंदी हो सकती है)। बेशक, इसे संभव बनाने के लिए लोग काम कर रहे हैं, हालांकि हम इस पर सटीक ईटीए नहीं दे सकते...

slint 31 जन॰ 2019

rabernat 18 सित॰ 2020

👍11

इस समय हमारा फ़ाइल संग्रहण बैकएंड HTTP श्रेणी अनुरोधों को पूरा करने के लिए अनुकूलित नहीं है (जिसका अर्थ है कि इस सुविधा को सक्षम करने से संभावित रूप से फ़ाइल अपलोड/डाउनलोड API के लिए महत्वपूर्ण मंदी हो सकती है)। बेशक, इसे संभव बनाने के लिए लोग काम कर रहे हैं, हालांकि हम इस पर सटीक ईटीए नहीं दे सकते...

बहुत से लोग बड़ी आनुवंशिक फ़ाइलें (कई GB) डाउनलोड नहीं कर सकते हैं। उदाहरण के लिए,
https://github.com/zenodo/zenodo/issues/460#issuecomment -546623751

कुछ को कई बार पुनः प्रयास करना पड़ता है, और यह वास्तव में आपके बैंडविड्थ को बर्बाद कर रहा है...

zhanxw 11 अक्तू॰ 2020

हमारी परियोजना के लिए यह भी महत्वपूर्ण है कि हम Zenodo से सीधे Cloud-Optimized GeoTIFFs (उदाहरण के लिए https://zenodo.org/record/4483227 देखें) का उपयोग कर सकते हैं। Figshare जाहिर तौर पर COG's के साथ काम करता है, zenodo नहीं करता है? हमने उपयोगकर्ताओं के लिए एक कि COG फ़ाइलों का उपयोग करके डेटा के छोटे हिस्से कैसे प्राप्त करें ।

thengl 4 फ़र॰ 2021

क्या आप कृपया इसका समर्थन कर सकते हैं?

हमें बड़ी छवि फ़ाइलों (ज़ार प्रारूप में) को विखंडू द्वारा परोसने की आवश्यकता है, जो हमें ब्राउज़र में फ़ाइलों को तुरंत देखने की अनुमति देता है। ब्राउज़र के लिए डाउनलोड करना संभव नहीं होगा, उदाहरण के लिए 10GB, फ़ाइल और डिस्प्ले।

oeway 25 मार्च 2021

👍6

ज़र्र उपयोग के मामले के लिए बस मूल्य को ध्यान में रखते हुए। Zenodo पर आपके काम के लिए सभी का धन्यवाद!

jakirkham 25 मार्च 2021

ज़ार के लिए, हम बिना किसी बदलाव के, आज काल्पनिक रूप से ज़ेनोडो काम कर सकते हैं। ज़ेनोडो निर्देशिकाओं का समर्थन नहीं करता है, लेकिन अगर हम एक विशेष चरित्र के माध्यम से एक नियमित ज़ार निर्देशिका स्टोर को किसी प्रकार के फ्लैट पदानुक्रम में मैप कर सकते हैं, तो हम इसे काम कर सकते हैं। उदाहरण के लिए, यदि विशेष वर्ण __

.zgroup
foo__.zarray
foo__.zattrs
foo__0.0
foo__0.1

आदि।

rabernat 25 मार्च 2021

क्या आप कृपया यहां कोई मुद्दा उठा सकते हैं (https://github.com/zarr-developers/zarr-specs/issues)?

jakirkham 25 मार्च 2021

@rabernat मुझे डर है कि स्केल नहीं होगा क्योंकि ज़ेनोडो केवल अधिकतम 100 फाइलों की अनुमति देता है।

प्रति रिकॉर्ड कुल फ़ाइल आकार सीमा 50GB (अधिकतम 100 फ़ाइलें) है। एकमुश्त 100GB कोटा का अनुरोध किया जा सकता है और मामला-दर-मामला आधार पर प्रदान किया जा सकता है।

स्रोत: https://www.openaire.eu/technical-requirements

oeway 25 मार्च 2021

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Zenodo: फ़ाइल पुनर्प्राप्ति में "HTTP/1.1 बाइट रेंज अनुरोध" का समर्थन

सबसे उपयोगी टिप्पणी

सभी 10 टिप्पणियाँ

संबंधित मुद्दों