Zenodo: छात्र परियोजना: HTTP पर बड़ी फ़ाइल डाउनलोड/अपलोड प्रदर्शन का अनुकूलन

को निर्मित 12 फ़र॰ 2016 · 6टिप्पणियाँ · स्रोत: zenodo/zenodo

उदाहरण

ए) एक शोधकर्ता अपने 260GB अनुसंधान डेटासेट को Zenodo पर अपलोड करना चाहता है। शोधकर्ता के पास कार्य करने के लिए केवल उसका ब्राउज़र होता है। विविधता: शोधकर्ता थोड़ा सा पायथन जानते हैं और एक स्क्रिप्ट लिख सकते हैं जो एपीआई के माध्यम से ज़ेनोडो को एक फाइल अपलोड करती है।
बी) एक शोधकर्ता Zenodo से 260GB अनुसंधान डेटासेट डाउनलोड करना चाहता है।

हम यहां बड़ी फाइलों के बारे में बात कर रहे हैं (न्यूनतम 100 एमबी,

लक्ष्य
Zenodo में/से डेटा अपलोड और/या डाउनलोड के प्रदर्शन को अनुकूलित करें।

डालना
जितनी जल्दी हो सके डेटा को Zenodo में ले जाएं। 1) जावास्क्रिप्ट (ब्राउज़र) और/या 2) पायथन (एपीआई) का उपयोग करना।

_ग्राहक की ओर_
जावास्क्रिप्ट: खंड फ़ाइल (कई मौजूदा पुस्तकालय इसका समर्थन करते हैं - उदाहरण के लिए PLUpload), समानांतर में भाग अपलोड करें (इसे कहीं भी नहीं देखा है - उदाहरण के लिए जावास्क्रिप्ट वेब श्रमिकों का उपयोग कर सकता है)।

पायथन: जावास्क्रिप्ट के समान ही - खंड/समानांतर + HTTP पाइपलाइन और टीसीपी परत में भी देखें।

खाते में लेने के लिए मुद्दे:

फ़ाइल अखंडता (हम कैसे सुनिश्चित करते हैं कि उपयोगकर्ता के पास जो फ़ाइल है वही अपलोड की गई है (फ़ाइल को चेकसम करें, लेकिन यदि आप समानांतर में अपलोड करते हैं तो आपके चेकसम एल्गोरिदम को इसका समर्थन करना चाहिए)।
विलंब
उपयोग की जा रही सुविधाओं के लिए ब्राउज़र समर्थन।

_सर्वर साइड_

प्रक्रिया मॉडल (अवरुद्ध/गैर-अवरुद्ध IO) - हम अपनी पायथन प्रक्रियाओं को चलाने के लिए Gunicorn का उपयोग कर रहे हैं जिसमें विभिन्न ईवेंट मॉडल हैं।
सर्वर साइड पर प्रदर्शन विश्लेषण (उदाहरण के लिए सर्वर फाइलों को सीधे फाइल स्टोरेज में पाइप कर सकता है या इसे मेमोरी में चंक रखने की आवश्यकता है)।
हम समवर्ती कनेक्शनों की संख्या कैसे बढ़ा सकते हैं।

डाउनलोड
उदाहरण 1: 1000 फाइलों में 260GB डेटासेट। एक शोधकर्ता 1000 लिंक पर क्लिक किए बिना फाइलों को आसानी से कैसे डाउनलोड कर सकता है।
उदाहरण 2: 4 फाइलों में 260GB डेटासेट। क्या होता है यदि नेटवर्क कनेक्टिविटी खो जाती है (यानी फिर से शुरू करने योग्य डाउनलोड)।

_ग्राहक की ओर_
शायद एक जावास्क्रिप्ट ऐप लिखना संभव है जो 1000 फाइलों को डाउनलोड करने में मदद कर सके। वही ऐप फिर से शुरू करने योग्य डाउनलोड में मदद कर सकता है। फिर से, जावास्क्रिप्ट वेब वर्कर मॉडल का उपयोग संभवतः फ़ाइल को विखंडू में डाउनलोड करने के लिए किया जा सकता है।

_सर्वर साइड_
HTTP श्रेणी अनुरोधों के लिए समर्थन लागू करें। अपलोड की तरह (प्रक्रिया मॉडल, और समवर्ती डाउनलोड)। उदाहरण के लिए, धीमे क्लाइंट जो फ़ाइल डाउनलोड करने में समय लेते हैं, लाइन भर देंगे।

दायरे से बाहर (लेकिन चर्चा की जानी चाहिए): सामग्री वितरण नेटवर्क जैसे फ़ाइल वितरण को अनुकूलित करने के अन्य तरीके।

पायथन भाग मुख्य रूप से inveniosoftware/invenio-files-rest . में जाएगा
जावास्क्रिप्ट भाग अलग भंडार होंगे।

स्रोत

lnielsen

👍1

सबसे उपयोगी टिप्पणी

क्या सामान्य इंटरनेट ब्राउज़र का उपयोग करने की तुलना में बड़ी फ़ाइलों को डाउनलोड करने का कोई बेहतर तरीका है? http पर बड़ी फ़ाइलें घंटों के भीतर विफल हो जाती हैं, और डाउनलोड फिर से शुरू नहीं किया जा सकता है।

मेरे मामले में, मैं 50 जीबी डेटासेट डाउनलोड करने का प्रयास कर रहा हूं।
डाउनलोड स्पीड 500 केबीपीएस के आसपास हो जाती है और डाउनलोड चलने के 12 घंटे के बीच में कन्नेक्शन फेल हो जाता है।

मैं इसे महीनों से हर दिन डाउनलोड करने की कोशिश कर रहा हूं (मुझे अपने मास्टर की थीसिस के लिए डेटासेट चाहिए)।
कोई सुझाव?

Vichoko 26 अक्तू॰ 2019

👍6

सभी 6 टिप्पणियाँ

इस पुराने मुद्दे को कुछ हद तक ऑफ-टॉपिक दिशा में पुनर्जीवित करने के लिए क्षमा करें ... मैं ज़ेनोडो HTTP सर्वर के लिए HTTP रेंज अनुरोधों का समर्थन करना चाहता हूं, जिनका मूल टिप्पणी में उल्लेख किया गया है। जहाँ तक मैं बता सकता हूँ, वे वर्तमान में सम्मानित नहीं हैं। क्या यह इस समय रोडमैप पर है?

pkgw 9 अग॰ 2018

👍2

Vichoko 26 अक्तू॰ 2019

👍6

मैं 5 कोशिशों के बाद भी 2.2 जीबी डेटासेट डाउनलोड नहीं कर सका, डाउनलोड मैनेजर भी मदद नहीं कर सका।

@ विचोको , क्या आपने इसे हल करने का प्रबंधन किया? यदि हां, तो कैसे?

Shihab-Shahriar 26 फ़र॰ 2020

मैं भी एक डेटासेट डाउनलोड करने की कोशिश में बहुत निराश हो गया हूं जिसमें दिन और दिनों के लिए दो बड़ी फाइलें (12 जीबी और 37 जीबी) शामिल हैं।

मुझे https://zenodo.org/record/1261813 (https://gitlab.com/dvolgyes/zenodo_get) मिला और इससे बहुत मदद मिली। मैं पहली कोशिश में पूरा रिकॉर्ड डाउनलोड करने में कामयाब रहा।
पहली नजर में मुझे इसके बारे में कुछ भी जादू नहीं दिख रहा है, इसलिए मुझे लगता है कि चाल पाइथन कार्यान्वयन के कुछ आंतरिक हिस्सों में होनी चाहिए wget ।

afrendeiro 9 जून 2020

👍1

Link: https://zenodo.org/api/files/cb4ca1fa-1db1-40f9-8f39-0e9d3b2af7ae/musdb18hq.zip   size: 21607.1 MB
  0% [                                             ]     3121152 / 22656664047

मैं 2006 में डायल-अप के साथ 21GB फ़ाइलें तेज़ी से डाउनलोड कर सकता था। क्या ज़ेनोडो में सीडीएन इंफ्रास्ट्रक्चर की कमी है? S3 या GCS बकेट का उपयोग क्यों न करें?

sevagh 29 जुल॰ 2021

मुझे लगता है कि इस मुद्दे को फिर से खोलना चाहिए, यह देखते हुए कि ज़ेनोडो असामान्य रूप से धीमी और अस्थिर डाउनलोड प्रदर्शित करता है। या यदि Zenodo डाउनलोड को ट्रैक करने के लिए कोई अन्य समस्या है?

sevagh 29 जुल॰ 2021

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Zenodo: छात्र परियोजना: HTTP पर बड़ी फ़ाइल डाउनलोड/अपलोड प्रदर्शन का अनुकूलन

सबसे उपयोगी टिप्पणी

सभी 6 टिप्पणियाँ

संबंधित मुद्दों