Zenodo: एपीआई के माध्यम से सैंडबॉक्स में बड़ी फ़ाइल अपलोड करने में विफल

को निर्मित 26 सित॰ 2016 · 6टिप्पणियाँ · स्रोत: zenodo/zenodo

नमस्ते,

जब मैं निम्नलिखित कोड का उपयोग करके एक परीक्षण फ़ाइल> 100 एमबी पायथन अनुरोधों और ज़ेनोडो एपीआई (सैंडबॉक्स) के माध्यम से अपलोड करने का प्रयास करता हूं:

data = {'filename': 'test.zip'}
files = {'file': open(filename, 'rb')}
r = requests.post("https://sandbox.zenodo.org/api/deposit/depositions/%s/files?access_token=TOKEN" % deposition_id, data=data, files=files)

यह http त्रुटि कोड 413 ("413 रिक्वेस्ट एंटिटी टू लार्ज" लौटाता है जिसे बीटीडब्ल्यू ज़ेनोडो एपीआई डॉक्यूमेंटेशन में प्रलेखित नहीं है)।

फाइलों के साथ परीक्षण किया गया वही कोड <100 एमबी काम करता है और 201 लौटाता है।

क्या मैं फ़ाइल आकार सीमा तक पहुँच गया हूँ? (यदि ऐसा है, तो इसे दस्तावेज़ीकरण में जोड़ना अच्छा होगा)। या शायद यह "अनुरोध" पैकेज के कारण है - क्या मुझे डेटा को मल्टीपार्ट करना है?

Enhancement

स्रोत

ghost

सबसे उपयोगी टिप्पणी

बस अगर किसी को यह पता चलता है, तो नए एपीआई का उपयोग करके फ़ाइल अपलोड भाग करने के लिए यहां कुछ पायथन हैं। यह एकल फ़ाइल अपलोड करने के लिए ऊपर उल्लिखित कर्ल कॉल के बराबर है। मैंने 160 एमबी फ़ाइल के साथ इसका परीक्षण किया है जो दस्तावेज एपीआई के साथ विफल रहा

import requests

r = requests.post('https://sandbox.zenodo.org/api/deposit/depositions',
                        params={'access_token': ACCESS_TOKEN}, json={},
                        headers={"Content-Type": "application/json"})

print r.status_code

bucket_url = r.json()['links']['bucket']

filename='bigfile.txt'
r = requests.put('%s/%s' % (bucket_url,filename),
                data=open(filename, 'rb'),
                headers={"Accept":"application/json",
                "Authorization":"Bearer %s" % ACCESS_TOKEN,
                "Content-Type":"application/octet-stream"})

print r.status_code

jakelever 24 अग॰ 2017

👍6

सभी 6 टिप्पणियाँ

100MB से बड़ी फ़ाइलें अपलोड करने के लिए आपको हमारी नई फ़ाइल अपलोड API (जिसे हमने अभी तक प्रकाशित नहीं किया है) का उपयोग करना होगा। ऐसा इसलिए है क्योंकि वर्तमान एपीआई फ़ाइल को अपलोड करने के लिए application/mulitpart-formdata का उपयोग करता है जो बहुत कुशल नहीं है। नए एपीआई में आप फ़ाइल की बाइनरी सामग्री को एक पुट अनुरोध में स्ट्रीम करते हैं जो बहुत तेज़ है और किसी भी छोर में किसी एन्कोडिंग/डिकोडिंग की आवश्यकता नहीं होती है। मैं आज थोड़ी देर बाद आपको एक उदाहरण भेजूंगा।

lnielsen 27 सित॰ 2016

इस पर गौर करने के लिए धन्यवाद! मैं नए एपीआई के उदाहरण को लेकर उत्साहित हूं।
शायद आप अजगर पैकेज "अनुरोध-टूलबेल्ट" पर विचार करना चाहते हैं जो मल्टीपार्ट फॉर्म-डेटा ऑब्जेक्ट्स को स्ट्रीमिंग करने की भी अनुमति देगा। लेकिन मुझे लगता है कि एन्कोडिंग आवश्यकताओं के बिना किसी भी समाधान की सराहना की जाती है।

ghost 30 सित॰ 2016

इसका जवाब देने में देरी के लिए खेद है:

1) अपना बकेट URL खोजें:

$ curl -H "Accept: application/json" -H "Authorization: Bearer <access token>" "https://www.zenodo.org/api/deposit/depositions/<deposit id>"
{
  "links": {
    "bucket": "https://www.zenodo.org/api/files/<bucket id>",
    ...
  },
...

2) बाल्टी में फाइल अपलोड करें

$ curl -X PUT -H "Accept: application/json" -H "Content-Type: application/octet-stream" -H "Authorization: Bearer <access_token>" -d @<path to local file> https://www.zenodo.org/api/files/<bucket id>/<filename>

ध्यान दें कि बाल्टी संस्करणबद्ध है, इसलिए किसी फ़ाइल को पूरी तरह से हटाने के लिए आपको संस्करण लिंक का उपयोग करना होगा। इसे बाल्टी को सूचीबद्ध करने से खोजें:

$ curl -H "Accept: application/json" -H "Authorization: Bearer <access token>" "https://www.zenodo.org/api/files/<bucket id>”
{
  "contents": [
    {
      "links": {
        "version": "https://zenodo.org/api/files/<bucket id>/<filename>?versionId=<versionId>", 
        ...
      }, 
      "key": "<filename>", 
      ...
    }, 
   ...

फ़ाइल को हटाना:

$ curl -X DELETE -H "Accept: application/json" -H "Authorization: Bearer <access_token>" https://www.zenodo.org/api/files/<bucket id>/<filename>?versionId=<versionId>”

lnielsen 23 नव॰ 2016

👍2

import requests

r = requests.post('https://sandbox.zenodo.org/api/deposit/depositions',
                        params={'access_token': ACCESS_TOKEN}, json={},
                        headers={"Content-Type": "application/json"})

print r.status_code

bucket_url = r.json()['links']['bucket']

filename='bigfile.txt'
r = requests.put('%s/%s' % (bucket_url,filename),
                data=open(filename, 'rb'),
                headers={"Accept":"application/json",
                "Authorization":"Bearer %s" % ACCESS_TOKEN,
                "Content-Type":"application/octet-stream"})

print r.status_code

jakelever 24 अग॰ 2017

👍6

@lnielsen @jakelever
क्या आपको लगता है कि requests.put का उपयोग करके एक खंडित फ़ाइल को बाल्टी में स्ट्रीम करना संभव है?
संदर्भ:
मेरे पास बड़ी फ़ाइलों का एक सेट है जिसे मैं स्मृति में या डिस्क पर पहले से ज़िपफ़ाइल बनाए बिना ज़िपस्ट्रीम करना चाहता हूं। मैं अनुरोध विधि के ऑक्टेट-स्ट्रीम में जेनरेटर ऑब्जेक्ट पास करना चाहता हूं।

ghost 29 सित॰ 2017

एपीआई का उपयोग करके फ़ाइलें अपलोड करने का प्रयास करते समय इस पर ठोकर खाई। मेरे लिए स्ट्रीमिंग एपीआई विफल रही क्योंकि 986 केबी फ़ाइल में से केवल आधा ही अपलोड किया गया था, जिसके परिणामस्वरूप भ्रष्ट पीडीएफ हो गया था। http://killtheradio.net/tricks-hacks/curl-cli-not-sending-full-file-data-when-using-data-binary/ के आधार पर मैंने -d @<path to file> को -T <path to file> प्रतिस्थापित किया

rdmpage 22 जून 2018

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Zenodo: एपीआई के माध्यम से सैंडबॉक्स में बड़ी फ़ाइल अपलोड करने में विफल

सबसे उपयोगी टिप्पणी

सभी 6 टिप्पणियाँ

संबंधित मुद्दों