Zenodo: API를 통해 샌드박스에 대용량 파일 업로드 실패

100MB보다 큰 파일을 업로드하려면 새로운 파일 업로드 API(아직 게시하지 않음)를 사용해야 합니다. 이는 현재 API가 application/mulitpart-formdata 를 사용하여 파일을 업로드하는 데 그다지 효율적이지 않기 때문입니다. 새 API에서는 훨씬 더 빠르고 양쪽 끝에서 인코딩/디코딩이 필요하지 않은 PUT 요청으로 파일의 이진 콘텐츠를 스트리밍합니다. 오늘은 조금 이따 예제를 보내드리겠습니다.

조사해 주셔서 감사합니다! 나는 새로운 API의 예에 대해 흥분합니다.
다중 파트 양식 데이터 개체를 스트리밍할 수도 있는 python 패키지 "requests-toolbelt"를 고려하고 싶을 수도 있습니다. 그러나 인코딩 요구 사항이 없는 솔루션은 높이 평가될 것입니다.

이에 대한 답변이 오래 지연된 점 사과드립니다.

1) 버킷 URL 찾기:

$ curl -H "Accept: application/json" -H "Authorization: Bearer <access token>" "https://www.zenodo.org/api/deposit/depositions/<deposit id>"
{
  "links": {
    "bucket": "https://www.zenodo.org/api/files/<bucket id>",
    ...
  },
...

2) 버킷에 파일 업로드

$ curl -X PUT -H "Accept: application/json" -H "Content-Type: application/octet-stream" -H "Authorization: Bearer <access_token>" -d @<path to local file> https://www.zenodo.org/api/files/<bucket id>/<filename>

버킷에는 버전이 지정되어 있으므로 파일을 다시 완전히 제거하려면 버전 링크를 사용해야 합니다. 버킷 목록에서 찾으십시오.

$ curl -H "Accept: application/json" -H "Authorization: Bearer <access token>" "https://www.zenodo.org/api/files/<bucket id>”
{
  "contents": [
    {
      "links": {
        "version": "https://zenodo.org/api/files/<bucket id>/<filename>?versionId=<versionId>", 
        ...
      }, 
      "key": "<filename>", 
      ...
    }, 
   ...

파일 삭제:

$ curl -X DELETE -H "Accept: application/json" -H "Authorization: Bearer <access_token>" https://www.zenodo.org/api/files/<bucket id>/<filename>?versionId=<versionId>”

누군가 이 문제를 접할 경우를 대비하여 새 API를 사용하여 파일 업로드 부분을 수행하는 Python이 있습니다. 이는 단일 파일을 업로드하기 위해 위에서 설명한 CURL 호출과 동일합니다. 문서화 된 API로 실패한 160MB 파일로 테스트했습니다. 이것은 또한 요청(문서화된 API가 사용하는)을 사용하고 단순히 새 제출을 만들고 파일을 업로드합니다. 사용된 URL은 샌드박스 URL입니다.

import requests

r = requests.post('https://sandbox.zenodo.org/api/deposit/depositions',
                        params={'access_token': ACCESS_TOKEN}, json={},
                        headers={"Content-Type": "application/json"})

print r.status_code

bucket_url = r.json()['links']['bucket']

filename='bigfile.txt'
r = requests.put('%s/%s' % (bucket_url,filename),
                data=open(filename, 'rb'),
                headers={"Accept":"application/json",
                "Authorization":"Bearer %s" % ACCESS_TOKEN,
                "Content-Type":"application/octet-stream"})

print r.status_code

@lnielsen @jakelever
requests.put 사용하여 청크 파일을 버킷으로 스트리밍할 수 있다고 생각하십니까?
문맥:
메모리나 디스크에 미리 압축 파일을 생성하지 않고 압축을 풀고 싶은 대용량 파일 세트가 있습니다. 요청 메서드의 옥텟 스트림에 생성기 개체를 전달하고 싶습니다.

API를 사용하여 파일을 업로드하는 동안 이것을 발견했습니다. 나에게 스트리밍 API는 986Kb 파일의 약 절반만 업로드되어 PDF가 손상되었기 때문에 실패했습니다. http://killtheradio.net/tricks-hacks/curl-cli-not-sending-full-file-data-when-using-data-binary/ 기반으로 -d @<path to file> 를 -T <path to file> 로 대체 -d @<path to file> curl 명령줄에 -T <path to file> 및 전체 파일이 업로드되었습니다.