Zenodo: 학생 프로젝트: HTTP를 통한 대용량 파일 다운로드/업로드 성능 최적화

사용 사례

• A) 연구원이 자신의 260GB 연구 데이터세트를 Zenodo에 업로드하려고 합니다. 연구원은 작업을 수행하기 위해 브라우저를 소유하고 있을 뿐입니다. 변형: 연구원들은 Python을 약간 알고 있으며 API를 통해 Zenodo에 파일을 업로드하는 스크립트를 작성할 수 있습니다.
• B) 연구원이 Zenodo에서 260GB 연구 데이터 세트를 다운로드하려고 합니다.

여기서는 대용량 파일(최소 100MB,

목표
Zenodo와의 데이터 업로드 및/또는 다운로드 성능을 최적화합니다.

업로드
데이터를 가능한 한 빨리 Zenodo로 이동하십시오. 1) JavaScript(브라우저) 및/또는 2) Python(API) 사용.

_고객 입장에서_
JavaScript: 청크 파일(예: PLUpload를 지원하는 많은 기존 라이브러리), 병렬로 청크 업로드(예: javascript 웹 작업자를 사용할 수 있는 곳에서 본 적이 없음).

Python: JavaScript와 동일 - 청크/병렬화 + HTTP 파이프라인 및 TCP 계층도 살펴봅니다.

고려해야 할 문제:

• 파일 무결성(사용자가 가지고 있는 파일이 업로드된 것과 정확히 일치하는지 어떻게 확인합니까(파일 체크섬, 그러나 병렬로 업로드하는 경우 체크섬 알고리즘이 이를 지원해야 함).
• 지연 시간
• 사용 중인 기능에 대한 브라우저 지원.

_서버 측_

• 프로세스 모델(차단/비차단 IO) - 다른 이벤트 모델이 있는 Python 프로세스를 실행하기 위해 Gunicorn을 사용하고 있습니다.
• 서버 측의 성능 분석(예: 서버가 파일을 파일 저장소로 직접 파이프할 수 있는지 또는 메모리에 청크를 유지해야 하는지).
• 동시 연결 수를 어떻게 늘릴 수 있습니까?

다운로드
예 1: 1000개 파일의 260GB 데이터 세트. 어떻게 연구원이 1000개의 링크를 클릭하지 않고도 파일을 쉽게 다운로드할 수 있습니까?
예 2: 4개 파일의 260GB 데이터 세트. 네트워크 연결이 끊어지면 어떻게 됩니까(예: 다운로드 재개).

_고객 입장에서_
1000개의 파일을 다운로드하는 데 도움이 되는 JavaScript 앱을 작성할 수도 있습니다. 동일한 앱이 다운로드 재개에 도움이 될 수 있습니다. 다시 말하지만 Javascript 웹 작업자 모델을 사용하여 파일을 청크로 다운로드할 수 있습니다.

_서버 측_
HTTP 범위 요청에 대한 지원을 구현합니다. 업로드와 유사합니다(프로세스 모델 및 동시 다운로드). 예를 들어 파일을 다운로드하는 데 시간이 걸리는 느린 클라이언트는 줄을 채웁니다.

범위 외(하지만 논의해야 함): 콘텐츠 전송 네트워크와 같은 파일 전송을 최적화하는 다른 방법.

Python 부분은 주로 inveniosoftware/invenio-files-rest로 이동합니다.
JavaScript 부분은 별도의 저장소가 됩니다.