Zenodo: Proyecto de estudiante: Optimización del rendimiento de carga/descarga de archivos grandes a través de HTTP

caso de uso

• A) Un investigador desea cargar su conjunto de datos de investigación de 260 GB en Zenodo. El investigador sólo está en posesión de su navegador para realizar el trabajo. Variación: los investigadores conocen un poco de Python y pueden escribir un script que cargue un archivo a Zenodo a través de la API.
• B) Un investigador quiere descargar un conjunto de datos de investigación de 260 GB de Zenodo.

Estamos hablando de archivos grandes aquí (mínimo 100 mb,

Meta
Optimice el rendimiento de carga y/o descarga de datos hacia/desde Zenodo.

Subir
Mueva los datos de Zenodo lo más rápido posible. Usando 1) JavaScript (navegador) y/o 2) Python (API).

_Lado del cliente_
JavaScript: archivo de fragmentos (muchas bibliotecas existentes admiten esto, por ejemplo, PLUpload), cargue fragmentos en paralelo (no he visto esto en ningún lugar; podría usar, por ejemplo, trabajadores web de JavaScript).

Python: lo mismo que JavaScript: fragmentar/paralelizar + buscar en la canalización HTTP y la capa TCP también.

Cuestiones a tener en cuenta:

• integridad del archivo (¿cómo nos aseguramos de que el archivo que tiene el usuario es exactamente lo que ha subido?)
• latencia
• soporte del navegador para las funciones que se utilizan.

_Lado del servidor_

• Modelo de proceso (IO de bloqueo/no bloqueo): estamos usando Gunicorn para ejecutar nuestros procesos de Python que tienen diferentes modelos de eventos.
• Análisis de rendimiento en el lado del servidor (por ejemplo, ¿puede el servidor canalizar los archivos directamente al almacenamiento de archivos o necesita mantener el fragmento en la memoria?).
• ¿Cómo podemos aumentar el número de conexiones simultáneas?

Descargar
Ejemplo 1: conjunto de datos de 260 GB en 1000 archivos. ¿Cómo puede un investigador descargar los archivos fácilmente sin tener que hacer clic en 1000 enlaces?
Ejemplo 2: conjunto de datos de 260 GB en 4 archivos. Qué sucede si se pierde la conectividad de la red (es decir, descargas reanudables).

_Lado del cliente_
Tal vez sea posible escribir una aplicación de JavaScript que pueda ayudar a descargar los 1000 archivos. La misma aplicación podría ayudar con las descargas reanudables. Nuevamente, el modelo de trabajo web de Javascript podría usarse para descargar el archivo en fragmentos.

_Lado del servidor_
Implementar soporte para solicitudes de rango HTTP. Me gusta cargar (modelo de proceso y descargas simultáneas). Por ejemplo, los clientes lentos que tardan en descargar un archivo llenarán la línea.

Fuera del alcance (pero debe discutirse): otros métodos para optimizar la entrega de archivos, como las redes de entrega de contenido.

La parte de Python irá principalmente a inveniosoftware/invenio-files-rest
Las partes de JavaScript serán repositorios separados.