Zenodo: registros: botón descargar todo

Es probable que se pueda lograr a través de AIP. Relacionado con el #34.

+1

Una posibilidad que podría considerar es que el usuario "solicite descargar todo" para iniciar la compresión y luego envíe una notificación (por correo electrónico) con un enlace de descarga del archivo zip cuando finalice la compresión. Puede hacer que el enlace caduque en 24 horas y luego liberar el almacenamiento.

Otra solución podría ser transmitir todos los archivos dentro de un zip utilizando una biblioteca como https://github.com/SpiderOak/ZipStream. No se requerirá almacenamiento en disco temporal adicional y (con suerte, si la biblioteca funciona como se anuncia) tampoco memoria adicional.

Por supuesto, tal vez lo mejor sea una combinación de los métodos mencionados (si [tamaño total de los archivos]> 2 GB, envíe un correo electrónico con un enlace al zip generado asíncrono; de lo contrario, use ZipStream).

Editar: otra forma es activar múltiples descargas a través de JavaScript. Esta biblioteca parece hacerlo: https://github.com/sindresorhus/multi-download

Acabo de cargar un conjunto de datos de unos pocos cientos de archivos, y me sorprende que no haya ningún botón "descargar todo" para el usuario final que proporcione un ZIP o tar-ball o similar (que podría generarse sobre la marcha).

En retrospectiva, debería haber cargado un archivo yo mismo, pero la interfaz de carga no brindaba una guía explícita y estaba claramente diseñada para manejar múltiples archivos.

¿La solución actual consiste en cargar un solo archivo (p. ej example.zip o example.tar.gz según corresponda para la comunidad objetivo), como una nueva versión si es necesario?

[Actualización: dado que el conjunto de datos aún no se ha compartido, he usado https://zenodo.org/support para preguntar sobre la sustitución de los archivos]

Sí, la solución alternativa actual es cargar un ZIP (mejor y con vista previa; tar.gz no tiene vista previa).

El problema aquí es que tenemos conjuntos de datos del tamaño de TB y, por lo tanto, hacer un botón "descargar todo" no es trivial si necesita escalar.

Un comprimir automático para conjuntos de datos más pequeños (en la carga o incluso más tarde) resolvería la mayoría de los problemas, ¿verdad? ¿También ahorraría espacio de almacenamiento?

También agradecería mucho esto: tenemos varios archivos en nuestros archivos, por lo que los usuarios tienen la opción de obtener solo los datos que necesitan, pero muchas personas los quieren todos, y es tedioso tener que hacer clic en cada archivo. ¿O es la expectativa general que la gente simplemente cargue un archivo zip grande como archivo?

Sí, la solución alternativa actual es cargar un ZIP (mejor y con vista previa; tar.gz no tiene vista previa).

El problema aquí es que tenemos conjuntos de datos del tamaño de TB y, por lo tanto, hacer un botón "descargar todo" no es trivial si necesita escalar.

¿Puedo sugerir incluir alguna guía en la interfaz de usuario de carga?

donde actualmente dice:

Drag and drop files here
— or —
Choose files
(minimum 1 file required, max 50 GB per dataset - contact us for larger datasets)

Podría haber una nota como la siguiente:

_Nota: en caso de que el conjunto de datos contenga más de unos pocos archivos, considere empaquetarlos en un archivo comprimido para facilitar la descarga por parte del usuario._

por cierto, hay zenodo_get, un descargador de registros de Zenodo:

https://doi.org/10.5281/zenodo.1261812

Podría haber una nota como la siguiente:

_Nota: en caso de que el conjunto de datos contenga más de unos pocos archivos, considere empaquetarlos en un archivo comprimido para facilitar la descarga por parte del usuario._

Me parece buena idea siempre que no haya solución para "descargar todo".

por cierto, hay zenodo_get, un descargador de registros de Zenodo:

https://doi.org/10.5281/zenodo.1261812

¿Qué hay de integrar esa herramienta en la interfaz de Zenodo?

FYI, también hay un paquete R para hacerlo (y muchas otras cosas): https://github.com/eblondel/zen4R