Zenodo: enregistrements : bouton de téléchargement complet

Peut probablement être réalisé via AIP. Relatif au #34.

+1

Une possibilité que vous pourriez envisager est que l'utilisateur "demande à tout télécharger" pour lancer la compression, puis envoie une notification (par e-mail) avec un lien de téléchargement du fichier zip lorsque la compression est terminée. Vous pouvez faire expirer le lien dans 24 heures, puis libérer le stockage.

Une autre solution pourrait être de diffuser tous les fichiers dans un zip à l'aide d'une bibliothèque telle que https://github.com/SpiderOak/ZipStream. Aucun stockage sur disque temporaire supplémentaire ne sera nécessaire et (espérons-le, si la bibliothèque fonctionne comme annoncé) aucune mémoire supplémentaire.

Bien sûr, une combinaison des méthodes mentionnées pourrait être la meilleure (si [taille totale des fichiers]> 2 Go, envoyez un e-mail avec un lien vers le zip généré asynchrone, sinon utilisez ZipStream).

Modifier : une autre méthode consiste à déclencher plusieurs téléchargements via JavaScript. Cette bibliothèque semble le faire : https://github.com/sindresorhus/multi-download

Je viens de télécharger un ensemble de données de quelques centaines de fichiers et je suis choqué qu'il n'y ait pas de "bouton de téléchargement complet" de l'utilisateur final donnant un ZIP ou une boule de tar ou similaire (qui pourrait être généré à la volée).

Avec le recul, j'aurais dû télécharger une archive moi-même, mais l'interface de téléchargement ne donnait pas de conseils explicites et était clairement conçue pour gérer plusieurs fichiers.

Le travail actuel consiste-t-il à télécharger une seule archive (par exemple, example.zip ou example.tar.gz selon le cas pour la communauté ciblée), en tant que nouvelle version si nécessaire ?

[Mise à jour : étant donné que l'ensemble de données n'a pas encore été partagé, j'ai utilisé https://zenodo.org/support pour demander le remplacement des fichiers]

Oui, la solution de contournement actuelle consiste à télécharger un ZIP (mieux et prévisualisé - tar.gz n'est pas prévisualisé).

Le problème ici est que nous avons des ensembles de données de la taille d'un To, et donc faire un bouton "tout télécharger" n'est pas trivial s'il doit être mis à l'échelle.

Une compression automatique pour un ensemble de données plus petit (lors du téléchargement ou même plus tard) résoudrait alors la plupart des problèmes, n'est-ce pas ? Cela permettrait également d'économiser de l'espace de stockage ?

J'apprécierais également beaucoup cela - nous avons plusieurs fichiers dans nos archives afin que les utilisateurs aient la possibilité de saisir uniquement les données dont ils ont besoin, mais beaucoup de gens veulent tout cela, et il est fastidieux de devoir cliquer sur chaque fichier. Ou est-ce que l'on s'attend généralement à ce que les gens téléchargent un gros fichier zip en tant qu'archive?

Oui, la solution de contournement actuelle consiste à télécharger un ZIP (mieux et prévisualisé - tar.gz n'est pas prévisualisé).

Le problème ici est que nous avons des ensembles de données de la taille d'un To, et donc faire un bouton "tout télécharger" n'est pas trivial s'il doit être mis à l'échelle.

puis-je suggérer d'inclure quelques conseils dans l'interface utilisateur de téléchargement.

où il est écrit actuellement :

Drag and drop files here
— or —
Choose files
(minimum 1 file required, max 50 GB per dataset - contact us for larger datasets)

Il pourrait y avoir une note telle que celle-ci :

_Remarque : dans le cas où l'ensemble de données contient plusieurs fichiers, veuillez envisager de les regrouper dans un fichier zip, afin de faciliter le téléchargement par l'utilisateur._

btw, il y a zenodo_get, un téléchargeur pour les enregistrements Zenodo :

https://doi.org/10.5281/zenodo.1261812

Il pourrait y avoir une note telle que celle-ci :

_Remarque : dans le cas où l'ensemble de données contient plusieurs fichiers, veuillez envisager de les regrouper dans un fichier zip, afin de faciliter le téléchargement par l'utilisateur._

Cela me semble être une bonne idée tant qu'il n'y a pas de solution pour "tout télécharger".

btw, il y a zenodo_get, un téléchargeur pour les enregistrements Zenodo :

https://doi.org/10.5281/zenodo.1261812

Qu'en est-il de l'intégration de cet outil dans l'interface Zenodo ?

Pour info, il existe aussi un package R pour le faire (et bien d'autres choses) : https://github.com/eblondel/zen4R