Zenodo: записи: скачать все кнопка

Вероятно, может быть достигнуто через AIP. Относится к № 34.

+1

Возможно, вы могли бы рассмотреть возможность для пользователя «запросить загрузку всего», чтобы начать сжатие, а затем отправить уведомление (по электронной почте) со ссылкой для загрузки zip-файла, когда сжатие будет выполнено. Вы можете сделать срок действия ссылки истекающим через 24 часа, а затем освободить хранилище.

Другим решением может быть потоковая передача всех файлов внутри zip-архива с помощью такой библиотеки, как https://github.com/SpiderOak/ZipStream. Не потребуется дополнительное временное хранилище на диске и (надеюсь, если библиотека работает так, как рекламируется) дополнительная память.

Конечно, возможно, комбинация упомянутых методов может быть лучше (если [общий размер файлов]> 2 ГБ, отправьте электронное письмо со ссылкой на асинхронно сгенерированный почтовый индекс, в противном случае используйте ZipStream).

Редактировать: еще один способ - запустить несколько загрузок через JavaScript. Эта библиотека, кажется, делает это: https://github.com/sindresorhus/multi-download

Я только что загрузил набор данных из нескольких сотен файлов и потрясен тем, что у конечного пользователя нет кнопки «загрузить все», предоставляющей ZIP, tar-шар или что-то подобное (которое может быть сгенерировано на лету).

Оглядываясь назад, я должен был загрузить архив сам, но интерфейс загрузки не давал явных указаний и явно был разработан для работы с несколькими файлами.

Является ли текущая работа вместо загрузки одного архива (например, example.zip или example.tar.gz в зависимости от целевого сообщества) в качестве новой версии, если это необходимо?

[Обновление: учитывая, что набор данных еще не был опубликован, я использовал https://zenodo.org/support , чтобы спросить о замене файлов]

Да, текущий обходной путь — загрузить ZIP (лучше предварительно просмотреть — tar.gz не просматривается).

Проблема здесь в том, что у нас есть наборы данных размером в ТБ, и поэтому сделать кнопку «загрузить все» нетривиально, если ее нужно масштабировать.

Автоматическое архивирование меньшего набора данных (при загрузке или даже позже) решит большинство проблем, верно? Это также сэкономит место для хранения?

Я также был бы очень признателен за это — у нас есть несколько файлов в наших архивах , поэтому пользователи могут получить только те данные, которые им нужны, но многие люди хотят все это, и утомительно щелкать по каждому файлу. Или это общее ожидание, что люди просто загружают один большой zip-файл в виде архива?

Да, текущий обходной путь — загрузить ZIP (лучше предварительно просмотреть — tar.gz не просматривается).

Проблема здесь в том, что у нас есть наборы данных размером в ТБ, и поэтому сделать кнопку «загрузить все» нетривиально, если ее нужно масштабировать.

могу ли я предложить включить некоторые рекомендации в пользовательский интерфейс загрузки.

где сейчас написано:

Drag and drop files here
— or —
Choose files
(minimum 1 file required, max 50 GB per dataset - contact us for larger datasets)

Это может быть примечание следующего содержания:

_Примечание: если набор данных содержит несколько файлов, рассмотрите возможность упаковки их в zip-файл, чтобы упростить загрузку пользователем._

Кстати, есть zenodo_get, загрузчик записей Zenodo:

https://doi.org/10.5281/zenodo.1261812

Это может быть примечание следующего содержания:

_Примечание: если набор данных содержит несколько файлов, рассмотрите возможность упаковки их в zip-файл, чтобы упростить загрузку пользователем._

Мне кажется, это хорошая идея, пока нет решения «скачать все».

Кстати, есть zenodo_get, загрузчик записей Zenodo:

https://doi.org/10.5281/zenodo.1261812

Как насчет интеграции этого инструмента в интерфейс Zenodo?

К вашему сведению, для этого также есть пакет R (и многое другое): https://github.com/eblondel/zen4R .