Zenodo: deposit: memungkinkan pengguna untuk menyediakan struktur file untuk diunggah

Saya baru-baru ini menemukan diri saya dalam situasi di mana saya perlu berbagi struktur file/direktori yang kompleks, dan akhirnya menyandikan semua informasi (yang seharusnya setidaknya sebagian masuk ke nama direktori) sebagai nama file. Tidak terlihat bagus dan cukup merepotkan. Dukungan untuk struktur direktori akan sangat membantu dalam kasus seperti itu.

Saya juga akan menghargai direktori. Saya ingin menyediakan file data terpisah untuk setiap tahun data saya, karena masing-masing memiliki berat 180 MB dan pengguna hanya perlu mengunduh yang mereka inginkan. Mampu meletakkannya di direktori akan membantu mendeklarasikan file proyek.

+1

Data di komunitas saya (neuroimaging) juga diatur dengan struktur direktori standar, yang perlu kita ratakan untuk diunggah ke Zenodo, dan tidak diratakan saat diunduh. Akan sangat menyenangkan untuk dapat menangani struktur direktori secara langsung! (juga, satu tombol unduh untuk kumpulan data lengkap?)

+1

+1

+1

Saya juga akan melakukan ping masalah ini. Saya memiliki sekitar 5000 file yang mewakili hanya di bawah 50GB untuk diunggah bahkan setelah saya mengumpulkan data saya. Akan luar biasa untuk dapat mencerminkan struktur file dari penyimpanan internal kami di Zenodo untuk tidak membanjiri UI dengan daftar besar.

Mengganti komentar @ r03ert0 , sejumlah format mikroskop diatur ke dalam direktori di mana informasi jalur sangat penting untuk menafsirkan data (misalnya mendefinisikan urutan deret waktu). Format lain yang lebih umum seperti Zarr menghadapi masalah yang sama.

Mengatakan bahwa ini akan sangat berguna bagi saya dalam penelitian biologi komputasi / genomik juga.

Struktur Data Pencitraan Otak ( BIDS ) juga menuntut struktur direktori bersarang. Saat ini, Zenodo tidak cocok untuk menyimpan kumpulan data seperti itu.

Terima kasih atas sarannya. Pertama-tama, harap dicatat bahwa saat ini, ada solusi di mana Anda dapat menyimpan file ZIP, dan struktur file akan ditampilkan di Zenodo.

Tidak mudah dalam kasus kami untuk mendukung struktur file. Beberapa masalah tersebut antara lain:

• Cluster penyimpanan kami (CERN EOS) tidak ditujukan untuk banyak file yang lebih kecil, tetapi untuk file yang lebih besar.
• Perangkat lunak repositori tidak diarahkan untuk menyimpan sejumlah besar (1000+) file yang lebih kecil yang terkait dengan catatan
• Pengalaman pengguna untuk mengunggah/mengunduh/menjelajah banyak file yang lebih kecil sulit untuk diatasi (yaitu mengunduh semua, menemukan file tertentu di antara 10.000 file, membuat perubahan pada struktur, dll.)
• Zenodo tidak dimaksudkan untuk digunakan sebagai penyimpanan data langsung di belakang misalnya kluster HPC atau sejenisnya. Kami adalah arsip tempat Anda menyimpan barang-barang untuk umur panjang, dan mengeluarkannya lagi untuk menyimpannya di penyimpanan data langsung untuk klaster komputasi.

Jelas, Anda dapat mengatasi semua masalah di atas dengan beberapa cara atau lainnya, tetapi solusi sederhana untuk mengemas data sebelum mengunggah sudah berfungsi hari ini, dan pada dasarnya akan menjadi apa yang perlu kita tiru jika kita ingin mendukung struktur data yang besar. .

Sebagian besar pengembangan fitur baru untuk Zenodo sekarang terjadi di proyek InvenioRDM, dan ada diskusi di antara para mitra di sana apakah akan mendukung struktur file atau tidak. Sejauh ini versi pertama InvenioRDM tidak mendukungnya.

Terima kasih banyak telah memberikan kasus penggunaan dan contoh spesifik.

Terimakasih atas klarifikasinya!
Apa yang penting, dalam banyak kasus penggunaan menurut saya, adalah untuk dapat memiliki URL untuk setiap file, terlepas dari cara data sebenarnya disimpan. URL itu akan menghemat struktur file hierarkis, dan akan baik-baik saja jika semua file disimpan dalam satu zip besar. Bukan bagian penyimpanan Zenodo yang menarik (walaupun sangat diterima! 🙏 ), tetapi organisasi data dan aspek pengindeksan, tautan dengan DOI, dll.

Dari apa yang Anda jelaskan, mungkin saja orang mengunggah satu zip, tetapi API dapat memberikan URL untuk file tertentu di dalam zip itu (mungkin sudah selesai, karena GUI memang menampilkan file individual di dalam zip)