Zenodo: Dukungan "permintaan rentang HTTP/1.1 byte" dalam pengambilan file
Saya memiliki satu permintaan fitur di zenodo - dapatkah server zenodo mendukung permintaan rentang HTTP/1.1 byte https://tools.ietf.org/html/rfc7233 ?
Platform Zenodo sudah luar biasa, dan dukungan Anda terhadap permintaan rentang byte akan meningkatkan nilai data yang disimpan lebih jauh karena beberapa aplikasi mengandalkan permintaan rentang byte, khususnya saat menangani file besar.
Saya ingin menambahkan contoh tentang cara kerja permintaan rentang byte, untuk memperjelas maksud saya. Misalnya, github (raw.githubusercontent.com) mendukung permintaan rentang byte seperti di bawah ini:
###
### The entire part of the README file is retrieved, and processed locally
###
$ curl https://raw.githubusercontent.com/zenodo/zenodo/master/README.rst |head -5 | tail -1
Zenodo is free software; you can redistribute it
###
### Only the specified bytes specified in the file is retrieved, which does not require local processing
###
$ curl -H "range: bytes=72-125" https://raw.githubusercontent.com/zenodo/zenodo/master/README.rst
Zenodo is free software; you can redistribute it
Namun, permintaan rentang byte diabaikan di zenodo.org
###
### the entire part of the file is retrieved
###
$ curl https://zenodo.org/record/1407145/files/DOI_Test.txt
This is a test of the Zenodo DOI functionality for GitLab.
###
### Only small bytes are requested, but the entire part is retrieved
###
$ curl -H "range: bytes=6-7" https://zenodo.org/record/1407145/files/DOI_Test.txt
This is a test of the Zenodo DOI functionality for GitLab.
hkawaji
Semua 10 komentar
Aku akan kedua ini. Ini akan sangat berguna misalnya untuk dataset genomik untuk diakses langsung dengan tabix . Tampaknya memerlukan perubahan konfigurasi dalam pengaturan server web zenodo 'max_ranges' ke angka positif.
Apakah ada alasan teknis untuk tidak melakukan itu?
kpalin
pada 31 Jan 2019
Backend penyimpanan file kami saat ini tidak dioptimalkan untuk melayani permintaan rentang HTTP (artinya mengaktifkan fitur ini berpotensi menyebabkan pelambatan yang signifikan untuk API unggah/unduh file). Tentu saja, ada orang yang bekerja untuk mewujudkannya, meskipun kami tidak dapat memberikan ETA yang akurat tentangnya...
slint
pada 31 Jan 2019
Saya hanya ingin menambahkan :+1: saya untuk menyatakan bahwa mengaktifkan permintaan rentang akan sangat berguna untuk format data geospasial. GeoTIFF yang Dioptimalkan Cloud khususnya akan mendapat banyak manfaat dari ini. Mengizinkan permintaan rentang benar-benar dapat mengurangi bandwidth yang dibutuhkan dari zenodo.
rabernat
pada 18 Sep 2020
Backend penyimpanan file kami saat ini tidak dioptimalkan untuk melayani permintaan rentang HTTP (artinya mengaktifkan fitur ini berpotensi menyebabkan pelambatan yang signifikan untuk API unggah/unduh file). Tentu saja, ada orang yang bekerja untuk mewujudkannya, meskipun kami tidak dapat memberikan ETA yang akurat tentangnya...
Banyak orang tidak dapat mengunduh file genetik berukuran besar (beberapa GB). misalnya,
https://github.com/zenodo/zenodo/issues/460#issuecomment -546623751
Beberapa harus mencoba lagi berkali-kali, dan itu sebenarnya membuang-buang bandwidth Anda...
zhanxw
pada 11 Okt 2020
Untuk proyek kami juga penting bahwa kami dapat menggunakan GeoTIFF yang Dioptimalkan Cloud (lihat misalnya https://zenodo.org/record/4483227) langsung dari Zenodo. Figshare ternyata bekerja dengan COG, zenodo tidak? Kami menulis tutorial untuk pengguna cara mendapatkan potongan kecil data menggunakan file COG .
thengl
pada 4 Feb 2021
Bisakah Anda mendukung ini?
Kami membutuhkannya untuk menyajikan file gambar besar (dalam format Zarr) dengan potongan, yang memungkinkan kami memvisualisasikan file di browser secara instan. Tidak mungkin bagi browser untuk mengunduh, misalnya, 10GB, file dan tampilan.
oeway
pada 25 Mar 2021
Hanya mencatat nilai untuk kasus penggunaan Zarr. Terima kasih semua untuk pekerjaan Anda di Zenodo!
jakirkham
pada 25 Mar 2021
Untuk Zarr, secara hipotetis kami dapat membuat zenodo bekerja hari ini, tanpa perubahan apa pun. Zenodo tidak mendukung direktori, tetapi jika kita dapat memetakan toko direktori zarr biasa ke semacam hierarki datar, melalui karakter khusus, kita dapat membuatnya berfungsi. Misalnya, jika karakter khusus adalah __
.zgroup
foo__.zarray
foo__.zattrs
foo__0.0
foo__0.1
dll.
rabernat
pada 25 Mar 2021
Bisakah Anda mengajukan masalah di sini ( https://github.com/zarr-developers/zarr-specs/issues )?
jakirkham
pada 25 Mar 2021
@rabernat Saya khawatir itu tidak akan diskalakan karena Zenodo hanya mengizinkan maksimal 100 file.
Batas ukuran file total per record adalah 50GB (maks 100 file). Kuota 100GB satu kali dapat diminta dan diberikan berdasarkan kasus per kasus.
oeway
pada 25 Mar 2021
Masalah terkait
lnielsen
·
6Komentar
bbarker
·
4Komentar
lnielsen
·
8Komentar
wkpalan
·
3Komentar
maurice-schleussinger
·
3Komentar
Komentar yang paling membantu
Saya hanya ingin menambahkan :+1: saya untuk menyatakan bahwa mengaktifkan permintaan rentang akan sangat berguna untuk format data geospasial. GeoTIFF yang Dioptimalkan Cloud khususnya akan mendapat banyak manfaat dari ini. Mengizinkan permintaan rentang benar-benar dapat mengurangi bandwidth yang dibutuhkan dari zenodo.