Zenodo: Soporte de "solicitud de rango de bytes HTTP / 1.1" en la recuperación de archivos

Creado en 9 sept. 2018 · 10Comentarios · Fuente: zenodo/zenodo

Tengo una solicitud de función en zenodo: ¿puede el servidor zenodo admitir la solicitud de rango de bytes HTTP / 1.1 https://tools.ietf.org/html/rfc7233 ?

La plataforma Zenodo ya es increíble, y su compatibilidad con la solicitud de rango de bytes aumentará aún más el valor de los datos depositados, ya que algunas aplicaciones se han basado en la solicitud de rango de bytes, en particular cuando se trata de archivos grandes.

Me gustaría agregar un ejemplo sobre cómo funciona la solicitud de rango de bytes, para aclarar mi punto. Por ejemplo, github (raw.githubusercontent.com) admite la solicitud de rango de bytes como se muestra a continuación:

###
### The entire part of the README file is retrieved, and processed locally
###
$ curl  https://raw.githubusercontent.com/zenodo/zenodo/master/README.rst |head -5 | tail -1
    Zenodo is free software; you can redistribute it

###
### Only the specified bytes specified in the file is retrieved, which does not require local processing
###
$ curl -H "range: bytes=72-125"  https://raw.githubusercontent.com/zenodo/zenodo/master/README.rst 
    Zenodo is free software; you can redistribute it

Sin embargo, la solicitud de rango de bytes se ignora en zenodo.org

###
### the entire part of the file is retrieved
###
$ curl   https://zenodo.org/record/1407145/files/DOI_Test.txt
This is a test of the Zenodo DOI functionality for GitLab. 

###
### Only small bytes are requested, but the entire part is retrieved
###
$ curl -H "range: bytes=6-7"  https://zenodo.org/record/1407145/files/DOI_Test.txt
This is a test of the Zenodo DOI functionality for GitLab.

Enhancement Needs investigation Accepted

Fuente

hkawaji

👍11

Comentario más útil

Solo quería agregar mi: +1: para indicar que habilitar las solicitudes de rango sería muy útil para los formatos de datos geoespaciales. GeoTIFF optimizado en la

rabernat en 18 sept. 2020

👍11

Todos 10 comentarios

Apoyaré esto. Sería muy útil, por ejemplo, para acceder directamente a los conjuntos de datos genómicos con tabix . Parece requerir un cambio de configuración en la configuración del servidor web de zenodo 'max_ranges' a un número positivo.

¿Existe alguna razón técnica para no hacer eso?

kpalin en 31 ene. 2019

Nuestro backend de almacenamiento de archivos en este momento no está optimizado para atender solicitudes de rango HTTP (lo que significa que habilitar esta función podría provocar una ralentización significativa de la API de carga / descarga de archivos). Por supuesto, hay gente trabajando para hacerlo posible, aunque no podemos dar una ETA precisa al respecto ...

slint en 31 ene. 2019

Solo quería agregar mi: +1: para indicar que habilitar las solicitudes de rango sería muy útil para los formatos de datos geoespaciales. GeoTIFF optimizado en la

rabernat en 18 sept. 2020

👍11

Nuestro backend de almacenamiento de archivos en este momento no está optimizado para atender solicitudes de rango HTTP (lo que significa que habilitar esta función podría provocar una ralentización significativa de la API de carga / descarga de archivos). Por supuesto, hay gente trabajando para hacerlo posible, aunque no podemos dar una ETA precisa al respecto ...

Muchas personas no pueden descargar archivos genéticos grandes (varios GB). p.ej,
https://github.com/zenodo/zenodo/issues/460#issuecomment -546623751

Algunos tienen que volver a intentarlo muchas veces, y eso en realidad está desperdiciando su ancho de banda ...

zhanxw en 11 oct. 2020

Para nuestro proyecto, también es importante que podamos utilizar GeoTIFF optimizados para la nube (consulte, por ejemplo, https://zenodo.org/record/4483227) directamente desde Zenodo. Figshare aparentemente funciona con COG, ¿zenodo no? Escribimos un tutorial para los usuarios sobre cómo obtener pequeños fragmentos de datos utilizando archivos COG .

thengl en 4 feb. 2021

¿Podrías apoyar esto?

Lo necesitamos para servir archivos de imagen grandes (en formato Zarr) por trozos, lo que nos permite visualizar los archivos en el navegador al instante. No será posible que el navegador descargue el archivo y la pantalla, por ejemplo, de 10 GB.

oeway en 25 mar. 2021

👍6

Solo notando el valor para el caso de uso de Zarr. ¡Gracias a todos por su trabajo en Zenodo!

jakirkham en 25 mar. 2021

Para Zarr, hipotéticamente podríamos hacer que zenodo funcione hoy, sin ningún cambio. Zenodo no es compatible con directorios, pero si pudiéramos asignar un almacén de directorios zarr normal a algún tipo de jerarquía plana, a través de un carácter especial, podríamos hacerlo funcionar. Por ejemplo, si el carácter especial es __

.zgroup
foo__.zarray
foo__.zattrs
foo__0.0
foo__0.1

etc.

rabernat en 25 mar. 2021

¿Podría plantear un problema aquí (https://github.com/zarr-developers/zarr-specs/issues)?

jakirkham en 25 mar. 2021

@rabernat Me temo que no se escalará porque Zenodo solo permite 100 archivos como máximo.

El límite de tamaño total de archivos por registro es de 50 GB (máximo 100 archivos). Se puede solicitar y conceder una cuota única de 100 GB según el caso.

fuente: https://www.openaire.eu/technical-requirements

oeway en 25 mar. 2021

¿Fue útil esta página

0 / 5 - 0 calificaciones