Restic: Copia de seguridad muy lenta de sistemas de archivos SSHFS: se necesita la capacidad de omitir la comparación basada en inodos

Creado en 19 feb. 2018  ·  4Comentarios  ·  Fuente: restic/restic

Salida de restic version

restic 0.8.2

¿Cómo corriste restic exactamente?

% restic -r /tmp/restictest backup $SSHFSMOUNT/directory

El directorio de respaldo es un sistema de archivos montado en sshfs.
El comando se ejecuta varias veces para realizar varias instantáneas.
En mi caso, hay una gran cantidad de datos (1TB +) en el directorio remoto.

¿Qué backend / servidor / servicio usaste para almacenar el repositorio?

Sistema de archivos local ext4.

Comportamiento esperado

Espero que la primera copia de seguridad sea lenta y transfiera muchos datos a través de LAN, mientras que las próximas copias de seguridad deberían ser bastante rápidas y no deberían utilizar mucho ancho de banda.

Comportamiento real

Todas las copias de seguridad tardan horas (si no días) incluso si ningún archivo ha cambiado.

Pasos para reproducir el comportamiento.

  • ejecutar una copia de seguridad
  • desmontar el sistema de archivos sshfs
  • volver a montar el sistema de archivos sshfs
  • ejecutar una nueva copia de seguridad

No es 100% reproducible, pero incluso con una pequeña cantidad de datos podría reproducirlo.

Los registros del servidor SFTP muestran que los archivos se recuperan por completo incluso cuando no cambiaron.

¿Tiene alguna idea de qué pudo haber causado esto?

Sí: restic compara los inodos para verificar si los archivos han sido modificados (mensaje de depuración "marca de tiempo, tamaño o inodo cambiado", restic/node.go:551restic.(*Node).IsNewer11node ).

Sin embargo, los inodos pueden cambiar en los montajes del sistema de archivos con sshfs (y probablemente algunos otros sistemas de archivos).

¿Tiene una idea de cómo solucionar el problema?

Comentar la verificación de inodo resolvió el problema por mí.

Me gustaría tener una forma de deshabilitar esta verificación; tal vez una bandera de línea de comandos?

¿Restic te ayudó o te hizo feliz de alguna manera?

¡Claro, es un buen software! Estoy aún más satisfecho desde que encontré una solución ...
¡Sigan con el buen trabajo!

feature enhancement

Comentario más útil

Gracias por el informe, esto de hecho se debe a que restic detecta que los archivos han cambiado según el inodo. Para los sistemas de archivos basados ​​en fusibles, esta verificación no es excelente, en su lugar, solo debemos verificar las marcas de tiempo y el tamaño del archivo.

En principio, esto también podría detectarse automáticamente (mirando el nombre del sistema de archivos y manteniendo una lista negra de sistemas de archivos inestables de inodo conocido), por lo que es posible que ni siquiera necesitemos un indicador de línea de comandos.

Todos 4 comentarios

Gracias por el informe, esto de hecho se debe a que restic detecta que los archivos han cambiado según el inodo. Para los sistemas de archivos basados ​​en fusibles, esta verificación no es excelente, en su lugar, solo debemos verificar las marcas de tiempo y el tamaño del archivo.

En principio, esto también podría detectarse automáticamente (mirando el nombre del sistema de archivos y manteniendo una lista negra de sistemas de archivos inestables de inodo conocido), por lo que es posible que ni siquiera necesitemos un indicador de línea de comandos.

En principio, esto también podría detectarse automáticamente (mirando el nombre del sistema de archivos y manteniendo una lista negra de sistemas de archivos inestables de inodo conocido), por lo que es posible que ni siquiera necesitemos un indicador de línea de comandos.

¿Cómo imagina esto? Podría intentarlo ...

2205 se fusionó y está en 0.9.5 , esto debería cerrarse. :guiño:

Tienes razón, ¡gracias por la pista!

¿Fue útil esta página
0 / 5 - 0 calificaciones

Temas relacionados

kontakm picture kontakm  ·  4Comentarios

shibumi picture shibumi  ·  3Comentarios

RafaelAybar picture RafaelAybar  ·  3Comentarios

reallinfo picture reallinfo  ·  4Comentarios

fd0 picture fd0  ·  4Comentarios