Restic: Cadangan sistem file SSHFS yang sangat lambat -- perlu kemampuan untuk melewati perbandingan berbasis inode

Dibuat pada 19 Feb 2018  ·  4Komentar  ·  Sumber: restic/restic

Keluaran restic version

istirahat 0.8.2

Bagaimana tepatnya Anda menjalankan restic?

% restic -r /tmp/restictest backup $SSHFSMOUNT/directory

Direktori cadangan adalah sistem file yang dipasang sshfs.
Perintah dijalankan beberapa kali untuk melakukan beberapa snapshot.
Dalam kasus saya, ada sejumlah besar data (1TB+) di direktori jarak jauh.

Backend/server/layanan apa yang Anda gunakan untuk menyimpan repositori?

Sistem file ext4 lokal.

Perilaku yang diharapkan

Saya berharap pencadangan pertama lambat dan mentransfer banyak data melalui LAN, sedangkan pencadangan berikutnya harus cukup cepat dan tidak menggunakan banyak bandwidth.

Perilaku sebenarnya

Semua pencadangan membutuhkan waktu berjam-jam (jika bukan berhari-hari) meskipun tidak ada file yang berubah.

Langkah-langkah untuk mereproduksi perilaku

  • menjalankan cadangan
  • lepaskan sistem file sshfs
  • pasang kembali sistem file sshfs
  • jalankan cadangan baru

Ini tidak 100% dapat direproduksi tetapi bahkan dengan sejumlah kecil data saya dapat mereproduksinya.

Log server SFTP menunjukkan bahwa file sepenuhnya diambil bahkan ketika mereka tidak berubah.

Apakah Anda tahu apa yang mungkin menyebabkan ini?

Ya: restic membandingkan inode untuk memeriksa ulang apakah file telah dimodifikasi (pesan debug "stempel waktu, ukuran atau inode diubah", restic/node.go:551restic.(*Node).IsNewer11node ).

Namun, inode mungkin berubah di seluruh mount sistem file dengan sshfs (dan mungkin beberapa sistem file lain).

Apakah Anda punya ide bagaimana memecahkan masalah?

Mengomentari pemeriksaan inode memecahkan masalah bagi saya.

Saya ingin memiliki cara untuk menonaktifkan pemeriksaan ini; mungkin bendera baris perintah?

Apakah restic membantu Anda atau membuat Anda bahagia dengan cara apa pun?

Tentu, ini adalah perangkat lunak yang bagus! Saya semakin senang karena saya telah menemukan solusi...
Pertahankan kerja bagus!

feature enhancement

Komentar yang paling membantu

Terima kasih atas laporannya, ini memang disebabkan oleh restic mendeteksi bahwa file telah berubah berdasarkan inode. Untuk sistem file berbasis fuse, pemeriksaan ini tidak bagus, sebaiknya kita hanya memeriksa stempel waktu dan ukuran file.

Pada prinsipnya ini juga dapat dideteksi secara otomatis (dengan melihat nama sistem file, dan menyimpan daftar hitam sistem file know-inode-unstable) sehingga kita bahkan mungkin tidak memerlukan flag baris perintah.

Semua 4 komentar

Terima kasih atas laporannya, ini memang disebabkan oleh restic mendeteksi bahwa file telah berubah berdasarkan inode. Untuk sistem file berbasis fuse, pemeriksaan ini tidak bagus, sebaiknya kita hanya memeriksa stempel waktu dan ukuran file.

Pada prinsipnya ini juga dapat dideteksi secara otomatis (dengan melihat nama sistem file, dan menyimpan daftar hitam sistem file know-inode-unstable) sehingga kita bahkan mungkin tidak memerlukan flag baris perintah.

Pada prinsipnya ini juga dapat dideteksi secara otomatis (dengan melihat nama sistem file, dan menyimpan daftar hitam sistem file know-inode-unstable) sehingga kita bahkan mungkin tidak memerlukan flag baris perintah.

Bagaimana Anda membayangkan ini? Aku bisa mencobanya...

2205 digabungkan dan berada di 0.9.5 , ini harus ditutup. :mengedip:

Anda benar, terima kasih atas petunjuknya!

Apakah halaman ini membantu?
0 / 5 - 0 peringkat