Restic: Lambat, meskipun hanya memeriksa stempel waktu
Saya memiliki 164809 file untuk dicadangkan secara teratur (sekitar 60GB)... Setiap kali saya menjalankan "pencadangan sisa", laporan tidak melebihi 33MB/dtk dan memeriksa dengan strace hanya melakukan panggilan lstat().
Ini membuat sekitar 20 menit per cadangan. Saya ingin tahu apa yang dilakukan restic, karena hampir semua file tidak dimodifikasi, ini menunjukkan 33MB/s yang stabil dan saya mengerti bahwa itu hanya perlu lstat() mereka, itulah yang sudah dilakukan restic pada langkah pertama pencadangan hanya untuk menunjukkan ukuran total, dalam 6 atau 7 detik.
Apakah hanya waktu cpu yang dihabiskan untuk memeriksa konten untuk file/cap waktu yang sama sudah ada di snapshot sebelumnya yang restic?
viric
Semua 5 komentar
Saat ini, metadata untuk file dan direktori tidak di-cache, tetapi dimuat (dan didekripsi) dari repositori. Ini dilakukan sekali per direktori. Saya berencana untuk men-cache metadata secara lokal, yang belum diterapkan tetapi harus banyak mempercepat pencadangan "tambahan".
fd0
pada 19 Feb 2016
Hai
Mungkinkah ini juga menyebabkan kinerja yang buruk untuk pencadangan tambahan melalui koneksi WAN yang lambat?
Saya baru saja mencadangkan folder dengan lebih dari 9000 file dan 250MB ke server s3 jarak jauh. Kedua komputer terhubung dengan koneksi internet asimetris 50/5 mbit/s ke bawah dan ke atas.
Pencadangan awal memakan waktu sekitar 5 menit dan tampaknya cukup masuk akal. Tetapi pencadangan kedua tidak lama setelah itu memakan waktu hampir dua kali lebih lama! Folder dengan lebih sedikit file tampaknya jauh lebih cepat.
Kidswiss
pada 13 Agu 2016
Ya, ini kemungkinan besar akan menjadi alasannya. Untuk kasus penggunaan khusus ini ada solusi: gunakan opsi -f ( --force ) untuk perintah backup , yang akan membaca semua file secara lokal lagi dan tidak memuat metadata dari repo . Itu harus cepat.
fd0
pada 13 Agu 2016
Terima kasih banyak! Bekerja seperti pesona!
Kidswiss
pada 13 Agu 2016
Kami telah menambahkan cache metadata lokal (lihat #1040) di cabang master, saya pikir masalah ini telah teratasi dan oleh karena itu saya menutupnya. Terima kasih!
fd0
pada 26 Sep 2017
Masalah terkait
kontakm
·
4Komentar
cfbao
·
3Komentar
axllent
·
4Komentar
fd0
·
3Komentar
TheLastProject
·
3Komentar
Komentar yang paling membantu
Ya, ini kemungkinan besar akan menjadi alasannya. Untuk kasus penggunaan khusus ini ada solusi: gunakan opsi
-f(--force) untuk perintahbackup, yang akan membaca semua file secara lokal lagi dan tidak memuat metadata dari repo . Itu harus cepat.