Restic: Backblaze B2 akhir yang tidak terduga dari input JSON

Saya memiliki kesalahan yang sama, tidak seburuk saat melakukan backup karena Anda bisa memulai kembali prosesnya, tetapi ketika melakukan prune itu fatal karena sepertinya prune tidak menyimpan progresnya.

Hei, terima kasih atas laporannya. Jika pencadangan gagal setiap saat, itu adalah kandidat yang bagus untuk melakukan penggalian dan mencari tahu apa yang terjadi di sini.

Silakan lakukan hal berikut:

• Instal Go (>=1.8), periksa repositori
• Kompilasi restic dengan debug: go run build.go -tags debug
• Jalankan cadangan lagi, dengan baris perintah ini:

$ DEBUG_FILES=debug/round_tripper_debug.go,b2/b2.go ./restic backup --force /mnt/backup/dump/ 2>/tmp/restic-debug.log

Kemudian hapus token otentikasi dari log debug dengan:

$ sed -i '/Authorization/d' /tmp/log
$ sed -i '/Key:' /tmp/log

Kemudian silakan lihat beberapa permintaan/tanggapan HTTP terakhir di log itu, mungkin tempel di suatu tempat.

ping @kurin

Saya memiliki masalah yang sama. Saya mencadangkan 17 TB. Dan ukuran ember tidak pernah melebihi 1 GB. Tapi butuh hampir dua jam untuk crash.

Jadi, mari kita lihat apa yang dikatakan log debug :)

Saya mendapatkan kesalahan ini juga. Saya membuat restic dari HEAD sekarang dan membuat versi debug seperti yang ditanyakan di atas. Saya baru menyadari bahwa beberapa kode digabungkan ke HEAD. Versi saya yang baru saja saya buat memiliki kode itu. Haruskah saya membangun 0,7.3 alih-alih HEAD dan memberikan file log dari itu?

debug/round_tripper_debug.go:90 debug.loggingRoundTripper.RoundTrip 41226 ------------ RESPON HTTP ----------
HTTP/1.1 200 Oke
Konten-Panjang: 485
Kontrol Cache: usia maksimal = 0, tanpa cache, tanpa penyimpanan
Tipe Konten: application/json;charset=UTF-8
Tanggal: Sabtu, 14 Okt 2017 11:30:13 GMT
Server: Apache-Coyote/1.1

b2/b2.go:233 b2.(*b2Backend).Simpan 41185 Simpan, beri nama eastwood2/data/47/47edf5c82227bcdc8e85c7174cdb4f1f61ec1f5845f4da0c4ee106fcf15b2de9
debug/round_tripper_debug.go:77 debug.loggingRoundTripper.RoundTrip 40832 ------------ PERMINTAAN HTTP -----------
DAPATKAN /file/FarmBrown/eastwood2/data/47/47edf5c82227bcdc8e85c7174cdb4f1f61ec1f5845f4da0c4ee106fcf15b2de9 HTTP/1.1
Tuan rumah: f001.backblazeb2.com
Agen-Pengguna: Go-http-client/1.1
Rentang: byte = 0-0
X-Blazer-Metode: b2_download_file_by_name
X-Blazer-Request-Id: 3829

debug/round_tripper_debug.go:90 debug.loggingRoundTripper.RoundTrip 41273 ------------ RESPON HTTP ----------
HTTP/1.1 200 Oke
Konten-Panjang: 485
Kontrol Cache: usia maksimal = 0, tanpa cache, tanpa penyimpanan
Tipe Konten: application/json;charset=UTF-8
Tanggal: Sabtu, 14 Okt 2017 11:30:13 GMT
Server: Apache-Coyote/1.1

b2/b2.go:233 b2.(*b2Backend).Simpan 41072 Simpan, nama eastwood2/data/5c/5ca314a68150097c5d45f15104a8b680a2a39ac1025bbb276b8ae953cb93786d
debug/round_tripper_debug.go:77 debug.loggingRoundTripper.RoundTrip 41433 ------------ PERMINTAAN HTTP -----------
DAPATKAN /file/FarmBrown/eastwood2/data/5c/5ca314a68150097c5d45f15104a8b680a2a39ac1025bbb276b8ae953cb93786d HTTP/1.1
Tuan rumah: f001.backblazeb2.com
Agen-Pengguna: Go-http-client/1.1
Rentang: byte = 0-0
X-Blazer-Metode: b2_download_file_by_name
X-Blazer-Request-Id: 3830

debug/round_tripper_debug.go:90 debug.loggingRoundTripper.RoundTrip 41357 ------------ RESPON HTTP ----------
HTTP/1.1 404 Tidak Ditemukan
Konten-Panjang: 178
Kontrol Cache: usia maksimal = 0, tanpa cache, tanpa penyimpanan
Tipe Konten: application/json;charset=UTF-8
Tanggal: Sabtu, 14 Okt 2017 11:30:13 GMT
Server: Apache-Coyote/1.1

b2/b2.go:244 b2.(*b2Backend).Simpan 41124 disimpan 4636805 byte, err
debug/round_tripper_debug.go:77 debug.loggingRoundTripper.RoundTrip 41438 ------------ PERMINTAAN HTTP -----------
POST /b2api/v1/b2_get_upload_url HTTP/1.1
Tuan rumah: api001.backblazeb2.com
Agen-Pengguna: blazer/0.1.1
Konten-Panjang: 39
X-Blazer-Metode: b2_get_upload_url
X-Blazer-Request-Id: 3831
Terima-Encoding: gzip

debug/round_tripper_debug.go:90 debug.loggingRoundTripper.RoundTrip 41438 ------------ RESPON HTTP ----------
Layanan HTTP/1.1 503 Tidak Tersedia
Koneksi: tutup
Transfer-Encoding: chunked
Tanggal: Sabtu, 14 Okt 2017 11:30:14 GMT
Server: Apache-Coyote/1.1

b2/b2.go:233 b2.(*b2Backend).Simpan 40826 Simpan, nama eastwood2/data/41/412995df985cd194619695277f956069d50eadaf61d86d7780499314209f1c1c
panik: Tutup: akhir input JSON yang tidak terduga

goroutine 41124 [berjalan]:
github.com/restic/restic/internal/archiver.( Archiver).saveChunk(0xc4203854a0, 0xec3400, 0xc420014418, 0x633cd9, 0xbf39a, 0x0, 0xc4226fc000, 0xbf39a, 0x13a000, 0xc4204fa000, ...)4204fa000src/github.com/restic/restic/internal/archiver/archiver.go:166 +0x43adibuat oleh github.com/restic/restic/internal/archiver.( Archiver).SaveFile
src/github.com/restic/restic/internal/archiver/archiver.go:240 +0x3bf

Bagaimana itu?

Ha, terima kasih banyak.

@kurin bisakah kamu melihatnya? Saya pikir akan lebih baik untuk mengembalikan kesalahan tentang kode status 503, daripada kesalahan JSON. Apa pendapat Anda tentang itu?

Bisakah kode mencoba lagi beberapa kali sebelum menyerah?

https://www.backblaze.com/b2/docs/integration_checklist.html

Halaman ini mengatakan unggahan harus dicoba lagi jika ada 503.

Cabang master saat ini akan melakukan itu, pada tingkat yang berbeda. Saya pikir itu ide yang baik untuk menambahkan ini ke perpustakaan (https://github.com/kurin/blazer) yang kami gunakan untuk mengakses B2.

Kami memiliki masalah serupa yang sekarang diselesaikan dengan #1533. 👍

@jalainis Ah, senang mendengarnya! Apakah itu bekerja dengan baik? Apakah Anda suka pesan restic prints?

Karena saya tidak sering mengalami kesalahan ini, saya harus membuat backend yang secara acak memasukkan kesalahan untuk mengujinya, tetapi saya belum pernah melihatnya secara langsung.

Saya tidak dapat melihat pesan baru tentang percobaan ulang (mirip dengan pemeriksaan dan pemangkasan):

restic-master -r indeks pembangunan kembali $B2_REPO
kata sandi benar
menghitung file dalam repo
[19:48] 100,00% 2683 / 2683 bungkus
menemukan file indeks lama
menyimpan indeks baru sebagai 3e556787
hapus 11 file indeks lama

Kesalahan acak "kesalahan saat menyimpan data ke repo: ujung input JSON yang tidak terduga" baru saja hilang. Jadi tampaknya bekerja dengan baik. Secara umum saya suka pesan restic prints. 😉

Menurut Daftar Periksa Integrasi yang disebutkan di atas ada tajuk _X-Bz-Test-Mode: fail_some_uploads_ yang dapat digunakan untuk menguji backend. Blazer tampaknya mendukung ini sebagai opsi klien .

Hanya mencoba ini. Anda bertanya tentang pesan kesalahan, dan saya mendapatkan:

Stat(<data/0acebc06f0>) returned error, retrying after 590.650684ms: Stat: unexpected end of JSON input

Saya tidak suka bahwa "akhir JSON yang tidak terduga" masih ada, karena memberi kesan ada sesuatu yang "rusak", padahal sebenarnya percobaan ulang tampaknya berhasil. Saya berasumsi Anda hanya melaporkan kesalahan mendasar (tidak sepenuhnya akurat?) dari blazer yang belum menangani 503?

Saya juga perhatikan baru-baru ini restic mulai mencetak "kata sandi benar" ... apakah itu disengaja?

Terima kasih atas pesannya, itulah yang saya harapkan. Kami mendapatkan kesalahan dari pustaka yang mendasarinya (blazer), saya telah menyarankan di atas untuk meningkatkan pesan (atau bahkan coba lagi permintaannya).

Pesan "kata sandi benar" dicetak ketika stdout adalah terminal, ini ditambahkan baru-baru ini di #1324, sudah lama diminta di #438 untuk memberikan umpan balik kepada pengguna.

Sedikit lebih banyak umpan balik. Selama rebuild-index Saya memiliki yang berikut ini sejauh ini (masih berjalan):

counting files in repo
Stat(<data/0acebc06f0>) returned error, retrying after 590.650684ms: Stat: unexpected end of JSON input
Stat(<data/123b5d685e>) returned error, retrying after 628.005782ms: Stat: unexpected end of JSON input
Stat(<data/470010daf5>) returned error, retrying after 712.343092ms: Stat: unexpected end of JSON input
Stat(<data/470718d2cf>) returned error, retrying after 291.116455ms: Stat: unexpected end of JSON input
pack file cannot be listed 4db5bcc9: ReadAt: ReadFull(<data/4db5bcc958>): unexpected end of JSON input
Stat(<data/6205fb65bd>) returned error, retrying after 343.112469ms: Stat: unexpected end of JSON input
pack file cannot be listed 8a331fe4: ReadAt: ReadFull(<data/8a331fe4c0>): unexpected end of JSON input

Saya tidak tahu dari pesan apakah pesan "file paket tidak dapat dicantumkan" itu berarti percobaan ulang telah habis dan panggilan akhirnya gagal, atau apakah berhasil di beberapa titik.

Secara anekdot, saya telah melihat lebih banyak kesalahan B2 JSON sejak saya mulai menggunakan --limit-upload 128 . Tidak yakin benar-benar ada sebab-akibat di sini, hanya pengamatan.

blazer harus secara otomatis mencoba ulang pada 503, alih-alih memunculkannya ke klien. Biarkan aku mengejar ini.

Bisakah beberapa dari Anda menguji cabang restic update-blazer ? Saya telah mendorong cabang utama github.com/kurin/blazer yang disiapkan @kurin . Terima kasih!

Saya tidak tahu pasti apakah ini benar-benar akan memperbaikinya, karena saya tidak dapat mereproduksi ini sama sekali, tetapi saya curiga ini adalah sumber kesalahannya.

Saya masih memiliki masalah saat menjalankan restic check di ember b2 saya. Tetapi saya
tidak punya waktu untuk membangun restic. Bisakah seseorang memposting yang sudah dikompilasi sebelumnya? Saya
perlu amd 64. Beta yang telah dikompilasi telah dikirim oleh Tuhan.

Terima kasih
Dekan

Pada 16 Oktober 2017 18:51, "Toby Burress" [email protected] menulis:

Saya tidak tahu pasti apakah ini akan benar-benar memperbaikinya, karena saya tidak bisa
mereproduksi ini di pihak saya sama sekali, tetapi saya curiga ini adalah sumbernya
kesalahan.

—
Anda menerima ini karena Anda berlangganan utas ini.
Balas email ini secara langsung, lihat di GitHub
https://github.com/restic/restic/issues/1351#issuecomment-336969554 , atau bisu
benang
https://github.com/notifications/unsubscribe-auth/AGB9ONwPIlGHAJssycJsX81e3mEUr8cNks5ss5ekgaJpZM4P4PMo
.

Saya sedang menguji cabang pembaruan-blazer sekarang. Saya ~35% menjadi rebuild-index dan sejauh ini tidak ada kesalahan atau percobaan ulang level restic.

Jika Anda dapat mereproduksi ini dengan andal, saya ingin mendapatkan permintaan dan terutama respons dari kegagalan. Saya menjalankan indeks-ulang dalam satu lingkaran dengan kode sebelum "perbaikan" tetapi tidak memiliki banyak keberuntungan menghasilkan kesalahan.

Hai Toby, jika Anda bisa memberi saya versi kompilasi, saya bisa mengujinya di pagi hari.

Pada 16 Oktober 2017 22:27, "Toby Burress" [email protected] menulis:

Jika Anda dapat mereproduksi ini dengan andal, saya ingin mendapatkan permintaan dan
terutama respon dari lari yang gagal. Saya menjalankan indeks-ulang dalam satu lingkaran
dengan kode sebelum "memperbaiki" tetapi tidak memiliki banyak keberuntungan untuk menghasilkan
kesalahan.

—
Anda menerima ini karena Anda berkomentar.
Balas email ini secara langsung, lihat di GitHub
https://github.com/restic/restic/issues/1351#issuecomment-337048779 , atau bisu
benang
https://github.com/notifications/unsubscribe-auth/AGB9OJYVLpN0Zac-eoHZuFTpZvD9_F1Gks5ss8pPgaJpZM4P4PMo
.

Melaporkan kembali. rebuild-index selesai dengan baik (tidak ada kesalahan JSON atau mencoba lagi), tetapi pemangkasan berikutnya gagal dengan batas waktu. Tidak begitu yakin itu masalah yang sama atau tidak:

restic -r b2:mybucket:restic prune --limit-upload 150
password is correct
counting files in repo
building new index for repo
[3:40:03] 100.00%  33418 / 33418 packs
repository contains 33418 packs (882153 blobs) with 157.582 GiB
processed 882153 blobs: 3 duplicate blobs, 4.572 MiB duplicate
load all snapshots
find data that is still in use for 7 snapshots
[2:00] 100.00%  7 / 7 snapshots
found 819017 of 882153 data blobs still in use, removing 63136 blobs
will remove 0 invalid files
will delete 156 packs and rewrite 162 packs, this frees 1.282 GiB
net/http: TLS handshake timeoutewritten
Copy
github.com/restic/restic/internal/repository.Repack
    src/github.com/restic/restic/internal/repository/repack.go:43
main.pruneRepository
    src/github.com/restic/restic/cmd/restic/cmd_prune.go:274
main.runPrune
    src/github.com/restic/restic/cmd/restic/cmd_prune.go:85
main.glob..func14
    src/github.com/restic/restic/cmd/restic/cmd_prune.go:25
github.com/restic/restic/vendor/github.com/spf13/cobra.(*Command).execute
    src/github.com/restic/restic/vendor/github.com/spf13/cobra/command.go:650
github.com/restic/restic/vendor/github.com/spf13/cobra.(*Command).ExecuteC
    src/github.com/restic/restic/vendor/github.com/spf13/cobra/command.go:729
github.com/restic/restic/vendor/github.com/spf13/cobra.(*Command).Execute
    src/github.com/restic/restic/vendor/github.com/spf13/cobra/command.go:688
main.main
    src/github.com/restic/restic/cmd/restic/main.go:69
runtime.main
    /usr/local/go/src/runtime/proc.go:185
runtime.goexit
    /usr/local/go/src/runtime/asm_amd64.s:2337

net/http: TLS handshake timeout

Uh ya saya pikir blazer seharusnya menangani itu. Bahkan jika itu tidak ada dalam daftar periksa, kedengarannya bisa dicoba lagi.

FYI untuk semua orang yang menggunakan master terbaru dengan logika coba lagi: Saya telah menemukan bug, data yang tidak lengkap dapat disimpan ke backend ketika terjadi kesalahan dan sebagian file sudah dikirim ke backend, itu akan diperbaiki di https:/ /github.com/restic/restic/pull/1362. restic check --read-data akan mendeteksi ini, serta menjalankan sha256sum pada data repo.

FYI penulisan yang tidak lengkap ke B2 tidak pergi ke mana pun kecuali Anda menggunakan API file besar, dan penulisan restic tidak pernah cukup besar untuk memicu itu.

Bugnya adalah percobaan ulang berikutnya untuk Save() hanya akan membaca data yang tersisa dari pembaca di API backend kami, yang mungkin tidak lengkap. PR menambahkan kode untuk memundurkan pembaca setiap kali sebelum Save() di backend dipanggil.

Saya telah mengunggah 300+GB ke B2, apakah lebih aman bagi saya untuk memulai lagi sekali
bug ini diperbaiki? membaca ulang semua data mungkin akan menghabiskan banyak biaya
Biaya B2 dibandingkan dengan unggah ulang?

Pada 17 Oktober 2017 pukul 21:23, Alexander Neumann [email protected]
menulis:

Bugnya adalah percobaan ulang berikutnya untuk Save() hanya akan membaca sisanya
data dari pembaca, yang mungkin tidak lengkap.

—
Anda menerima ini karena Anda berkomentar.
Balas email ini secara langsung, lihat di GitHub
https://github.com/restic/restic/issues/1351#issuecomment-337358958 , atau bisu
benang
https://github.com/notifications/unsubscribe-auth/AGB9OP_pBIgnj-eaD11fel1Ffir6CKr3ks5stQzGgaJpZM4P4PMo
.

@deanroker123 kapan Anda mengunggah semua data itu? Kode yang dimaksud hanya aktif antara 14 Oktober dan hari ini, jadi Anda hanya perlu memeriksa file yang diunggah sejak saat itu. Dan itu tidak pernah menjadi bagian dari versi restic yang dirilis. Mungkin Anda dapat menggunakan rclone atau sistem file fuse hanya untuk mengunduh dan memeriksa file dengan sha256sum yang telah dibuat sejak 14 Oktober. Silakan laporkan kembali ketika Anda melakukan itu, saya sangat tertarik jika masalah ini terjadi dalam praktik sama sekali.

Jika Anda tidak ingin mengunduh semua data itu lagi, memulai dari awal pasti adalah cara untuk menghindarinya.

Saya akan memikirkan bagaimana kami dapat mendeteksi file yang diunggah tidak lengkap yang kehilangan banyak data di awal (tetapi memiliki header yang valid di akhir file) tanpa mengunduhnya.

Jadi setelah mendapatkan tagihan kesehatan yang bersih dari restic check --read-data semalam, saya menjalankan pemangkasan. Selesai dengan sukses:

$ restic version
restic 0.7.3 (v0.7.3-180-g7507a658)
compiled with go1.9.1 on darwin/amd64

$ restic -r b2:mybucket:restic prune -o b2.connections=10 --limit-upload 175
password is correct
counting files in repo
building new index for repo
[1:33:38] 100.00%  33267 / 33267 packs
repository contains 33267 packs (846905 blobs) with 156.808 GiB
processed 846905 blobs: 0 duplicate blobs, 0B duplicate
load all snapshots
find data that is still in use for 8 snapshots
[1:52] 100.00%  8 / 8 snapshots
found 846905 of 846905 data blobs still in use, removing 0 blobs
will remove 0 invalid files
will delete 0 packs and rewrite 0 packs, this frees 0B
counting files in repo
[1:27:38] 100.00%  33267 / 33267 packs
finding old index files
saved new index as 1e32b669
remove 10 old index files
done

Hanya untuk iseng, saya mencoba cek lain, tetapi tanpa --read-data dan saya mendapatkan kesalahan JSON lagi:

$ restic -r b2:mybucket:restic check -o b2.connections=10 --limit-upload 175
password is correct
Create exclusive lock for repository
Load indexes
Check all packs
Check snapshots, trees and blobs
error for tree 59d18a1f:
  ReadFull(<data/dd4f64c172>): unexpected end of JSON input
error for tree e5d5162a:
  ReadFull(<data/dd4f64c172>): unexpected end of JSON input
error for tree bbf98641:
  ReadFull(<data/dd4f64c172>): unexpected end of JSON input
  Interrupt received, cleaning up

Perhatikan bahwa ini adalah v0.7.3-180-g7507a658 , yang saya yakini memiliki logika coba ulang setidaknya pada level istirahat, mungkin juga di Blazer.

Apakah ini 503 sementara atau masalah serupa yang gagal kami tangkap, atau apakah pemangkasan diam-diam merusak sesuatu?

Saya mencoba memeriksa file bermasalah itu menggunakan restic cat blob dd4f64c172 tetapi terus mendapatkan unable to parse ID: invalid length for hash ... jelas saya melakukan sesuatu yang salah. File jarak jauh memang ada, dan berukuran ~5.7MB.

Mungkin masih Blazer. Apakah Anda memiliki log debug untuk menjalankan itu?

Tidak, saya tidak memiliki log debug, maaf. Saya akan menangkap satu sore ini. Menariknya, saya menjalankannya lagi dalam semalam (kali ini tanpa batasan bandwidth) dan berhasil tanpa kesalahan.

restic -r b2:mybucket:restic check 
password is correct
Create exclusive lock for repository
Load indexes
Check all packs
Check snapshots, trees and blobs
No errors were found

Jadi sepertinya ini menunjukkan bug sementara lainnya.

Juga, untuk mengonfirmasi, ini terjadi dengan blazer v0.2.1 ditambal ke restic v0.7.3?

Ini dengan restic 0.7.3, dibangun dari master 7507a658ac529a49560b4f0e5570ae900de2ce61 , menggunakan versi Blazer yang disertakan dalam vendor.

Menjalankannya lagi sekarang dengan debug diaktifkan.

Oooh, oke, itu masih ada blazer versi lama.

Saya telah memperbarui cabang dan akan menggabungkan blazer 0.2.1 segera setelah tes integrasi lulus.

Silakan tinggalkan komentar jika Anda mengalami masalah ini lagi dengan versi restic v0.7.3-187-g6a52bb6f atau yang lebih baru, terima kasih!

FYI, versi beta akan muncul di sini dalam beberapa menit: https://beta.restic.net/v0.7.3-187-g6a52bb6f/

Hanya menindaklanjuti- Saya tidak dapat menghasilkan masalah B2 lagi sejak memutakhirkan ke v0.7.3-193-ga3f8e9df . Saya menjalankan check beberapa kali pada repo besar (pada dasarnya hanya menjalankannya sepanjang hari) dan tidak bisa mendapatkan satu pun kegagalan. 👍

Terima kasih untuk umpan baliknya!

@ fd0 Saya telah menggunakan rclone untuk memasang file repo dan mencari yang dimodifikasi sejak tanggal 14, karena masalah pemeriksaan, saya tidak berpikir saya telah menjalankan cadangan penuh. jadi satu-satunya yang dimodifikasi adalah file indeks. Saya akan mengunduh versi yang disebutkan oleh @armhold dan mencobanya lagi.