Restic: 모든 데이터를 다른 저장소에 복사하는 명령 추가

이것은 한 저장소(A)에서 새 저장소(B)로의 일회성 사본을 처리하기 위한 것입니까? 아니면 마지막 동기화 이후 (A)와 (B) 간에 변경된 콘텐츠의 "동기화" 또는 업데이트를 수행하여 보다 일반적이라는 의미입니까?

현재 이것은 사용자가 다른 위치 또는 새 마스터 키로 다른 저장소로 마이그레이션할 수 있도록 일회성 복사만 처리하기 위한 것입니다.

느린 인터넷 연결을 감안할 때 가능한 한 효율적으로 s3 및 다른 위치에 백업할 수 있기를 바랍니다.

@witeshadow 데이터가 마스터 A'로 repo A에서 암호화되고 다른 마스터키 B로 repo B에 암호화해야 하기 때문에 어떻게 효율적으로 수행할 수 있는지 잘 모르겠습니다. 우리는 모든 데이터를 읽고 A`로 복호화하고 B`로 암호화하고 기록해야 합니다. 느린 대역폭에 대해 이를 최적화할 방법이 없습니다. 아프겠다...

내가 생각할 수있는 유일한 최적화는 호스트, 경로 및 태그 필터를 사용하여 소스 저장소 A에 대한 선택 기준을 갖는 것이므로 모두 복사할 필요가 없습니다. 그러나 이는 사용 사례에 따라 다릅니다.

@fd0 이 기능 요청에 대한 투표를 추가하고 싶었습니다. 내가 할 수 있는 일이 있습니까?

당신은 그것을 구현할 수 있습니다 ... 기능 자체는 어렵지 않습니다. 두 개의 백엔드를 구성하는 것은 어려운 일입니다. 우리는 둘 이상의 백엔드 액세스를 지원하지 않습니다(예: $B2_ACCOUNT_ID 하나만 있음)... 그래서 이 기능은 적절한 구성 파일에 의존한다고 생각합니다(#16 참조).

A와 B라는 두 개의 저장소가 있고 A->B를 동기화하여 프로세스가 완료된 후 B에 있는 Blob(및 스냅샷) 집합이 A에 있는 Blob 집합의 상위 집합이 되도록 한다고 가정해 보겠습니다. .

따라서 두 저장소를 모두 열고 각각에 대한 색인 파일을 로드합니다. 그런 다음 각 얼룩이 B에도 포함되어 있는지 확인하는 각 얼룩에 대해 A의 인덱스를 반복합니다. 이것이 사실이면 다음으로 이동합니다. 거짓이면 다운로드, 복호화, 암호화하여 B에 업로드한다.

마지막은 스냅샷 파일을 복사하는 것입니다. A의 각 스냅샷 파일에 대해 파일을 해독하고 B에 대해 다시 암호화하고 거기에 저장하면 완료됩니다.

내가 말했듯이 기술 구현은 다소 쉽습니다 :)

엄청난! 팁 주셔서 감사합니다. 이 가려움이 있어서 긁을 시간이 있는지 알아봐야겠습니다. 하지만 단기적으로는 이 restic merge 기능이 없어야 합니다. 내가 하기 전에 누군가가 그것을 얻는다면 그것은 괜찮습니다. 아니면 결국 이것으로 돌아가겠습니다!

이미 구현한 것 같은데... /머리를 긁적이며 찾아본다...
... https://github.com/middelink/restic/tree/fix-323
그래도 여전히 컴파일되는지 확인해야합니다. 해당 분기는 228 커밋 뒤에 있습니다 ...

전체 복사뿐만 아니라 스냅샷의 하위 집합도 허용하는 것이 유용할 수 있습니다. 이것은 #1910에서 제안한 사용 사례(기본 저장소로 자주 백업하고 거기에서 오프사이트/느린/더 비싼 저장소로의 백업 빈도는 낮음)를 지원하며 전체 복사본보다 구현하기가 훨씬 어렵지 않을 것이라고 생각합니다. 앞으로 추가될 수도 있지만 :-)

Err... @middelink의 제안을 컴파일하고 시도할 수 있는 개발 기술이 없는 단순한 사용자를 위한 소식이 있습니까?

이것은 대부분 "me too" 주석이지만 "모두 복사" 또는 "동기화" 의미 체계가 아닌 한 저장소에서 다른 저장소로 특정 스냅샷만 복사할 수 있는 기능을 갖고 싶습니다. 예를 들어 로컬 스토리지에 매일 백업한 다음 일주일에 한 번 가장 최근의 일만 s3 버킷에 복사하는 등의 작업을 수행합니다.

글쎄, 당신은 운이 좋다. 내 사본 cmd는 하나 이상의 스냅샷 ID를 사용합니다. 사실 copy-all은 그것이 하는 일이 아닙니다. 먼저 스냅샷 ID를 나열한 다음 "제한 복사" cmdline에 연결해야 합니다. 나는 이것을 퇴화한 유스 케이스로 보았기 때문에 그것이 좋습니다.

이에 대해 너무 깊이 파고들지 않고 ncw/rclone과의 토론이 유용할 수 있습니다...

또한 병합/복사 기능에 관심이 있습니다. USB 스틱에 리포지토리가 있습니다. 내 중앙 리포지토리(동일한 암호)에 병합/복사하고 싶습니다.
이것에 대한 소식이 있습니까?

포크 분기 가 master 로 업데이트된 것 같지만 아직 PR이 없습니다.

@middelink 코드가 완료/병합 가능합니까? 그렇지 않다면 무엇을 해야 합니까? 정말 갖고 싶은 기능이네요 :)

@theoretical2019 코드 자체는 완성됐지만, 공식 PR을 작성하기 위해 자리에 앉을 때마다 준비가 되기 전에 해야 할 일을 계속 찾게 됩니다. 미공개/변경 로그와 같은 문서처럼...
아, 그리고 테스트! 내가 테스트를 언급 했습니까? 테스트가 필요합니다 :P

@middelink 참고로, 업스트림 마스터로 리베이스하여 분기를 테스트했으며 꽤 잘 작동합니다. 동일한 호스트, 태그 및 날짜로 새 스냅샷을 생성했습니다:+1:
홍보를 기다리는 중 :tada:

이제 이러한 기능을 사용하여 첫 번째 리포지토리가 유지 관리(예: 정리)를 위해 잠겨 있을 때만 클라이언트가 사용하는 보조 리포지토리를 만들 수 있습니다. 정리 작업은 완료된 후 보조에서 복사본을 트리거할 수 있으므로 누락된 백업이 없으므로 백업 서비스의 가동 중지 시간이 없습니다.

@middelink 코드의 PR을 유지 관리자의 편집 도

중요한 것은 작업할 기본 PR을 확보하는 것입니다. 나는 당신의 훌륭한 작품을 움직이고 싶고, 다른 사람들도 그렇게 생각합니다. :) PR을 만드는 데 도움이 필요하면 알려주세요!

@rawtaz 물론입니다. 동기화 및 모든 항목을 허용하겠습니다. 어떤 이유로 일찍 그렇게 할 시간을 찾지 못했지만 지금은 약간의 시간이 있는 것 같습니다.

이 작업에 대해 모두에게 감사드립니다!

문서에서 답변하지 못한 질문이 하나 남았습니다(적어도 저에게는). 둘 다 정리해야 합니까, 아니면 소스에서 정리하고 스냅샷 삭제가 전파되기에 충분합니까?

@lfrancke copy 명령을 사용할 때 복사하려는 스냅샷을 구체적으로 나열합니다. 기존 스냅샷, 존재하지 않는 스냅샷 및 이전에 존재하지만 현재 정리되고 더 이상 존재하지 않는 스냅샷은 모두 적용되지 않습니다.

저장소 A에서 저장소 B로 스냅샷을 복사한 다음 저장소 A에서 잊어버리고 정리하면 저장소 B에서 자동으로 잊혀지지 않고 정리되므로 저장소 B에서 직접 수행해야 합니다.

훌륭합니다. 빠르고 도움이 되는 응답을 보내 주신