Borg: 대역폭 제한 지원 추가

파이프 뷰어와 래퍼 스크립트를 사용하여 대역폭을 제한할 수 있습니다.
이에 대한 나의 견해는 pv가 필요한 작업을 수행하고 속도 제한이 코드에서 항상 쉬운 것은 아니기 때문에(+ 이미 복잡한 설정에 더 많은 복잡성을 추가하기 때문에) borg에 대역폭 지원을 추가하는 것보다 pv를 문서화하는 것이 바람직하다는 것입니다. 유닉스 철학으로: 한 가지만 잘하면 됩니다(그리고 파이프, 나는 파이프를 좋아합니다... ;)

우분투에 pipeviewer(pv)를 설치하고 데비안일 가능성이 가장 높습니다. sudo apt-get install pv

래퍼 스크립트 생성: ( /usr/local/bin/pv-wrapper 에 생성하겠습니다)

#!/bin/bash
     ## -q, --quiet              do not output any transfer information at all
     ## -L, --rate-limit RATE    limit transfer to RATE bytes per second
export RATE=307200
pv -q -L $RATE  | "$@"

완료되었습니다. BORG_RSH 환경을 추가하십시오.
export BORG_RSH='/usr/local/bin/pv-wrapper.sh ssh '

이제 보그는 대역폭이 제한됩니다. pv의 좋은 점은 속도 제한을 즉석에서 변경할 수 있다는 것입니다.
pv -R $(pidof pv) -L 102400

멀티 테라바이트 데이터 세트를 이동하고 근무 시간 동안 대역폭을 조절해야 했던 rsync와 동일한 설정을 사용했습니다.

# example cron setup:
00 09 * * 1-5 root ( pidof pv > /tmp/.pv-pid && pv -R $(cat /tmp/.pv-pid ) -L  307200)
00 18 * * * root ( pidof pv > /tmp/.pv-pid && pv -R $(cat /tmp/.pv-pid ) -L  819200)

테스트:
각 테스트 전에 원격 저장소가 제거되었습니다.

출처: 총 3억 2천만
파이프 뷰어 없이:
지속 시간: 5분 8.50초
파일 수: 60

## wrapper:
pv -q -L 307200 | "$@"
지속 시간: 18분 7.00초

pv -q -L 102400 | "$@"
40분 후 실행이 중지되고 예상 실행 시간은 약 54분이며 borg --progress 출력은 예상과 인라인되었습니다.

pipeviewer로 원래 테스트했지만 속도 제한 없음:
지속 시간: 6분 29.38초
이 테스트는 실험실 조건에서 실행되지 않았으므로 다른 사용자가 대역폭 가용성에 영향을 미칩니다.

자주 묻는 질문에 추가할 수 있습니다.

병합된 pr #705.

여기서 오래된 문제를 범하는 것은 알고 있지만 아마도 보그에 있어야 할 무언가에 대한 다소 복잡한 해결 방법입니다. 또한 네트워크, I/O 및 컴퓨팅에 대해 별도의 조절 옵션이 있으면 유용할 것입니다.

@ddevault 이와 관련된 특정 문제가 있는 경우 새 문제에 설명하세요.