Transmission: [개선] 파일을 이동할 때 더 똑똑해집니다.

에 만든 2019년 07월 14일 · 8코멘트 · 출처: transmission/transmission

Windows의 경우, tr_sys_path_rename 플래그를 사용할 수 MOVEFILE_COPY_ALLOWED 그것의보다는 자신의 내장에 "읽기 및 복사"에서 루프를 util.c:tr_moveFile

그런 다음 Linux 버전은 각각을 반복하는 대신 더 현대적인 copy_file_range 를 사용할 수 있습니다.

아마도 다음과 같습니다.

size_t tr_sys_file_copy(tr_sys_file_t infile, tr_sys_file_t outfile, size_t len, tr_error** error )
{
        TR_ASSERT(outfile != NULL);
        TR_ASSERT(infile != NULL);
        bool ret = false;
        unsigned int flags = 0;
        size_t res;

        res = copy_file_range(infile, NULL, outfile, NULL, &len, flags);
        if (res) {
                return res;
        }      
        else {
                set_system_error(error, errno);  
                return res;
        }
}

그리고 아마도:

tr_sys_file_copy_fallback(tr_sys_file_t infile, tr_sys_file_t outfile, size_t len,  tr_error** error ) {
    TR_ASSERT(outfile != NULL);
    TR_ASSERT(infile != NULL);

    uint64_t bytesLeft = len;
    size_t const buflen = 1024 * 128; /* 128 KiB buffer */
    tr_sys_path_info info;
    while (bytesLeft > 0)
    {
        uint64_t const bytesThisPass = MIN(bytesLeft, buflen);
        uint64_t numRead;
        uint64_t bytesWritten;

        if (!tr_sys_file_read(infile, buf, bytesThisPass, &numRead, error))
        {
            break;
        }

        if (!tr_sys_file_write(outfile, buf, numRead, &bytesWritten, error))
        {
            break;
        }

        TR_ASSERT(numRead == bytesWritten);
        TR_ASSERT(bytesWritten <= bytesLeft);
        bytesLeft -= bytesWritten;
    }
    return bytesLeft;
}

core enhancement pr welcome

출처

Spindel

가장 유용한 댓글

데이터를 비동기식으로 이동하려면 +1입니다. 파일 시스템 간에 대용량 토렌트를 이동 하면 전체 응용 프로그램이 잠깁니다 .

pyrovski 에 2020년 01월 05일

👍7

모든 8 댓글

그런 다음 Linux 버전은 각각을 반복하는 대신 최신 copy_file_range를 사용할 수 있습니다.

이것은 한 번의 호출로(또는 간단한 루프에서) 수행할 수 없습니다.

       If  file_in  is  a  sparse  file, then copy_file_range() may expand any
       holes existing in the requested range.  Users may benefit from  calling
       copy_file_range()  in  a  loop,  and  using  the lseek(2) SEEK_DATA and
       SEEK_HOLE operations to find the locations of data segments.

(남자 copy_file_range)

이상적으로는 적절한 잠금을 보장하고 별도의 스레드에서 sendfile()을 사용해야 합니다.

andreygursky 에 2019년 07월 14일

이는 현재 "파일 이동" 코드와 거의 동일합니다.
rename 실패. 희소 섹션도 유지하지 않으므로
그것을 교체할 때 문제를 고려하십시오.

2019년 7월 14일 일요일 오후 10시 41분 andreygursky [email protected]이 다음과 같이 썼습니다.
>

그런 다음 Linux 버전은 각각을 반복하는 대신 최신 copy_file_range를 사용할 수 있습니다.
이것은 한 번의 호출로(또는 간단한 루프에서) 수행할 수 없습니다.
   If  file_in  is  a  sparse  file, then copy_file_range() may expand any
   holes existing in the requested range.  Users may benefit from  calling
   copy_file_range()  in  a  loop,  and  using  the lseek(2) SEEK_DATA and
   SEEK_HOLE operations to find the locations of data segments.
(남자 copy_file_range)
이상적으로는 적절한 잠금을 보장하고 별도의 스레드에서 sendfile()을 사용해야 합니다.
—
스레드를 작성했기 때문에 이 메시지를 받는 것입니다.
이 이메일에 직접 답장하거나 GitHub에서 보거나 스레드를 음소거하세요.

Spindel 에 2019년 07월 14일

참조로 링크된 현재 "파일 이동"

현재 기능:

https://github.com/transmission/transmission/blob/master/libtransmission/utils.c#L1682

https://github.com/transmission/transmission/blob/master/libtransmission/utils.c#L1744

Spindel 에 2019년 07월 14일

희소 섹션도 유지하지 않으므로
그것을 교체할 때 문제를 고려하십시오.

그리고 일반 파일에 대한 사전 할당이 누락되었습니다.

andreygursky 에 2019년 07월 15일

응. 그것도. "파일 이동"의 현재 잘못된 동작은 일부 설정에서 터무니없는 로드를 야기하기에 충분합니다. 가능하다면 glibc copy_file_range의 폴백 솔루션도 더 나은 구현인 것 같습니다.

Spindel 에 2019년 07월 15일

이거 가지고 놀았어. 크로스 플랫폼 방식으로 올바른 작업을 수행하는 것은 어렵습니다. 커널 내 복사를 위한 POSIX 인터페이스가 없는 것 같습니다. 그러나 파일 시스템이 복사본의 효율성을 높여감에 따라 해당 기능에 자동으로 액세스하기를 원하기 때문에 각 운영 체제에 대해 특별한 대소문자를 구분할 가치가 있다고 생각합니다.

MacOSX 및 FreeBSD에서 기본 구현을 실행하고 있지만 테스트할 시스템을 몇 개 더 설정해야 합니다.

이 작업은 파일을 비동기식으로 이동하는 것과 직교한다고 생각합니다. 한쪽이 다른 쪽을 방해해서는 안 됩니다. 자원 봉사 프로젝트의 경우 범위 이동은 생산성의 적입니다.

RobCrowston 에 2019년 12월 26일

변경 사항은 다음과 같습니다. https://github.com/transmission/transmission/compare/master...RobCrowston :kernelcopy-wip

간단히 말해서 tr_sys_path_copy()라는 새로운 추상화를 만듭니다. (이를 비동기 작업으로 만들 때 다른 스레드의 파일 핸들을 닫기 위해 복사가 완료된 후 불확실한 기간 동안 원본 파일을 유지해야 할 수도 있기 때문에 이동 대신 복사본을 사용했습니다.)

오늘 지금까지 MacOS 10.15.1, Windows Server 2016, Linux 5.0(Ubuntu 19.05), Linux 5.3(Arch 2019-12-03), FreeBSD 12.1에서 새로운 테스트(transmission-test-copy)를 컴파일하고 실행했습니다. (userspace fallback 사용), FreeBSD 13. 각각의 경우에 적절한 시스템 호출을 하고 있음을 디버거로 확인했습니다. 불행하게도 관련 없는 몇 가지 libevent 문제 때문에 OpenBSD 6.5, NetBSD 8.1 또는 Solaris 10에서 빌드할 코드를 얻을 수 없었습니다. 어떤 경우에도 이 변경 사항은 해당 플랫폼에 영향을 미치지 않아야 합니다.

아직 할 일:

이전 Windows 커널에서 테스트합니다. 이를 위해 가상 머신 개발 환경을 구성해야 합니다.
볼륨 간 복사를 테스트합니다(우리가 중요하게 생각하는 부분이므로). 자동화된 테스트로 수행하는 방법을 잘 모르겠습니다.
상당히 큰 파일(> 100GB)에 대한 테스트 파일 tr_sys_path_copy(). 아마도 자동화된 테스트로 수행될 수 없습니다.
tr_sys_path_copy()를 단독으로 테스트하는 대신 현장에서 테스트하십시오.
잠시 동안 내 비트 토렌트 서버 중 하나를 이 코드로 교체하고 실제 세계에서 어떻게 작동하는지 확인하십시오.

피드백 환영합니다.

RobCrowston 에 2019년 12월 27일

데이터를 비동기식으로 이동하려면 +1입니다. 파일 시스템 간에 대용량 토렌트를 이동 하면 전체 응용 프로그램이 잠깁니다 .

pyrovski 에 2020년 01월 05일

👍7

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Transmission: [개선] 파일을 이동할 때 더 똑똑해집니다.

가장 유용한 댓글

모든 8 댓글

관련 문제