Pygithub: 대용량 파일 다운로드

나는 전에도이 문제에 부딪쳤다. 제 경우에는 항상 blob의 SHA가 있었기 때문에 대신 git_git_blob 사용했습니다.

그러나 get_git_blob 는 blob (따라서 이름) 이외의 개체 유형에 대해 작동하지 않습니다. 호출을 시도하기 전에 객체의 유형을 알아야합니다.

폴백을 수행하려면 두 가지 정보를 알아야합니다.

1. 개체의 유형입니다.
2. 개체의 SHA입니다.

get_contents 가 실패하면이 중 어느 것도 알려주지 않습니다. 내가 말할 수있는 한 폴백을 수행하는 좋은 방법은 없습니다.

wontfix 로 마감되었습니다. 이 문제를 해결하는 방법에 대한 좋은 아이디어가있는 사람이 있으면 다시 열어서 기쁩니다. 내가 말할 수있는 한, 그것은 깨끗한 방식으로 할 수있는 것처럼 보이지 않습니다.

나는 똑같은 문제가 있고 결국 뭔가를하게됩니다.

1. 디렉토리에서 모든 파일을 덤프하고 일부 파일이 1M보다 큰 경우

 file_contents = repo.get_contents(dir_name, ref=branch)

sha 각 file_content 에 대해 존재하며 다음을 사용하여 각 파일의 blob을 가져올 수 있습니다.

for file_content in file_contents:
    try:
        if file_content.encoding != 'base64':
            # some error ...
        # ok... 
    except GithubException:
        # if file_content DOES NOT HAVE encoding, it is a large file 
        blob = repo.get_git_blob(file_content.sha)
        # do something with blob

path_name 가 1M보다 큰 단일 파일을 참조하는 경우 다음과 같은 일부 try / exception 블록이어야합니다.

        try:
            res = repo.get_contents(path_name, ref=branch)
            # ok, we have the content
        except GithubException:
           return get_blob_content(repo, branch, path_name)

get_blob_content 는 다음과 같습니다.

def get_blob_content(repo, branch, path_name):
    # first get the branch reference
    ref = repo.get_git_ref(f'heads/{branch}')
    # then get the tree
    tree = repo.get_git_tree(ref.object.sha, recursive='/' in path_name).tree
    # look for path in tree
    sha = [x.sha for x in tree if x.path == path_name]
    if not sha:
        # well, not found..
        return None
    # we have sha
    return repo.get_git_blob(sha[0])

오류 검사 기능이있는 실제 코드는 더 길지만 아이디어는 여기에 있습니다.

blob을 가져올 때 다음 코드가 유용합니다.

    blob = repo.get_git_blob(sha[0])
    b64 = base64.b64decode(blob.content)
    return b64.decode("utf8")

또한 업데이트 파일에도이 문제가 발생합니다.

raise self.__createException(status, responseHeaders, output)

github.GithubException.UnknownObjectException : 404 { "message": "Not Found", "documentation_url": " https://docs.github.com/rest/reference/repos#get -repository-content"} 시도시이 오류가 발생합니다. 마스터 브랜치에 대한 저장소 파일을 다운로드하려면