Pygithub: github.PaginatedList.PaginatedList totalCount 반환 없음

내 코드를 붙여넣습니다

import json
import os

import github
from github import Github

# First create a Github instance:

g = Github("grapebaba", "heatonn1",per_page=1000)


def main():
    '''
    Use small data for this application
    :return:
    '''
    with open(os.path.join(os.path.expanduser("~"),'recruitbot_data.txt'),'w') as f:
        for user in g.search_users("type:user")[0:10000]:
            user_dict = {}
            user_dict['username'] = user.login
            user_dict['id'] = user.id
            user_dict['profile_url'] = user.html_url
            user_dict['location'] = user.location
            user_dict['followers'] = user.followers
            user_dict['private_gists'] = user.private_gists
            user_dict['public_gists'] = user.public_gists
            user_dict['name'] = user.name
            user_dict['company'] = user.company
            user_dict['blog_url'] = user.blog
            user_dict['email'] = user.email
            user_dict['id'] = user.id
            user_dict['contributions']={}
            for repo in user.get_watched():
                try:
                    repo_total = 0
                    for _ in repo.get_commits():
                        repo_total = repo_total + 1
                    if repo.get_stats_contributors() is not None:
                        for contributor in repo.get_stats_contributors():
                            if contributor is not None and contributor.author.id == user_dict['id']:
                                user_dict['contributions'][repo.name]={}
                                user_dict['contributions'][repo.name]['contributor_commits']=contributor.total
                                user_dict['contributions'][repo.name]['repo_commits']=repo_total
                                user_dict['contributions'][repo.name]['language']=repo.language
                                user_dict['contributions'][repo.name]['stars']=repo.stargazers_count
                                print user_dict
                                break
                except github.GithubException as e:
                    print e

            f.write(json.dumps(user_dict)+"\n")

if __name__ == '__main__':
    main()

다른 문제가 있습니다. 때때로 SSL 오류가 발생합니다.

Traceback (most recent call last):
  File "/tmp/collector.py", line 54, in <module>
    main()
  File "/tmp/collector.py", line 36, in main
    for _ in repo.get_commits():
  File "/usr/local/lib/python2.7/dist-packages/github/PaginatedList.py", line 48, in __iter__
    newElements = self._grow()
  File "/usr/local/lib/python2.7/dist-packages/github/PaginatedList.py", line 60, in _grow
    newElements = self._fetchNextPage()
  File "/usr/local/lib/python2.7/dist-packages/github/PaginatedList.py", line 161, in _fetchNextPage
    headers=self.__headers
  File "/usr/local/lib/python2.7/dist-packages/github/Requester.py", line 171, in requestJsonAndCheck
    return self.__check(*self.requestJson(verb, url, parameters, headers, input, cnx))
  File "/usr/local/lib/python2.7/dist-packages/github/Requester.py", line 212, in requestJson
    return self.__requestEncode(cnx, verb, url, parameters, headers, input, encode)
  File "/usr/local/lib/python2.7/dist-packages/github/Requester.py", line 251, in __requestEncode
    status, responseHeaders, output = self.__requestRaw(cnx, verb, url, requestHeaders, encoded_input)
  File "/usr/local/lib/python2.7/dist-packages/github/Requester.py", line 281, in __requestRaw
    output = response.read()
  File "/usr/lib/python2.7/httplib.py", line 557, in read
    s = self._safe_read(self.length)
  File "/usr/lib/python2.7/httplib.py", line 664, in _safe_read
    chunk = self.fp.read(min(amt, MAXAMOUNT))
  File "/usr/lib/python2.7/socket.py", line 380, in read
    data = self._sock.recv(left)
  File "/usr/lib/python2.7/ssl.py", line 341, in recv
    return self.read(buflen)
  File "/usr/lib/python2.7/ssl.py", line 260, in read
    return self._sslobj.read(len)

안녕,
totalCount가 None이라는 것에 대해 repo.get_pulls().totalCount와 동일합니다.
문제는 반환된 JSON에 data['total_count']가 포함되어 있지 않다는 것입니다.
PaginatedList는 다음을 사용하여 __len__ 를 구현해야 합니다.

if self.__totalCount:
    return self.__totalCount
else:
   return len(self.__elements)

@pgmillon 공정하게 들립니다.
그렇게 하는 작은 PR 초안을 작성하고 싶다면 기꺼이 병합하겠습니다.

PaginatedList는 결코 totalCount를 설정하지 않습니다. 요소의 len을 반환하는 것은 내가 찾고 있는 것이 아닙니다. 실제로 가져올 수 있는 항목이 몇 개나 있는지 알고 싶습니다.

동의하지만 AFAIK API는 그것을 알 수 있는 방법을 제공하지 않습니다. 따라서 유일한 방법은 현재 해결 방법입니다.

opened_pulls = repository.get_pulls()
pulls_count = 0
# Fix no count available on pulls list
for _ in opened_pulls:
    pulls_count += 1

요점:

    from github import Github
    gh = Github()
    gists = gh.get_user('gil9red').get_gists()
    print(gists.totalCount)  # None
    print(len(list(gists)))  # 7

여전히 같은 문제:

from github import Github
g = Github()
repos = g.get_repos()
print(repos.totalCount) # None

@gil9red @Tigralt PaginatedList를 반복하여 반환된 총 항목 수를 얻으려고 합니까? 그렇다면 PaginatedList를 반복하고 카운트를 증가시키지 않고는 이를 수행할 방법이 없습니다. 여기에서 문서를 참조

GitHub는 페이지 매김 요청이 반환할 항목 수를 알 수 있는 방법을 제공하지 않으므로 PaginatedList에는 길이가 없습니다.
...
PaginatedList의 길이를 실제로 취하려는 경우 명시적으로 [원문 그대로] 목록을 구성한 다음 해당 길이를 사용해야 합니다.

PaginatedList의 한 페이지에 있는 항목 수를 얻으려는 경우 이 PR 이 아직 열려 있고 논의 중인 것 같습니다.

몇 가지 관련 문제 살펴보기 #433 #487 #596

total_count 이 이전 Github API 응답에서 온 것 같은데요? 우리는 제거해야 TotalCount 에 속성 PaginatedList 구현가 파손되기 때문에 항상 반환 None . 대신 다음과 같은 문서를 추가할 수 있습니다.

# To get the total number of available elements in PaginatedList
repos = g.get_user().get_repos()
print(len(list(repos)))  # we can't avoid to iterate through the whole set to get total count

그리고 현재 요소 수를 반환하기 위해 __len__ 를 구현할 수 있습니까?

Github API는 쿼리에 대한 총 페이지 수를 반환할 것이라고 생각하므로 per_page=1 를 설정하면 단일 요청에서 총 항목 수를 얻을 수 있어야 합니다. 이것은 반복(큰 결과 집합의 경우)보다 훨씬 더 효율적일 수 있습니다.

@Tommos0 알겠습니다 . 아마도 좋은 생각일 것입니다. Link 헤더를 검색하기 위해 GET 대신 HEAD 를 수행할 수도 있습니다.

이 문제는 최근 활동이 없었기 때문에 자동으로 오래된 것으로 표시되었습니다. 더 이상의 활동이 없으면 폐쇄됩니다. 귀하의 기여에 감사드립니다.

#820에서 수정됨