Pygithub: github.GithubException.RateLimitExceededException

올바르게 이해하면 get_issues 및 get_pulls의 반환 유형은 PaginatedList입니다. 반복을 위해 yield element 를 사용합니다. 따라서 요청은 open_issues = [issue for issue in open_issues if issue.title not in open_pull_titles] 까지 수행되지 않습니다. 토큰 제한에 도달하면 RateLimitExceedException이 발생합니다.

해결 방법이 있습니까?

g = Github()
이 단계에서 인증하셨습니까? 공개 API는 속도 제한이 적습니다.

g = Github()
이 단계에서 인증하셨습니까? 공개 API는 속도 제한이 적습니다.

예, 해당 단계를 인증했습니다.

@242자이나비
내가 보통 속도 제한에 도달했을 때 하는 일은 프로그램을 잠시 보류하는 것입니다.

목록 이해를 사용하는 대신 try-catch와 함께 공통 루프만 사용할 수 있습니다. 비율 제한 예외가 발생하면 sleep 함수를 호출하여 잠시 기다렸다가 GitHub API로 비율 제한을 다시 확인하십시오. 속도 제한이 5000으로 다시 돌아올 때만 코드가 진행됩니다.

코드의 일부가 누락되어 죄송합니다. 아래는 첫 번째 주석의 코드에 이어지는 코드입니다.
모든 미해결 문제에 대해 created_at 날짜에 액세스하고 있습니다. 이렇게 하면 모든 문제에 대해 API에 다시 액세스하므로 결국 한도 이상으로 호출하게 됩니다.

for issue in open_issues:
    created_at = issue.created_at.timestamp()

이 문제에 대한 해결책을 찾지 못했습니다. 요청을 인증하더라도 문제가 너무 많으면 한도가 소진됩니다(예: 2000개).

이 같은:

repositories = g.search_repositories(
    query='stars:>=10 fork:true language:python')

또한 속도 제한을 트리거합니다. 자동으로 페이지 매김을 수행하고 속도 제한을 트리거한다고 가정합니다. 일시 중지할 수 있도록 수동으로 수행할 수 있는 방법이 있습니까?

이제 이것이 실제 문제라는 것을 깨달았습니다.
한 가지 가능한 해결 방법은 아래와 같은 코드 조각일 수 있습니다. 아직 해보지 않았는데 효과가 있는지 없는지 알려주세요.

iter_obj=iter(open_issues) ## PaginatedList is a generator
 while True:
    try:   
        issue=next(iter_obj) 
        ## do something
    except StopIteration:
        break  # loop end
    except github.GithubException.RateLimitExceededException:
        sleep(3600) # sleep 1 hour
        ## check token limits
        continue

@wangpeipei90 작동하지 않습니다.

어떤 이유에서인지 이 동작은 매우 예측할 수 없으며 끔찍합니다.
내 프로그램은 403을 무작위로 제공하기 전에 1~2시간 동안 제한 내에서 준수하는지 확인하기 위해 ratelimit API를 효과적으로 순환하고 선제적으로 호출할 수 있습니다.

일부 기본 속도 제한 준수는 여기에서 따뜻한 환영을 받을 것입니다. 응용 프로그램이 2시간 동안 원활하게 실행한 후 빈을 흘리기로 결정할 때 직관에 따라 절전 모드를 구현해야 하는 것은 예상되는 동작이 아닙니다.

 File "word.py", line 126, in get_stargazers_inner
    for i in repo.get_stargazers_with_dates():
  File "/usr/local/lib/python3.6/dist-packages/github/PaginatedList.py", line 62, in __iter__
    newElements = self._grow()
  File "/usr/local/lib/python3.6/dist-packages/github/PaginatedList.py", line 74, in _grow
    newElements = self._fetchNextPage()
  File "/usr/local/lib/python3.6/dist-packages/github/PaginatedList.py", line 199, in _fetchNextPage
    headers=self.__headers
  File "/usr/local/lib/python3.6/dist-packages/github/Requester.py", line 276, in requestJsonAndCheck
    return self.__check(*self.requestJson(verb, url, parameters, headers, input, self.__customConnection(url)))
  File "/usr/local/lib/python3.6/dist-packages/github/Requester.py", line 287, in __check
    raise self.__createException(status, responseHeaders, output)
github.GithubException.RateLimitExceededException: 403 {'message': 'API rate limit exceeded for user ID xxxx.', 'documentation_url': 'https://developer.github.com/v3/#rate-limiting'}

또한 백오프 라이브러리를 사용할 수 있지만 항목 반복의 현재 위치를 설명할 수 없으므로 처음부터 다시 시작합니다.

글쎄, 나는 https://github.com/settings/tokens를 방문하여 "토큰 재생성"을 수행했습니다. 그로 인해 다시 롤링이 발생했지만 얼마나 오래 걸릴지는 모르겠습니다.

저는 "토큰" 인증 방법을 사용했습니다. 예시:

    github = Github("19exxxxxxxxxxxxxxxxxxxxxe3ab065edae6470")

과도한 요청은 #1233도 참조하세요.

이 문제는 최근 활동이 없었기 때문에 자동으로 오래된 것으로 표시되었습니다. 더 이상 활동이 없으면 폐쇄됩니다. 귀하의 기여에 감사드립니다.

@wangpeipei90

그것은 나를 위해 작동하지만 RateLimitExceededException 는 내가 사용한 버전에서 GithubException 아래에 있지 않습니다. 여기 내 코드가 있습니다.

from github import RateLimitExceededException

issues = g.search_issues(query=keyword, **{'repo': repo, 'type': 'pr'})
            iter_obj = iter(issues)
            while True:
                try:
                    pr = next(iter_obj)
                    with open(pr_file, 'a+') as f:
                        f.write(pr.html_url + '\n')
                    count += 1
                    logger.info(count)
                except StopIteration:
                    break  # loop end
                except RateLimitExceededException:
                    search_rate_limit = g.get_rate_limit().search
                    logger.info('search remaining: {}'.format(search_rate_limit.remaining))
                    reset_timestamp = calendar.timegm(search_rate_limit.reset.timetuple())
                    # add 10 seconds to be sure the rate limit has been reset
                    sleep_time = reset_timestamp - calendar.timegm(time.gmtime()) + 10
                    time.sleep(sleep_time)
                    continue

다음은 로그의 일부입니다.

2020/01/08 23:42:09 PM - INFO - search remaining: 0

감사합니다, @Xiaoven 마침내 귀하의 코드로 이 문제를 해결할 수 있습니다.