Pygithub: 검색 속도 제한 지원

나는 같은 문제를 본다. 다음은 문제를 예시하는 작은 스크립트입니다.

import os
from datetime import datetime
from github import Github

# Login
TOKEN = os.getenv("GITHUB_ACCESS_TOKEN")
github = Github(TOKEN)

# Get initial rate limit and reset time
rl1 = github.get_rate_limit().rate
print("RL1 | Limit: {}, Remaining: {}, Reset: {}.".format(
    rl1.limit, rl1.remaining, rl1.reset))
# RL1 | Limit: 5000, Remaining: 5000, Reset: 2017-09-22 17:26:35.

# Perform a search
results = github.search_code("Hello World")

# Rate limit of Github instance is unchanged after a search
rl2 = github.get_rate_limit().rate
print("RL2 | Limit: {}, Remaining: {}, Reset: {}.".format(
    rl2.limit, rl2.remaining, rl2.reset))
# RL2 | Limit: 5000, Remaining: 5000, Reset: 2017-09-22 17:26:35.

# The PaginatedList instance has a Requestor with the same info
rl3 = results._PaginatedList__requester.rate_limiting
rl3_reset = datetime.utcfromtimestamp(int(
        results._PaginatedList__requester.rate_limiting_resettime))
print("RL3 | Limit: {}, Remaining: {}, Reset: {}.".format(
    rl3[0], rl3[1], rl3_reset))
# RL3 | Limit: 5000, Remaining: 5000, Reset: 2017-09-22 17:26:35.

# However, the actual ContentFile results show a different limit
# The Requester of each individual result ...
result = results[0]
rl4 = result._requester.rate_limiting
rl4_reset = datetime.utcfromtimestamp(int(
        result._requester.rate_limiting_resettime))
print("RL4 | Limit: {}, Remaining: {}, Reset: {}.".format(
    rl4[1], rl4[0], rl4_reset))
# RL4 | Limit: 30, Remaining: 29, Reset: 2017-09-22 16:27:36.

# ... and headers stored in the content file directly show a different rate limit.
rl5_limit = result._headers['x-ratelimit-limit']
rl5_remaining = result._headers['x-ratelimit-remaining']
rl5_reset = datetime.utcfromtimestamp(int(
        result._headers['x-ratelimit-reset']))
print("RL5 | Limit: {}, Remaining: {}, Reset: {}.".format(
    rl5_limit, rl5_remaining, rl5_reset))
# RL5 | Limit: 30, Remaining: 29, Reset: 2017-09-22 16:27:36.

# In the end, the main Github instance still shows the original full rate limit
rl6 = github.get_rate_limit().rate
print("RL6 | Limit: {}, Remaining: {}, Reset: {}.".format(
    rl6.limit, rl6.remaining, rl6.reset))
# RL6 | Limit: 5000, Remaining: 5000, Reset: 2017-09-22 17:26:35.

+1 이 기능은 내가 구축하려는 애플리케이션에 필요합니다.

@brentshermana 애플리케이션의 경우 속도 제한 헤더(마지막 응답, 위의 예 참조)를 검사하거나 /rate_limit 엔드포인트 를 직접 폴링하는 것을 고려하십시오. 여기에는 모든 종류의 속도 제한에 대한 정보가 포함되며 속도 제한에 포함되지 않습니다.

결국 PyGithub가 rate 뿐만 아니라 /rate_limit resources 도 구문 분석하면 좋을 것입니다. 정보는 있지만 불행히도 도서관 소비자에게는 제공되지 않습니다.

또한 페이지가 매겨진 목록은 이러한 검색의 결과, 즉 _headers['x-ratelimit-*'] 에 저장된 모든 항목을 반환하는 경우 코드 검색에 대한 속도 제한을 반환해야 합니다.

btw: 방금 $#$ /rate_limit $#$에서 반환된 JSON의 rate 필드는 더 이상 사용되지 않으며 resources 의 정보가 권장되는 대안임을 알았습니다. https://developer.github.com/ v3/rate_limit/#deprecation -공지

내가 정확히 하고 있어요. 누구든지 이것을 적용하고 풀 리퀘스트를 시도하고 싶다면 제 축복이 있습니다.

def wait(seconds):
    print("Waiting for {} seconds ...".format(seconds))
    time.sleep(seconds)
    print("Done waiting - resume!")

def api_wait():
    url = 'https://api.github.com/rate_limit'
    response = urlopen(url).read()
    data = json.loads(response.decode())
    if data['resources']['core']['remaining'] <= 10:  # extra margin of safety
        reset_time = data['resources']['core']['reset']
        wait(reset_time - time.time() + 10)
    elif data['resources']['search']['remaining'] <= 2:
        reset_time = data['resources']['search']['reset']
        wait(reset_time - time.time() + 10)

1869개의 결과가 있어야 하는데 1020개의 결과 이후에 search_issues의 결과에 대한 반복이 중지되는 문제가 발생했습니다. 내 스크립트는 매번 같은 지점에서 멈춥니다. 이것이 속도 제한 문제가 될 수 있습니까?

오류가 발생하지 않고 결과만 나옵니다. 내 쿼리 문자열을 GitHub 웹 인터페이스에 직접 넣으면 예상대로 1869개의 결과가 모두 표시됩니다. 1020은 30의 배수인데 페이지 매김 문제인지 궁금합니다.

코드는 다음과 같습니다.

querystring = "type:pr is:closed repo:xxxx closed:2017-07-01..2018-06-30"
issues = git.search_issues(query=querystring, sort="updated", order="asc")
for issue in issues:
    pull = issue.as_pull_request()
    print "%s: %s" % (pull.number, pull.title)

여기서 무엇이 잘못될 수 있는지에 대해 공유할 수 있는 모든 팁에 대해 많은 감사를 드립니다.

또한 issues.reversed 를 반복하여 예상한 1869 결과의 끝에서 시작되는지 확인했습니다. 그러나 이 경우 결과의 첫 번째 페이지에서 30개의 문제만 얻습니다.

추가 조사에서 검색당 결과 1000개 제한 에 도달한 것으로 보입니다.

기존 get_rate_limit() 가 Github에서 제안한 최신 "코어" 속도 제한을 구문 분석하는 동안 검색 속도 제한에 대해 get_search_rate_limit() 방법을 하나 더 제공하는 것은 어떻습니까: https://developer.github.com/ v3/rate_limit/

검색 API 속도 제한 및 GraphQL 속도 제한을 지금 사용할 수 있습니다. 모두를 위한 하나의 방법입니다.

기본적으로 "코어" 비율 제한이 표시됩니다. 각 속성에 액세스하여 search/graphql 속도 제한을 얻을 수도 있습니다.

r = g.get_rate_limit()
>>> r
RateLimit(core=Rate(remaining=4923, limit=5000))
>>> r.search
Rate(remaining=30, limit=30)
>>> r.graphql
Rate(remaining=5000, limit=5000)

멋지네요, 감사합니다 @sfdye!

검색 속도 제한 문제를 피하기 위해 @brentshermana 의 대기 기능을 에뮬레이트하려면 이제 다음과 같이 할 수 있습니다.

from datetime import datetime

def api_wait_search(git):
  limits = git.get_rate_limit()
  if limits.search.remaining <= 2:
    seconds = (limits.search.reset - datetime.now()).total_seconds()
    print "Waiting for %d seconds ..." % (seconds)
    time.sleep(seconds)
    print "Done waiting - resume!"

get_rate_limit() 를 호출하면 약간의 지연이 발생하므로 호출 빈도를 최소화하는 것이 좋습니다.

검색 엔진에서 여기에 도착하는 사람들을 위해 @bbi-yggy의 기능을 약간 수정했습니다.

from datetime import datetime, timezone

def rate_limited_retry(github):
    def decorator(func):
        def ret(*args, **kwargs):
            for _ in range(3):
                try:
                    return func(*args, **kwargs)
                except RateLimitExceededException:
                    limits = github.get_rate_limit()
                    reset = limits.search.reset.replace(tzinfo=timezone.utc)
                    now = datetime.now(timezone.utc)
                    seconds = (reset - now).total_seconds()
                    print(f"Rate limit exceeded")
                    print(f"Reset is in {seconds:.3g} seconds.")
                    if seconds > 0.0:
                        print(f"Waiting for {seconds:.3g} seconds...")
                        time.sleep(seconds)
                        print("Done waiting - resume!")
            raise Exception("Failed too many times")
        return ret
    return decorator

이 기능은 다음과 같이 사용할 수 있습니다.

@rate_limited_retry(github)
def run_query(import_string):
    query_string = f"language:Python \"{import_string}\""
    return list(github.search_code(query_string))

results = run_query(import_string)

core/search/graphql을 고려하도록 위의 pokey 데코레이터를 수정했습니다.
또한 Github이 지정된 시간에 속도 제한을 정확하게 재설정하지 않기 때문에 30초 지연이 추가되었습니다.

def rate_limited_retry():
    def decorator(func):
        def ret(*args, **kwargs):
            for _ in range(3):
                try:
                    return func(*args, **kwargs)
                except RateLimitExceededException:
                    limits = gh.get_rate_limit()
                    print(f"Rate limit exceeded")
                    print("Search:", limits.search, "Core:", limits.core, "GraphQl:", limits.graphql)

                    if limits.search.remaining == 0:
                        limited = limits.search
                    elif limits.graphql.remaining == 0:
                        limited = limits.graphql
                    else:
                        limited = limits.core
                    reset = limited.reset.replace(tzinfo=timezone.utc)
                    now = datetime.now(timezone.utc)
                    seconds = (reset - now).total_seconds() + 30
                    print(f"Reset is in {seconds} seconds.")
                    if seconds > 0.0:
                        print(f"Waiting for {seconds} seconds...")
                        time.sleep(seconds)
                        print("Done waiting - resume!")
            raise Exception("Failed too many times")
        return ret
    return decorator