Pygithub: github.GithubException.RateLimitExceededException

अगर मैं सही ढंग से समझूं, तो get_issues और get_pulls का रिटर्न प्रकार PaginatedList है। यह पुनरावृत्ति के लिए yield element का उपयोग करता है। तो अनुरोध open_issues = [issue for issue in open_issues if issue.title not in open_pull_titles] तक नहीं किया जाता है। यदि आपकी टोकन सीमा समाप्त हो गई है, तो यह RateLimitExceedException को फेंक देगा।

क्या कोई उपाय है?

g = Github()
क्या आपने इस चरण में प्रमाणित किया? सार्वजनिक एपीआई की दर सीमा कम है।

g = Github()
क्या आपने इस चरण में प्रमाणित किया? सार्वजनिक एपीआई की दर सीमा कम है।

हां, मैंने उस चरण को प्रमाणित किया था।

@242जयनाभि
दर सीमा तक पहुंचने पर मैं आमतौर पर जो चीजें करता हूं, वह कुछ समय के लिए कार्यक्रम को रोकना है।

सूची समझ का उपयोग करने के बजाय, मैं कोशिश-पकड़ के साथ सिर्फ एक सामान्य लूप का उपयोग कर सकता हूं। एक बार दर सीमा अपवाद पकड़े जाने के बाद, स्लीप फ़ंक्शन को थोड़ी देर प्रतीक्षा करने के लिए कॉल करें और फिर से GitHub API के साथ दर सीमा की जांच करें। कोड तभी आगे बढ़ता है जब दर सीमा 5000 पर वापस आती है।

कोड का एक हिस्सा छूटने के लिए मुझे खेद है। पहली टिप्पणी में कोड की निरंतरता में कोड नीचे दिया गया है।
मैं सभी खुले मुद्दों के लिए created_at तारीख तक पहुंच रहा हूं। यह फिर से सभी मुद्दों के लिए एपीआई का उपयोग करेगा और इसलिए सीमा से अधिक कॉल करना समाप्त कर देगा।

for issue in open_issues:
    created_at = issue.created_at.timestamp()

मुझे इस समस्या का समाधान नहीं मिला। यहां तक ​​कि अगर मैं अनुरोधों को प्रमाणित करता हूं, तो समस्या बहुत अधिक होने पर सीमा समाप्त हो जाएगी (मान लें 2000)।

कुछ इस तरह:

repositories = g.search_repositories(
    query='stars:>=10 fork:true language:python')

दर सीमा को भी ट्रिगर करता है। मुझे लगता है, यह स्वचालित रूप से पेजिनेशन कर रहा है और यह दर सीमा को ट्रिगर कर रहा है? क्या मेरे लिए इसे मैन्युअल रूप से करने का कोई तरीका है ताकि मैं रुक सकूं?

अब मुझे एहसास हुआ कि यह एक वास्तविक मुद्दा है।
एक संभावित समाधान नीचे की तरह कोड स्निपेट हो सकता है। मैंने अभी तक इसकी कोशिश नहीं की है, मुझे बताएं कि यह काम करता है या नहीं।

iter_obj=iter(open_issues) ## PaginatedList is a generator
 while True:
    try:   
        issue=next(iter_obj) 
        ## do something
    except StopIteration:
        break  # loop end
    except github.GithubException.RateLimitExceededException:
        sleep(3600) # sleep 1 hour
        ## check token limits
        continue

@ wangpeipei90 काम नहीं करता।

किसी कारण से यह व्यवहार अत्यधिक अप्रत्याशित है और यह परेशान करने वाला है।
मेरा कार्यक्रम प्रभावी रूप से चक्र और प्रीमेप्टिव रूप से रेटलिमिट एपीआई को यह जांचने के लिए कॉल कर सकता है कि क्या यह बेतरतीब ढंग से 403 देने से पहले एक से दो घंटे के लिए सीमा के भीतर पालन करता है।

कुछ देशी दर सीमा का पालन यहां गर्मजोशी से स्वागत होगा। अंतर्ज्ञान के आधार पर नींद को लागू करने के बाद जब आपका एप्लिकेशन दो घंटे के सुचारू रूप से चलने के बाद बीन्स को फैलाने का निर्णय लेता है, तो व्यवहार की अपेक्षा नहीं की जानी चाहिए।

 File "word.py", line 126, in get_stargazers_inner
    for i in repo.get_stargazers_with_dates():
  File "/usr/local/lib/python3.6/dist-packages/github/PaginatedList.py", line 62, in __iter__
    newElements = self._grow()
  File "/usr/local/lib/python3.6/dist-packages/github/PaginatedList.py", line 74, in _grow
    newElements = self._fetchNextPage()
  File "/usr/local/lib/python3.6/dist-packages/github/PaginatedList.py", line 199, in _fetchNextPage
    headers=self.__headers
  File "/usr/local/lib/python3.6/dist-packages/github/Requester.py", line 276, in requestJsonAndCheck
    return self.__check(*self.requestJson(verb, url, parameters, headers, input, self.__customConnection(url)))
  File "/usr/local/lib/python3.6/dist-packages/github/Requester.py", line 287, in __check
    raise self.__createException(status, responseHeaders, output)
github.GithubException.RateLimitExceededException: 403 {'message': 'API rate limit exceeded for user ID xxxx.', 'documentation_url': 'https://developer.github.com/v3/#rate-limiting'}

इसके अतिरिक्त, कोई बैकऑफ़ लाइब्रेरी का उपयोग कर सकता है - हालाँकि यह आइटम पुनरावृत्ति में वर्तमान स्थिति का हिसाब नहीं दे सकता है और इसलिए फिर से खरोंच से शुरू होगा।

खैर, मैंने https://github.com/settings/tokens का दौरा किया और एक "पुन: उत्पन्न टोकन" किया। इसने मुझे फिर से लुढ़क दिया, लेकिन मुझे यकीन नहीं है कि कब तक।

मैंने प्रमाणीकरण की "टोकन" विधि का उपयोग किया। उदाहरण:

    github = Github("19exxxxxxxxxxxxxxxxxxxxxe3ab065edae6470")

अत्यधिक अनुरोधों के लिए #1233 भी देखें।

इस समस्या को स्वचालित रूप से पुराने के रूप में चिह्नित कर दिया गया है क्योंकि इसमें हाल की गतिविधि नहीं है। आगे कोई गतिविधि नहीं होने पर इसे बंद कर दिया जाएगा। आपके योगदानों के लिए धन्यवाद।

@wangpeipei90

यह मेरे लिए काम करता है, लेकिन RateLimitExceededException मेरे द्वारा उपयोग किए गए संस्करण में GithubException से कम नहीं है। यहाँ मेरा कोड है।

from github import RateLimitExceededException

issues = g.search_issues(query=keyword, **{'repo': repo, 'type': 'pr'})
            iter_obj = iter(issues)
            while True:
                try:
                    pr = next(iter_obj)
                    with open(pr_file, 'a+') as f:
                        f.write(pr.html_url + '\n')
                    count += 1
                    logger.info(count)
                except StopIteration:
                    break  # loop end
                except RateLimitExceededException:
                    search_rate_limit = g.get_rate_limit().search
                    logger.info('search remaining: {}'.format(search_rate_limit.remaining))
                    reset_timestamp = calendar.timegm(search_rate_limit.reset.timetuple())
                    # add 10 seconds to be sure the rate limit has been reset
                    sleep_time = reset_timestamp - calendar.timegm(time.gmtime()) + 10
                    time.sleep(sleep_time)
                    continue

यहाँ लॉग का हिस्सा है:

2020/01/08 23:42:09 PM - INFO - search remaining: 0

धन्यवाद, @Xiaoven मैं अंत में इसे आपके कोड से हल करने में सक्षम हूं।