Pygithub: github.PaginatedList.PaginatedList कुल गणना वापसी कोई नहीं

मैं अपना कोड पेस्ट करता हूं

import json
import os

import github
from github import Github

# First create a Github instance:

g = Github("grapebaba", "heatonn1",per_page=1000)


def main():
    '''
    Use small data for this application
    :return:
    '''
    with open(os.path.join(os.path.expanduser("~"),'recruitbot_data.txt'),'w') as f:
        for user in g.search_users("type:user")[0:10000]:
            user_dict = {}
            user_dict['username'] = user.login
            user_dict['id'] = user.id
            user_dict['profile_url'] = user.html_url
            user_dict['location'] = user.location
            user_dict['followers'] = user.followers
            user_dict['private_gists'] = user.private_gists
            user_dict['public_gists'] = user.public_gists
            user_dict['name'] = user.name
            user_dict['company'] = user.company
            user_dict['blog_url'] = user.blog
            user_dict['email'] = user.email
            user_dict['id'] = user.id
            user_dict['contributions']={}
            for repo in user.get_watched():
                try:
                    repo_total = 0
                    for _ in repo.get_commits():
                        repo_total = repo_total + 1
                    if repo.get_stats_contributors() is not None:
                        for contributor in repo.get_stats_contributors():
                            if contributor is not None and contributor.author.id == user_dict['id']:
                                user_dict['contributions'][repo.name]={}
                                user_dict['contributions'][repo.name]['contributor_commits']=contributor.total
                                user_dict['contributions'][repo.name]['repo_commits']=repo_total
                                user_dict['contributions'][repo.name]['language']=repo.language
                                user_dict['contributions'][repo.name]['stars']=repo.stargazers_count
                                print user_dict
                                break
                except github.GithubException as e:
                    print e

            f.write(json.dumps(user_dict)+"\n")

if __name__ == '__main__':
    main()

मेरे पास एक और समस्या है, कभी-कभी मुझे एक एसएसएल त्रुटि मिलेगी

Traceback (most recent call last):
  File "/tmp/collector.py", line 54, in <module>
    main()
  File "/tmp/collector.py", line 36, in main
    for _ in repo.get_commits():
  File "/usr/local/lib/python2.7/dist-packages/github/PaginatedList.py", line 48, in __iter__
    newElements = self._grow()
  File "/usr/local/lib/python2.7/dist-packages/github/PaginatedList.py", line 60, in _grow
    newElements = self._fetchNextPage()
  File "/usr/local/lib/python2.7/dist-packages/github/PaginatedList.py", line 161, in _fetchNextPage
    headers=self.__headers
  File "/usr/local/lib/python2.7/dist-packages/github/Requester.py", line 171, in requestJsonAndCheck
    return self.__check(*self.requestJson(verb, url, parameters, headers, input, cnx))
  File "/usr/local/lib/python2.7/dist-packages/github/Requester.py", line 212, in requestJson
    return self.__requestEncode(cnx, verb, url, parameters, headers, input, encode)
  File "/usr/local/lib/python2.7/dist-packages/github/Requester.py", line 251, in __requestEncode
    status, responseHeaders, output = self.__requestRaw(cnx, verb, url, requestHeaders, encoded_input)
  File "/usr/local/lib/python2.7/dist-packages/github/Requester.py", line 281, in __requestRaw
    output = response.read()
  File "/usr/lib/python2.7/httplib.py", line 557, in read
    s = self._safe_read(self.length)
  File "/usr/lib/python2.7/httplib.py", line 664, in _safe_read
    chunk = self.fp.read(min(amt, MAXAMOUNT))
  File "/usr/lib/python2.7/socket.py", line 380, in read
    data = self._sock.recv(left)
  File "/usr/lib/python2.7/ssl.py", line 341, in recv
    return self.read(buflen)
  File "/usr/lib/python2.7/ssl.py", line 260, in read
    return self._sslobj.read(len)

नमस्ते,
आपके कुल गणना के बारे में कोई नहीं है, मेरे पास repo.get_pulls().totalCount के साथ समान है।
मुझे लगता है कि मुद्दा यह है कि लौटाए गए JSON में डेटा ['total_count'] नहीं है।
हो सकता है कि पेजिनेटेडलिस्ट को __len__ साथ लागू करना चाहिए:

if self.__totalCount:
    return self.__totalCount
else:
   return len(self.__elements)

@pgmillon जो उचित लगता है।
यदि आप एक छोटे से पीआर का मसौदा तैयार करना चाहते हैं जो ऐसा करता है, तो मैं इसे मर्ज करने के लिए तैयार हूं।

एक ही बात पर ध्यान दिया, पेजिनेटेडलिस्ट कभी भी कुल गणना सेट नहीं करता है। तत्वों की वापसी लेन वह नहीं है जिसे मैं ढूंढ रहा हूं, मैं जानना चाहता हूं कि वास्तव में कितने आइटम लाए जा सकते हैं।

सहमत हैं लेकिन AFAIK एपीआई इसे जानने का कोई तरीका नहीं देता है। तो एकमात्र तरीका वर्तमान समाधान है:

opened_pulls = repository.get_pulls()
pulls_count = 0
# Fix no count available on pulls list
for _ in opened_pulls:
    pulls_count += 1

सार के लिए:

    from github import Github
    gh = Github()
    gists = gh.get_user('gil9red').get_gists()
    print(gists.totalCount)  # None
    print(len(list(gists)))  # 7

अभी भी वही समस्या:

from github import Github
g = Github()
repos = g.get_repos()
print(repos.totalCount) # None

@ gil9red @Tigralt क्या आप उन आइटम्स की कुल संख्या प्राप्त करने का प्रयास कर रहे हैं जो PaginatedList पर पुनरावृति से लौटाए गए हैं? यदि ऐसा है, तो पेजिनेटेडलिस्ट पर पुनरावृति किए बिना और गिनती बढ़ाने के बिना ऐसा करने का कोई तरीका नहीं है। यहां दस्तावेज़ देखें (भले ही वे पुराने हों, वे सही हैं)

गिटहब यह जानने का कोई तरीका नहीं प्रदान करता है कि एक पेजिनेटेड अनुरोध कितने आइटम लौटाएगा, इसलिए पेजिनेटेडलिस्ट की कोई लंबाई नहीं है:
...
यदि आप वास्तव में एक पृष्ठांकित सूची की लंबाई लेना चाहते हैं, तो आपको स्पष्ट रूप से [sic] एक सूची बनानी होगी और फिर उसकी लंबाई का उपयोग करना होगा:

यदि आप पेजिनेटेडलिस्ट में एक पेज पर आइटम्स की संख्या प्राप्त करने का प्रयास कर रहे हैं, तो ऐसा लगता है कि यह पीआर अभी भी खुला है और चर्चा की जा रही है।

कुछ संबंधित मुद्दों को देखते हुए #433 #487 #596

मुझे लगता है कि total_count पुराने Github API प्रतिक्रिया से है? क्या हम TotalCount पर PaginatedList TotalCount विशेषता को हटा दें क्योंकि इसका कार्यान्वयन टूट गया है और हमेशा None लौटाता है। इसके बजाय, हम डॉक्स में कुछ जोड़ सकते हैं जैसे:

# To get the total number of available elements in PaginatedList
repos = g.get_user().get_repos()
print(len(list(repos)))  # we can't avoid to iterate through the whole set to get total count

और शायद हम मौजूदा तत्वों की गिनती वापस करने के लिए __len__ को लागू कर सकते हैं?

मुझे लगता है कि जीथब एपीआई एक क्वेरी के लिए पृष्ठों की कुल राशि लौटाएगा, इसलिए यदि आप per_page=1 सेट करते हैं तो आपको एक अनुरोध से कुल आइटम प्राप्त करने में सक्षम होना चाहिए। यह पुनरावृति (बड़े परिणाम सेट के लिए) की तुलना में बहुत अधिक कुशल हो सकता है।

@ Tommos0 मैं देख रहा हूँ, यह शायद एक अच्छा विचार है। हम भी एक कर सकते हैं HEAD के बजाय GET बस को पुनः प्राप्त करने Link हैडर।

इस समस्या को स्वचालित रूप से पुराने के रूप में चिह्नित कर दिया गया है क्योंकि इसमें हाल की गतिविधि नहीं है। आगे कोई गतिविधि नहीं होने पर इसे बंद कर दिया जाएगा। आपके योगदानों के लिए धन्यवाद।

#820 . में फिक्स्ड