Пожалуйста, не стесняйтесь, так как я новичок в Python и github в целом.
Я использую запросы для очистки данных из Play Store. Мне нужно сделать большое количество запросов (около 20к). Он отлично работает примерно с 3000-4000 запросов, но после этого зависает (ошибка SSL). Я не знаком с SSL и запросами, поэтому не знаю, чем это вызвано.
Ошибка:
(SSLError Traceback (most recent call last)
<ipython-input-23-1da544640d89> in <module>()
53 time.sleep(0.1)
54
---> 55 r = requests.get('https://play.google.com' + link + '&hl=en')
56 link_tree = html.fromstring(r.content)
57 description = link_tree.xpath('//div[@jsname="C4s9Ed"]/text()') + link_tree.xpath('//div[@jsname="C4s9Ed"]/p/text()')
C:\Users\Nathan\AppData\Local\Enthought\Canopy\User\lib\site-packages\requests\api.pyc in get(url, params, **kwargs)
65
66 kwargs.setdefault('allow_redirects', True)
---> 67 return request('get', url, params=params, **kwargs)
68
69
C:\Users\Nathan\AppData\Local\Enthought\Canopy\User\lib\site-packages\requests\api.pyc in request(method, url, **kwargs)
51 # cases, and look like a memory leak in others.
52 with sessions.Session() as session:
---> 53 return session.request(method=method, url=url, **kwargs)
54
55
C:\Users\Nathan\AppData\Local\Enthought\Canopy\User\lib\site-packages\requests\sessions.pyc in request(self, method, url, params, data, headers, cookies, files, auth, timeout, allow_redirects, proxies, hooks, stream, verify, cert, json)
466 }
467 send_kwargs.update(settings)
--> 468 resp = self.send(prep, **send_kwargs)
469
470 return resp
C:\Users\Nathan\AppData\Local\Enthought\Canopy\User\lib\site-packages\requests\sessions.pyc in send(self, request, **kwargs)
574
575 # Send the request
--> 576 r = adapter.send(request, **kwargs)
577
578 # Total elapsed time of the request (approximately)
C:\Users\Nathan\AppData\Local\Enthought\Canopy\User\lib\site-packages\requests\adapters.pyc in send(self, request, stream, timeout, verify, cert, proxies)
445 except (_SSLError, _HTTPError) as e:
446 if isinstance(e, _SSLError):
--> 447 raise SSLError(e, request=request)
448 elif isinstance(e, ReadTimeoutError):
449 raise ReadTimeout(e, request=request)
SSLError: EOF occurred in violation of protocol (_ssl.c:590) )
The-efi на этом github, похоже, имел ту же проблему в этом потоке: https://github.com/kennethreitz/requests/issues/3006 (см. Ниже, он не был OP), но я не смог найти нить, которую он открыл для дальнейшей помощи. Я использую Python 2.7. также.
Я застрял на этом довольно долгое время, и я не могу найти здесь ни ответа, ни StackOverflow (ответ, вероятно, был прямо у меня под носом, но у меня были проблемы с их пониманием из-за отсутствия знаний в SSL и запросах) .
Заранее благодарим вас за помощь и извините, если что-то неясно - дайте мне знать.
Когда вы говорите, что застряли, возникает ли исключение? Или дополнительные запросы не работают? Я спрашиваю, потому что возникают временные сетевые ошибки _до_, и если вы делаете большое количество веб-запросов, вам следует подумать о реализации какой-то логики повторных попыток на их основе.
Исключение срабатывает. Дополнительные запросы вроде работают, но я еще не пробовал реализовать повтор. Я боялся, что нарушаю правила отправки слишком большого количества запросов к серверу или чему-то в этом роде.
Я обязательно попробую это и обновлю эту ветку. Спасибо!
Что ж, чего бы это ни стоило, поскольку вы используете requests.*
вы подвергаете себя большему риску перегрузки сетевых ресурсов между вами и сервером. Вам следует попробовать использовать сеанс .
Для тех, у кого есть эта проблема:
Я исправил это, следуя предложениям @Lukasa , и добавил это сразу после импорта запросов:
import requests
sess = requests.Session()
adapter = requests.adapters.HTTPAdapter(max_retries = 20)
sess.mount('http://', adapter)
Затем, когда я раньше использовал requests.get()
, я использовал sess.get()
.
Надеюсь, это поможет, и спасибо за помощь @Lukasa !
У меня было точно такое же сообщение об ошибке, проблема в том, что у меня не установлен ndg-httpsclient
@variable Я установил ndg-httpsclient, но та же ошибка: urllib.error.URLError :
Самый полезный комментарий
У меня было точно такое же сообщение об ошибке, проблема в том, что у меня не установлен ndg-httpsclient
https://github.com/kennethreitz/requests/issues/3605