Requests: SSLError: EOF произошел с нарушением протокола (_ssl.c: 590)

Созданный на 9 июл. 2016  ·  6Комментарии  ·  Источник: psf/requests

Пожалуйста, не стесняйтесь, так как я новичок в Python и github в целом.

Я использую запросы для очистки данных из Play Store. Мне нужно сделать большое количество запросов (около 20к). Он отлично работает примерно с 3000-4000 запросов, но после этого зависает (ошибка SSL). Я не знаком с SSL и запросами, поэтому не знаю, чем это вызвано.

Ошибка:

(SSLError                                  Traceback (most recent call last)
<ipython-input-23-1da544640d89> in <module>()
     53         time.sleep(0.1)
     54 
---> 55         r = requests.get('https://play.google.com' + link + '&hl=en')
     56         link_tree = html.fromstring(r.content)
     57         description = link_tree.xpath('//div[@jsname="C4s9Ed"]/text()') + link_tree.xpath('//div[@jsname="C4s9Ed"]/p/text()')

C:\Users\Nathan\AppData\Local\Enthought\Canopy\User\lib\site-packages\requests\api.pyc in get(url, params, **kwargs)
     65 
     66     kwargs.setdefault('allow_redirects', True)
---> 67     return request('get', url, params=params, **kwargs)
     68 
     69 

C:\Users\Nathan\AppData\Local\Enthought\Canopy\User\lib\site-packages\requests\api.pyc in request(method, url, **kwargs)
     51     # cases, and look like a memory leak in others.
     52     with sessions.Session() as session:
---> 53         return session.request(method=method, url=url, **kwargs)
     54 
     55 

C:\Users\Nathan\AppData\Local\Enthought\Canopy\User\lib\site-packages\requests\sessions.pyc in request(self, method, url, params, data, headers, cookies, files, auth, timeout, allow_redirects, proxies, hooks, stream, verify, cert, json)
    466         }
    467         send_kwargs.update(settings)
--> 468         resp = self.send(prep, **send_kwargs)
    469 
    470         return resp

C:\Users\Nathan\AppData\Local\Enthought\Canopy\User\lib\site-packages\requests\sessions.pyc in send(self, request, **kwargs)
    574 
    575         # Send the request
--> 576         r = adapter.send(request, **kwargs)
    577 
    578         # Total elapsed time of the request (approximately)

C:\Users\Nathan\AppData\Local\Enthought\Canopy\User\lib\site-packages\requests\adapters.pyc in send(self, request, stream, timeout, verify, cert, proxies)
    445         except (_SSLError, _HTTPError) as e:
    446             if isinstance(e, _SSLError):
--> 447                 raise SSLError(e, request=request)
    448             elif isinstance(e, ReadTimeoutError):
    449                 raise ReadTimeout(e, request=request)

SSLError: EOF occurred in violation of protocol (_ssl.c:590) )

The-efi на этом github, похоже, имел ту же проблему в этом потоке: https://github.com/kennethreitz/requests/issues/3006 (см. Ниже, он не был OP), но я не смог найти нить, которую он открыл для дальнейшей помощи. Я использую Python 2.7. также.

Я застрял на этом довольно долгое время, и я не могу найти здесь ни ответа, ни StackOverflow (ответ, вероятно, был прямо у меня под носом, но у меня были проблемы с их пониманием из-за отсутствия знаний в SSL и запросах) .

Заранее благодарим вас за помощь и извините, если что-то неясно - дайте мне знать.

Самый полезный комментарий

У меня было точно такое же сообщение об ошибке, проблема в том, что у меня не установлен ndg-httpsclient

https://github.com/kennethreitz/requests/issues/3605

Все 6 Комментарий

Когда вы говорите, что застряли, возникает ли исключение? Или дополнительные запросы не работают? Я спрашиваю, потому что возникают временные сетевые ошибки _до_, и если вы делаете большое количество веб-запросов, вам следует подумать о реализации какой-то логики повторных попыток на их основе.

Исключение срабатывает. Дополнительные запросы вроде работают, но я еще не пробовал реализовать повтор. Я боялся, что нарушаю правила отправки слишком большого количества запросов к серверу или чему-то в этом роде.

Я обязательно попробую это и обновлю эту ветку. Спасибо!

Что ж, чего бы это ни стоило, поскольку вы используете requests.* вы подвергаете себя большему риску перегрузки сетевых ресурсов между вами и сервером. Вам следует попробовать использовать сеанс .

Для тех, у кого есть эта проблема:

Я исправил это, следуя предложениям @Lukasa , и добавил это сразу после импорта запросов:

import requests
sess = requests.Session()
adapter = requests.adapters.HTTPAdapter(max_retries = 20)
sess.mount('http://', adapter)

Затем, когда я раньше использовал requests.get() , я использовал sess.get() .

Надеюсь, это поможет, и спасибо за помощь @Lukasa !

У меня было точно такое же сообщение об ошибке, проблема в том, что у меня не установлен ndg-httpsclient

https://github.com/kennethreitz/requests/issues/3605

@variable Я установил ndg-httpsclient, но та же ошибка: urllib.error.URLError :

Была ли эта страница полезной?
0 / 5 - 0 рейтинги