Requests: TLS SNI 지원

stdlib의 ssl 모듈 위에 있는 Python 2.x에서는 불가능합니다.

트위스트, 맞죠? 아마도 pyopenssl 또는 다른 SSL 모듈에 의존할 시간입니까?

Py32+에 대한 SNI 지원을 추가하는 urllib3에 대한 풀 요청이 있지만 여전히 테스트 커버리지가 필요합니다. https://github.com/shazow/urllib3/pull/89

shzow: 포인터 주셔서 감사합니다. 불행히도 Twisted/Flask를 사용하고 있습니다. 즉, 2.7에 고정되어 있습니다. 트위스트는 이와 같은 작업을 수행할 수 있지만 예제를 본 적이 없으며 이를 수행하려면 pyopenssl + 트위스트 디코딩이 필요합니다. 이 문제를 해결하는 데 전문가가 아닙니다. 이 시점에서 wget과 같은 일부 명령줄 유틸리티를 래핑하는 것을 생각하면 됩니다... :(

PyOpenSSL은 2.x에서 이를 수행할 수 있어야 합니다. 그래서 희망이 있습니다.

pyopenssl과 함께 작동하도록 할 수 있습니다. 하지만 여전히 제대로 된 트위스트 작업을 수행하는 데 어려움을 겪고 있습니다. http://pbin.be/show/719/ -- 일종의 작품. 그러나 유용하려면 API를 빌드해야 합니다. 에이전트에게 올바른 컨텍스트를 전달하는 방법을 여전히 알 수 없습니다.

루카사: 해결되었나요?

아니오. 우리는 shazow/urllib3#89에서 차단되었습니다.

병합됨. 계속하십시오. :)

지금은 Py32+에서만 지원됩니다. 그래도 시작하기에 충분해야 합니다.

또 다른 공정한 경고: Py32에 대한 일부 테스트가 현재 urllib3 마스터에서 실패하고 있습니다. 이 문제를 해결하는 데 도움을 주시면 감사하겠습니다(이 기능에 영향을 미칠 수 있음): https://github.com/shazow/urllib3/issues/128

py26, py27, py32, py33의 archlinux x64에서 작동합니다.

아, 이것이 OSX에 있다는 것을 인증했어야 했습니다. 쓰레기 OSX.

t-8ch: sni 테스트가 py26/27/32 및 33을 통과합니까?

SNI 테스트는 py2에서도 실행되지 않지만 py32 및 py33에서는 작동합니다.
py32 이전에는 표준 라이브러리의 ssl 모듈로 SNI를 수행할 수 있는 방법이 없습니다.

@shazow : 아마도 urllib3을 PyOpenSSL에 의존하게 만드는 데 관심이 없습니까?

PyOpenSSL 지원을 통해 urllib3에 SSL을 추가하는 별도의 라이브러리가 있으면 좋겠습니다.

@t-8ch가 urllib3에 대한 작업으로 공원 밖으로 노크하고 있는 것 같습니다. 언제 닫을 수 있는지 알려드리겠습니다.

urllib3에는 몇 가지 선택적 종속성이 있지만 python2와 함께 SNI에 대한 선택적 지원이 있습니다. ( urllib3#156 참조).

나는 이것이 다음을 사용하여 작동해야한다고 믿습니다.

from requests.packages.urllib3.contrib import pyopenssl
pyopenssl.inject_into_urllib3

이것을 setup.py packages 에 추가한 후

requests.packages.urllib3.contrib

contrib 패키지는 기본적으로 가져오지 않습니다.

요청에서 SNI를 활성화하는 기본적으로 두 가지 대안이 있습니다.

• 기본적으로 위의 코드를 실행하는 SNI를 수동으로 활성화하는 함수를 만듭니다. (단점은 사용자가 SNI 지원을 명시적으로 활성화해야 한다는 것입니다.)
• 전제 조건을 가져오십시오. 존재하는 경우 SNI를 활성화하고 그렇지 않으면 활성화하지 마십시오.

요청에 대해 선호하는 것이 무엇인지 알고 싶지만 두 가지 대안을 모두 구현하는 데 문제가 없습니다. 저는 개인적으로 두 번째 대안에 투표합니다.

BTW: 이제 urllib3에서 지원을 받았으니 문제를 다시 열 수 있습니까?

나는 그것을 필요로 하는 사람들이 그것을 필요로 한다는 것을 아는 사람들이고 그것이 너무 많은 불만을 야기하지 않을 만큼 충분히 적기 때문에 나는 실제로 전자를 선호합니다. 그러나 기존 API와 일관성을 유지하려면 후자가 이를 구현하는 방법이 될 것입니다. 현재 urllib3(및 요청)은 ssl 모듈 없이 HTTPS 요청을 보내는 API를 제공하지만 ssl 모듈을 사용할 수 없는 경우 실패합니다. 즉, API가 있고 사용할 수 있지만 작동하지 않으며 예외로 표시됩니다.

이것을 다시 여는 것은 @kennethreitz에 달려 있습니다. 물론 (이 모든 것과 함께) 문제는 우리가 현재 기능 동결(#1165, #1168) 상태에 있다는 것입니다. 그래서 그 작업이 받아들여지지 않을 수 있기 때문에 그 작업이 가치가 있는지 확신할 수 없습니다.

좀 더 명확하게 설명하겠습니다. 두 번째 대안이 의미하는 바는 "선택적 deps를 사용할 수 있는 경우 SNI를 사용하려고 시도하지만 항상 사용하지 않는 SSL을 계속 사용하십시오."입니다. 이것은 지금까지 존재하는 어떤 것도 깨뜨리지 않아야 합니다.

IMHO 문제를 다시 여는 것과 관련하여 이 문제를 가볍게 여겨서는 안 됩니다. 요청은 많은 시나리오에서 SNI 지원 없이는 쓸모없게 될 수 있습니다. 특히 SNI가 없는 단일 IPv4 호스트의 여러 도메인은 불가능합니다. 그리고 추가 IPv4 주소는 많은 사용자에게 문제가 되지 않습니다(비용 때문에).

어쨌든 이것은 절반은 기능이고 절반은 버그이지만 문제를 다시 여는 것과 관련하여 겠습니다 .

Hugo: 방금 pip install -U 요청을 수행했는데 기여를 가져올 수 없을 때입니다.
어떻게 수정합니까? (가져오기 오류: contrib라는 모듈이 없습니다).

2013년 5월 3일(금) 오후 1시 12분, Hugo Osvaldo Barrera <
[email protected]>은 다음과 같이 썼습니다.

urllib3에는 python2가 포함된 SNI에 대한 선택적 지원이 있습니다.
선택적 종속성. (urllib3#156https://github.com/shazow/urllib3/pull/156 참조
).

나는 이것이 다음을 사용하여 작동해야한다고 믿습니다.

requests.packages.urllib3.contrib에서 pyopenssl 가져오기
pyopenssl.inject_into_urllib3

contrib 패키지는 기본적으로 가져오지 않습니다.

요청에서 SNI를 활성화하는 기본적으로 두 가지 대안이 있습니다.

• 기본적으로 위를 실행하는 SNI를 수동으로 활성화하는 함수 생성
  암호. (단점은 사용자가 SNI를 명시적으로 활성화해야 한다는 것입니다.
  지원하다).
• 전제 조건을 가져오십시오. 존재하는 경우 SNI를 활성화하고 그렇지 않은 경우
  하지마.

나는 두 가지 대안을 모두 구현하는 데 문제가 없지만 선호합니다.
요청에 대해 선호하는 것이 무엇인지 알 수 있습니다. 개인적으로 투표합니다
두 번째 대안.

—
이 이메일에 직접 답장하거나 Gi tHubhttps://github.com/kennethreitz/requests/issues/749#issuecomment -17406518에서 확인하세요.
.

요청의 setup.py에는 해당 패키지(소스가 있지만 설치/패키징 시 제외됨)가 포함되어 있지 않으므로 설치되지 않았으므로 다음과 같이 언급했습니다.

이것을 packages in setup.py 추가한 후
요청.패키지.urllib3.contrib

기본적으로 소스에서 설치해야 합니다.
관심이 있다면 내 pull request를 확인하세요. 이 작업을 수행하는 것은 몇 줄에 불과합니다. :)

"선택 사항인 deps를 사용할 수 있는 경우 SNI를 사용하려고 시도하지만 항상 SSL을 사용하지 않으므로 SSL을 계속 사용하십시오."

SSL이 항상 존재하는 것은 아닙니다. 그게 내 요점이었다. 현재 우리는 그것을 시도하고 사용하지만 우리가 그것을 가지고 있지 않고 사용자가 https 요청을 하려고 하면 힘들고 빠르게 실패합니다. 당신이 그것을 설명한 방식으로, 나는 SNI가 사용자에게 약간의 추가 개념을 urllib3에 전달하도록 요구할 것이라는 인상을 받았고 당신은 그것에 대한 설정에만 집중하고 있었습니다. 필요한 모든 것이 # 1347이라면 나는 100 % 뒤에 있습니다.

이것이 기본(SNI 지원) 및 요청이라면 정말 좋을 것입니다.
소스에서 추가 코드나 설정 없이 작동합니다. urllib3의 경우 2
코드 줄. 요청에 추가하지 않는 이유는 무엇입니까? 내가 꿈을 꾸고 있는 걸까? :)

2013년 5월 3일 금요일 오후 10시 43분, Ian Cordasco [email protected]이 다음과 같이 작성했습니다.

"선택적인 deps를 사용할 수 있는 경우 SNI를 사용하려고 시도하지만 여전히 SSL을
우리는 항상 그것을 가지고 있습니다."

SSL이 항상 존재하는 것은 아닙니다. 그게 내 요점이었다. 현재 우리는 시도하고
그것을 사용하지만 우리가 그것을 가지고 있지 않고 사용자가 만들려고 하면 힘들고 빠르게 실패합니다.
https 요청. 당신이 그것을 설명한 방식으로, 나는 아래에 있었다
인상 SNI는 사용자가 urllib3에 몇 가지 추가 개념을 전달하도록 요구합니다.
그리고 당신은 단지 그것을 위한 설정에만 집중하고 있었습니다. 모든 것이 필요한 경우
https://github.com/kennethreitz/requests/issues/1347 은 #1347이고 저는
100% 뒤에 있습니다.

—
이 이메일에 직접 답장하거나 Gi tHubhttps://github.com/kennethreitz/requests/issues/749#issuecomment -17426626에서 확인하세요.
.

@pythonmobile 스핀 탑. 회전이 멈추지 않는다면 꿈을 꾸고 있는 것입니다.

저와 같은 문제를 겪을 수 있는 다른 사람들을 위해 댓글을 남겨주세요.
requests 라이브러리를 사용하여 보안 요청을 하는 데 문제가 있는 경우, 특히 Google App Engine에서 호스팅되는 앱을 조회하려고 할 때 이것이 그 이유일 수 있습니다. 내가 본 오류는 "EOF가 프로토콜을 위반하여 발생했습니다"였습니다. 이를 진단하려면 s_client 사용하여 동일한 호스트에 접속해 보십시오( example.com 를 해당 호스트로 교체).

openssl s_client -connect example.com:443
openssl s_client -connect example.com:443 -servername example.com

첫 번째 명령이 "핸드셰이크 실패"로 실패하고 두 번째 명령이 성공하면 SNI를 사용하는 서버를 공격하려는 것입니다. 현재 스레드에는 이 상황에서 requests 작동시키는 방법에 대한 좋은 정보가 있습니다. 내가 한 것은 ipython에서 from requests.packages.urllib3.contrib import pyopenssl 를 실행하려고 시도했고 가져오기 오류를 설치하는 동안 계속 pip를 실행했습니다. YMMV.

@mshang 버전 1.2.3은 이미 이 작업을 수행해야 합니다. 당신이 그 버전을 실행하고 있다고 확신합니까?

@hobarrera 예, 1.2.3을 실행 중입니다. requests.packages.urllib3.contrib 이 있었지만 해당 import 문은 여전히 ​​많은 가져오기 오류를 발생시켰습니다. ndg-httpsclient 를 설치해야 했는데 다른 것은 잊어버렸습니다.

옳은. 요청은 필요한 모듈을 가져오려고 시도하고, 포기할 수 없으면 수명을 계속합니다. 그러나 요청과 함께 SNI를 사용하는 데 필요한 사항을 문서화하는 것이 좋습니다.

이것은 requests/packages/urllib3/contrib/pyopenssl.py 에 지정되어 있습니다.

• pyOpenSSL(0.13으로 테스트)
• ndg-httpsclient(0.3.2로 테스트)
• pyasn1(0.1.6으로 테스트)

(또는 항상 작동하는 python3.2 이상)

현재 SNI에 대한 요청과 urllib3이 모두 손상된 것 같습니다. 하나
문제는 timeout=5.0을 추가하면 코드가 다음과 다르게 동작한다는 것입니다.
시간 초과 없이. 두 번째 문제는 존재하지 않는 도메인에 있습니다.
테스트는 다음에 의존하는 것에 비해 더 많은 SNI 도메인을 추가해야 합니다.
정점/httpbin/. 둘 다 SNI 사용을 전혀 반영하지 않습니다.

2013년 6월 10일 월요일 오전 4:57 Thomas Weißschuh
[email protected]작성 :

이것은 requests/packages/urllib3/contrib/pyopenssl에 지정되어 있습니다. pyhttps://github.com/kennethreitz/requests/blob/master/requests/packages/urllib3/contrib/pyopenssl.py
:

• pyOpenSSL(0.13으로 테스트)
• ndg-httpsclient(0.3.2로 테스트)
• pyasn1(0.1.6으로 테스트)

(또는 항상 작동하는 python3.2 이상)

—
이 이메일에 직접 답장하거나 Gi tHubhttps://github.com/kennethreitz/requests/issues/749#issuecomment -19187417에서 확인하세요.
.

@pythonmobile 그런 경우이고 재현 가능한 좋은 테스트 사례가 있는 경우 urllib3에서 이를 강조 표시하는 문제를 여십시오. 요청에는 (내가 아는 한) SNI 관련 코드가 없으므로 수정하면 우리도 수정할 수 있습니다.

urllib3가 이미 고정되어 있지 않는 한, 요즘 많이 일어나는 것 같습니다. Shazow_et. al._ 꽤 굉장합니다. @t-8ch, 이미 보셨거나 수정하셨나요?

요청에 테스트를 작성하면 작성 및 테스트가 더 쉬워지지만 대부분 urllib3 코드를 테스트한다는 의미일 뿐입니다. 그렇게 하면 요청에서 urllib3을 가져올 때마다 sni가 손상되었는지 여부를 확인하고 경보를 울리는 것이 더 쉬울 것입니다. 곧 요청 테스트를 작성하겠습니다.

@pythonmobile 죄송합니다. 동의하지 않습니다. =)

SNI는 명시적으로 urllib3 기능입니다. urllib3에서 SNI가 손상된 경우 해당 프로젝트에 수정 사항, 테스트 또는 최소한 버그 보고서를 제공해야 합니다. 해당 프로젝트가 수정되면 요청도 마법처럼 수정됩니다(다음에 상당히 자주 업데이트하는 urllib3을 업데이트할 때). =)

@Lukasa가 말했듯이 요청에 대한 더 많은 테스트가 확실히 문제가 되지는

우리는 이미 비슷한 맥락에서 많은 테스트를 진행하고 있습니다. 도움이 필요하면 저에게 핑을 보내주십시오.

pyOpenSSL의 시간 초과 동작이
표준 SSL 모듈:

from OpenSSL import SSL
import socket
import ssl

sock = socket.create_connection(('httpbin.org', 443), timeout=4.0)
ssl_sock = ssl.wrap_socket(sock)
ssl_sock.send('GET /ip HTTP/1.1\r\nHost: httpbin.org\r\n\r\n')
print(ssl_sock.recv(10000))

ctx = SSL.Context(SSL.TLSv1_METHOD)
sock = socket.create_connection(('httpbin.org', 443), timeout=4.0)
ctn = SSL.Connection(ctx, sock)
ctn.set_connect_state()

ctn.send('GET /ip HTTP/1.1\r\nHost: httpbin.org\r\n\r\n')
print(sock.read(10000))

이것은 WantReadError 을 던집니다. urllib3에서도 던진 것과 동일합니다.
시간 초과를 지정할 때.

문서 에는
오류에 대해 다음과 같이 말합니다.

The operation did not complete; the same I/O method should be called again
later, with the same arguments. Any I/O method can lead to this since new
handshakes can occur at any time.

The wanted read is for dirty data sent over the network, not the clean data
inside the tunnel. For a socket based SSL connection, read means data coming at
us over the network. Until that read succeeds, the attempted
OpenSSL.SSL.Connection.recv, OpenSSL.SSL.Connection.send, or
OpenSSL.SSL.Connection.do_handshake is prevented or incomplete. You probably
want to select() on the socket before trying again. 

시간 초과를 어디에서 처리해야 하는지 모르겠습니다. 소켓이 마술처럼 작동합니까?
select() 호출에 대한 시간 초과를 기억하거나 이것이 작업입니다.
urllib3?
시간 초과를 손으로 추적하는 것은 정말 재미없게 들립니다.

@pythonmobile 존재하지 않는 도메인이란 무엇을 의미합니까? 나는 당신을 따라갈 수 없습니다.

@pythonmobile shazow/urllib3#233의 변경 사항을 시도하고 코드가 pyopenssl 및 시간 초과에서 작동하는지 확인할 수 있습니까?

@t-8ch @pythonmobile : 이 스레드도 볼 수 있나요? https://github.com/kennethreitz/requests/issues/1522#issuecomment -22443282

urllib3 또는 요청 내부의 단위 테스트에서 이러한 요청을 얻는 것이 좋습니다.

이것을 단위 테스트로 얻을 때의 문제는 매우 특정한 구성에서만 나타난다는 것입니다. 예를 들어, Windows, OS X 또는 Ubuntu와 같은 시스템에서 이 문제의 후반부나 #1522를 재현할 수 없었습니다. 그래서 @pythonmobile 에 재현 가능한 단위 테스트를 요청 urllib3 에서 모든 문제를 마술처럼 해결하기를 바라는 데 갇히게 됩니다.

주의: @t-8ch, 여기와 urllib3 에서 당신의 일에 대해 충분히 감사하지 않다고 생각합니다. 당신은 굉장합니다. =D :케이크: :파인애플: :바나나: :쿠키: :맥주:

@lukasa 감사합니다 :smile: AUTHORS.txt 추가할 수 있을 것 같습니다.

@t-8ch 하세요. :+1:

shazow/urllib3#233(현재 urllib3 마스터로 가져옴)의 변경 사항은 일부 URL에서 발생하는 문제( SSLError('bad handshake', WantReadError()) )를 일부 구성:rage4:에서 수정합니다. 이것을 요청 마스터로 가져올 수 있습니까?

@rcoup 2.0을 릴리스하면 요청에 최신 버전을 가져올 것입니다. =)

Python 2.7.6을 실행 중이며 pyOpenSSL을 설치할 수 없습니다. htis 게시물 -> https://stackoverflow.com/questions/18578439/using-requests-with-tls-doesnt-give-sni-support/18579484#18579484 에서 해결 방법을 시도했습니다.

파이썬으로도 업그레이드할 수 없습니다. 다른 솔루션이 있습니까?

"inject_into_urllib3()"의 무조건적인 사용(있는 경우)을 재고할 것을 요청합니다.

7년 전에 추가된 목표는 "Python 2에 대한 SNI 지원 추가"였습니다.

"urllib3.contrib.pyopenssl.inject_into_urllib3()"은 "PyOpenSSL 지원 SSL 지원으로 urllib3을 원숭이 패치"로 설명합니다.
(https://github.com/urllib3/urllib3/blob/master/src/urllib3/contrib/pyopenssl.py)

정당화:
1: 보안/안정성: 타사 라이브러리에 대한 표준 라이브러리 사용을 교체하기 위한 원숭이 패치는 특히 ssl의 경우 틀림없이 더 외과적이어야 합니다. 패치가 Python2에서 지원을 위한 것이라면 최소한 주 버전을 확인하십시오. 또는 더 나은 방법으로 SNI 지원이 이미 ssl.HAS_SNI 있는지 확인하십시오.

2: 불필요: 2014년 12월 10일부터 Python 3.4의 ssl 모듈 전체가 Python 2.7.9용으로 백포트되었습니다. 정당성은 PEP 466을 참조하십시오. https://www.python.org/downloads/release/python-279/. 이것은 > v2.7.9에 대한 표준 라이브러리에서 SNI 지원을 가능하게 합니다.

3: 유연하지 않음: 구현된 대로 이 동작을 비활성화할 방법이 없습니다. requests pyopenssl 컨텍스트의 사용을 방지하는 유일한 옵션은 전체 Python 환경에서 pyopenssl을 제거하는 것입니다.