Requests: TLSSNIサポート

stdlibのsslモジュールの上にあるPython2.xでは不可能です。

ツイストしましたよね？ おそらくpyopensslまたは他のsslモジュールに依存する時間ですか？

Py32 +のSNIサポートを追加するurllib3のプルリクエストがありますが、それでもテストカバレッジが必要です。 https://github.com/shazow/urllib3/pull/89

shzow：ポインタをありがとう。 残念ながら、Twisted / Flaskを使用しています。つまり、2.7に固執しています。 ツイストすると、このようなことができるようですが、例は見ていません。これを行うには、pyopenssl +ツイストデコードが必要になります。 これをやってのけるためのどちらの専門家でもありません。 この時点で、wgetのようなコマンドラインユーティリティをラップすることを考えているだけです... :(

PyOpenSSLは2.xでそれを実行できるはずです。 だから希望があります。

私はそれをpyopensslで動作させることができました。 しかし、私はまだそれを正しくねじって行うのに苦労しています。 http://pbin.be/show/719/-一種の作品。 しかし、それが有用であるためには、その上にAPIを構築する必要があります。 正しいコンテキストをエージェントに渡す方法がまだわかりません。

ルカサ：これは解決されましたか？

いいえ。shazow/ urllib3＃89でブロックされています。

統合。 続ける。 :)

現在のところ、Py32 +でのみサポートされていることに注意してください。 しかし、始めるには十分なはずです。

別の公正な警告：Py32の一部のテストは、現在urllib3マスターで失敗しています。 これを解決するためのいくつかの助けをいただければ幸いです（そしてこの機能に影響を与える可能性があります）： https ：

py26、py27、py32、py33のarchlinuxx64で動作します

ああ、これがOSX上にあることを証明すべきだった。 ScumbagOSX。

t-8ch：sniテストはpy26 / 27/32と33に合格していますか？

SNIテストはpy2でも実行されませんが、py32とpy33では機能します。
py32より前の標準ライブラリのsslモジュールでSNIを実行する方法はありません。

@shazow ：おそらく、urllib3をPyOpenSSLに依存させることに興味はありませんか？

PyOpenSSLサポートを介してSSLをurllib3に追加する別のライブラリがあれば嬉しいです。

@ t-8chがurllib3の作業で公園からそれをノックアウトしているようです。 これをいつ閉じることができるかを彼に教えてあげましょう。

urllib3には、python2でのSNIのオプションのサポートがありますが、いくつかのオプションの依存関係があります。 （ urllib3＃156を参照）。

私はこれが以下を使用して機能するはずだと信じています：

from requests.packages.urllib3.contrib import pyopenssl
pyopenssl.inject_into_urllib3

これを追加した後packagesでsetup.py

requests.packages.urllib3.contrib

contribパッケージはデフォルトではインポートされないことに注意してください。

リクエストでSNIを有効にするには、基本的に2つの方法があります。

• 基本的に上記のコードを実行するSNIを手動で有効にする関数を作成します。 （欠点は、ユーザーがSNIサポートを明示的に有効にする必要があることです）。
• 前提条件をインポートしてみてください。 それらが存在する場合は、SNIを有効にします。そうでない場合は、有効にしません。

私は両方の選択肢のいずれかを実装することに問題はありませんが、どちらがリクエストに適しているかを知りたいと思います。 私は個人的に2番目の選択肢に投票します。

ところで：urllib3からのサポートがあるので、問題を再開できますか？

私は実際に前者を好みます。なぜなら、それを必要とする人々は彼らがそれを必要とすることを知っている人々であり、彼らはそれがあまり多くの苦情を引き起こさないほど十分に少ないからです。 ただし、既存のAPIと一貫性を保つ場合は、後者が実装方法になります。 現在、urllib3（およびリクエスト）は、sslモジュールが存在しない状態でHTTPSリクエストを送信するためのAPIを提供しますが、sslモジュールが使用できない場合は失敗します。 言い換えれば、APIはそこにあり、それを使用することはできますが、それは機能せず、それは例外によって示されます。

これを再開することに関しては、それは@kennethreitz次第です。 もちろん（これらすべてを含む）問題は、現在機能がフリーズしていることです（＃1165、＃1168）。そのため、受け入れられない可能性があるため、作業を行う価値があるかどうかはわかりません。

もう少し明確にしましょう。2番目の選択肢が意味するのは、「オプションのdepが利用できる場合は、SNIを使用してみてください。ただし、SSLは常に使用されているため、使用しないでください」ということです。 これは、これまで存在していたものを壊してはなりません。

問題を再開する（または再開しない）ことに関しては、私見、この問題は軽視されるべきではありません。 多くのシナリオでSNIがサポートされていないと、リクエストが役に立たなくなる可能性があります。 特に、SNIのない単一のIPv4ホスト上の複数のドメインは不可能になります。 また、追加のIPv4アドレスは、多くのユーザーにとって問題外です（コストがかかるため）。

いずれにせよ、これは半分の機能、半分のバグですが、問題の再開に関する@kennethreitzの返信をお待ちしています。

Hugo：pip install -Uリクエストを実行しましたが、contribをインポートできない場合。
どうすれば修正できますか？ （Importerror：contribという名前のモジュールはありません）。

2013年5月3日金曜日午後1時12分、Hugo Osvaldo Barrera <
[email protected]>は次のように書いています：

urllib3には、python2でのSNIのオプションのサポートがありますが、いくつかあります。
オプションの依存関係。 （urllib3＃156https：//github.com/shazow/urllib3/pull/156を参照してください
）。

私はこれが以下を使用して機能するはずだと信じています：

requests.packages.urllib3.contribからimportpyopenssl
pyopenssl.inject_into_urllib3

contribパッケージはデフォルトではインポートされないことに注意してください。

リクエストでSNIを有効にするには、基本的に2つの方法があります。

• 基本的に上記を実行するSNIを手動で有効にする関数を作成します
  コード。 （欠点は、ユーザーがSNIを明示的に有効にする必要があることです
  サポート）。
• 前提条件をインポートしてみてください。 それらが存在する場合は、SNIを有効にします。それ以外の場合は有効にします。
  しないでください。

私は両方の選択肢のいずれかを実装することに問題はありませんが、
どちらがリクエストに適しているかを知るため。 私は個人的に投票します
2番目の選択肢。

—
このメールに直接返信するか、Gi tHubhttps：//github.com/kennethreitz/requests/issues/749#issuecomment-17406518で表示してください
。

requestのsetup.pyにはそのパッケージ（ソースはありますが、インストール/パッケージ化時に除外されます）が含まれていないため、インストールされません。そのため、次のように述べました。

これをpackages in setup.py追加した後
requests.packages.urllib3.contrib

基本的にソースからインストールする必要があります。
興味があれば私のプルリクエストをチェックしてください。この作品を作るのはほんの数行です。 :)

「オプションのdepが利用できる場合は、SNIを使用してみてください。ただし、SSLは常に使用されているため、SSLを使用してください。」

ただし、SSLは常に存在するとは限りません。 それが私のポイントでした。 現在、私たちはそれを使用しようとしていますが、それがなく、ユーザーがhttpsリクエストを行おうとすると、一生懸命失敗します。 あなたがそれを説明したように、私はSNIがユーザーにurllib3にいくつかの追加の概念を渡すことを要求するだろうという印象を受け、あなたはそれのセットアップだけに集中していました。 必要なのが＃1347だけの場合、私は100％遅れています。

これがデフォルト（SNIサポート）であり、リクエストがあれば本当にいいでしょう
追加のコードやソースからのセットアップなしで動作します。 urllib3の場合、その2
コード行。 それをリクエストに追加してみませんか。 私は夢を見ていますか？ :)

10：43 PMで金、2013年5月3日には、イアンCordascoの[email protected] ：

「オプションのdepsが利用可能な場合は、SNIを使用してみてください。ただし、SSLを次のように使用してください。
私たちはいつもそれを持っていますが、そうではありません。」

ただし、SSLは常に存在するとは限りません。 それが私のポイントでした。 現在、私たちは
それを使用しますが、それがなく、ユーザーが作成しようとすると、ハードかつ迅速に失敗します
httpsリクエスト。 あなたがそれを説明したように、私は
印象SNIは、ユーザーがurllib3にいくつかの追加の概念を渡すことを要求します
そして、あなたはそれのためのセットアップだけに焦点を合わせていました。 それがすべて必要な場合
は＃1347 https://github.com/kennethreitz/requests/issues/1347で、私は
これの100％後ろ。

—
このメールに直接返信するか、Gi tHubhttps：//github.com/kennethreitz/requests/issues/749#issuecomment-17426626で表示してください
。

@pythonmobileはトップをスピンします。 それが回転を止めないなら、あなたは夢を見ています。

私と同じ問題に遭遇するかもしれない他の人のためにコメントを残す：
requestsライブラリを使用して安全なリクエストを行うのに問題がある場合、特にGoogle App Engineでホストされているアプリをヒットしようとしている場合は、これが理由である可能性があります。 私が見たエラーは「プロトコルに違反してEOFが発生しました」でした。 これを診断するには、 s_clientを使用して同じホストをヒットしてみてください（ example.comを問題のホストに置き換えてください）。

openssl s_client -connect example.com:443
openssl s_client -connect example.com:443 -servername example.com

最初のコマンドが「ハンドシェイクの失敗」で失敗し、2番目のコマンドが成功した場合は、SNIを使用するサーバーにアクセスしようとしています。 現在のスレッドには、この状況でrequestsを機能させる方法に関するいくつかの良い情報があります。 私がしたことは、ipythonでfrom requests.packages.urllib3.contrib import pyopensslを実行しようとしたことで、インポートエラーがあればpipでインストールし続けました。 YMMV。

@mshangバージョン1.2.3は、すでにこれを行っているはずです。 そのバージョンを実行していますか？

@hobarreraはい、1.2.3を実行しています。 requests.packages.urllib3.contribはそこにありましたが、そのインポートステートメントはまだたくさんのインポートエラーをスローしました。 ndg-httpsclientをインストールする必要がありましたが、他に何があるか忘れてしまいました。

正しい。 リクエストは、必要なモジュールをインポートしようとするだけで、あきらめられない場合は、その寿命を継続します。 ただし、リクエストでSNIを使用するために必要なものを文書化することをお勧めします。

これは、 requests / packages / urllib3 / contrib /pyopenssl.pyで指定されてい

• pyOpenSSL（0.13でテスト済み）
• ndg-httpsclient（0.3.2でテスト済み）
• pyasn1（0.1.6でテスト済み）

（または、常に機能するpython3.2以降）

現在、SNIではリクエストとurllib3の両方が壊れているようです。 一つ
問題は、timeout = 5.0を追加すると、コードの動作が異なることです。
タイムアウトなし。 2番目の問題は、存在しないドメインに関するものです。
テストでは、SNIドメインを追加する必要があります。
頂点/ httpbin /。 どちらもSNIの使用法をまったく反映していません。

2013年6月10日月曜日午前4時57分、ThomasWeißschuh
[email protected] ：

これは、requests / packages / urllib3 / contrib / pyopensslで指定されています。 pyhttps：//github.com/kennethreitz/requests/blob/master/requests/packages/urllib3/contrib/pyopenssl.py
：

• pyOpenSSL（0.13でテスト済み）
• ndg-httpsclient（0.3.2でテスト済み）
• pyasn1（0.1.6でテスト済み）

（または、常に機能するpython3.2以降）

—
このメールに直接返信するか、Gi tHubhttps：//github.com/kennethreitz/requests/issues/749#issuecomment-19187417で表示してください
。

@pythonmobileその場合で、再現性の高いテストケースがある場合は、urllib3でそれを強調する問題を開いてください。 Requestsには（私が知る限り）SNI固有のコードがないので、そこで修正すると私たちも修正されます。

urllib3がすでに修正されていない限り、これは最近頻繁に発生しているようです。 Shazow_et。 al._はかなり素晴らしいです。 @ t-8ch、皆さんはこれをすでに見たり修正したりしましたか？

リクエストでテストを作成すると、作成とテストが簡単になると思いますが、それは主にurllib3コードをテストすることを意味するだけです。 そうすれば、sniが壊れているかどうかにかかわらず、リクエストでurllib3をインポートするたびにチェックし、アラームを発生させるのが簡単になります。 リクエストテストはすぐに作成します。

申し訳ありませんが@pythonmobile 、同意しません。 =）

SNIは明示的にurllib3機能です。 SNIがurllib3で壊れている場合は、そのプロジェクトに修正、テスト、または少なくともバグレポートを提供する必要があります。 そのプロジェクトが修正されると、リクエストも魔法のように修正されます（次に、かなり頻繁に行うurllib3を更新するとき）。 =）

@Lukasaが言ったように、リクエストのテストを増やしても問題はありませんが、これを実際に修正したい場合は、urllib3のテストを作成する必要があります。 :)

私たちはすでに同様の流れで多くのテストを行っており、助けが必要な場合は私にpingを送信します。

pyOpenSSLのタイムアウト動作は
標準のSSLモジュール：

from OpenSSL import SSL
import socket
import ssl

sock = socket.create_connection(('httpbin.org', 443), timeout=4.0)
ssl_sock = ssl.wrap_socket(sock)
ssl_sock.send('GET /ip HTTP/1.1\r\nHost: httpbin.org\r\n\r\n')
print(ssl_sock.recv(10000))

ctx = SSL.Context(SSL.TLSv1_METHOD)
sock = socket.create_connection(('httpbin.org', 443), timeout=4.0)
ctn = SSL.Connection(ctx, sock)
ctn.set_connect_state()

ctn.send('GET /ip HTTP/1.1\r\nHost: httpbin.org\r\n\r\n')
print(sock.read(10000))

これはWantReadErrorスローします。これは、urllib3からもスローされます。
タイムアウトを指定する場合。

ドキュメントには
これはエラーについて言うために：

The operation did not complete; the same I/O method should be called again
later, with the same arguments. Any I/O method can lead to this since new
handshakes can occur at any time.

The wanted read is for dirty data sent over the network, not the clean data
inside the tunnel. For a socket based SSL connection, read means data coming at
us over the network. Until that read succeeds, the attempted
OpenSSL.SSL.Connection.recv, OpenSSL.SSL.Connection.send, or
OpenSSL.SSL.Connection.do_handshake is prevented or incomplete. You probably
want to select() on the socket before trying again. 

タイムアウトをどこで処理するかわかりません。 ソケットは魔法のように
select()呼び出しのタイムアウトを覚えておいてください。それとも、これは
urllib3？
手作業でタイムアウトを追跡することは、あまり面白く聞こえません。

@pythonmobile存在しないドメインとはどういう意味ですか。 私はあなたについていくことができません。

@pythonmobile shazow / urllib3＃233からの変更を試して、コードがpyopensslとタイムアウトで機能するかどうかを確認できますか？

@ t-8ch @pythonmobile ：このスレッドもご覧いただけますか： //github.com/kennethreitz/requests/issues/1522#issuecomment -22443282

これらのリクエストは、urllib3またはリクエスト内の単体テストで取得すると便利です。

これらを単体テストとして取得する場合の問題は、非常に特定の構成でのみ表示されることです。 たとえば、Windows、OS X、Ubuntuのいずれのシステムでも、この問題の後半または＃1522を再現することはできませんでした。 そのため、 @ pythonmobileに再現可能なurllib3で魔法のように修正することを期待して立ち往生しています。

注意：@ t-8ch、こことurllib3両方で、あなたの仕事に十分に感謝しているとは思いません。 あなたは素晴らしいです。 = D：ケーキ::パイナップル::バナナ::クッキー::ビール：

@lukasaありがとう：smile：将来、 AUTHORS.txt自分を追加できると思います。

@ t-8chやる。 ：+1：

shazow / urllib3＃233（現在はurllib3マスターにプルされています）の変更により、一部のURL、一部の構成で発生した問題（ SSLError('bad handshake', WantReadError()) ）が修正されました：rage4:。 これをリクエストマスターに取り込むことはできますか？

@rcoup 2.0がリリースされ

Python 2.7.6を実行していますが、pyOpenSSLをインストールできません。 私はhtisの投稿で回避策を試しました-> https://stackoverflow.com/questions/18578439/using-requests-with-tls-doesnt-give-sni-support/18579484#18579484

Pythonでもアップグレードできません。 他の解決策はありますか？

「inject_into_urllib3（）」の無条件使用（存在する場合）の再検討をお願いします。

7年前に追加された目標は、「Python2のSNIサポートを追加する」ことでした。

「urllib3.contrib.pyopenssl.inject_into_urllib3（）」は、「モンキーパッチurllib3とPyOpenSSLでサポートされたSSLサポート」について説明されています。
（https://github.com/urllib3/urllib3/blob/master/src/urllib3/contrib/pyopenssl.py）

正当化：
1：セキュリティ/安定性：サードパーティライブラリの標準ライブラリの使用を交換するためのモンキーパッチは、特にsslの場合、間違いなくより外科的である必要があります。 パッチがPython2でのサポート用である場合は、少なくともメジャーバージョンを確認してください。 またはさらに良いことに、SNIサポートがすでに存在するかどうかを確認してくださいssl.HAS_SNI 。

2：不要：2014年12月10日の時点で、Python3.4のsslモジュール全体がPython2.7.9用にバックポートされています。 正当化については、PEP466を参照してください。 https://www.python.org/downloads/release/python-279/。 これにより、> v2.7.9の標準ライブラリでSNIサポートが有効になります。

3：柔軟性がない：実装されているように、この動作を無効にする方法はありません。 requestsでpyopensslコンテキストが使用されないようにする唯一のオプションは、Python環境全体でpyopensslをアンインストールすることです。