Aiohttp: Klien Websocket menggantung / memblokir?

Dibuat pada 26 Sep 2018  ·  12Komentar  ·  Sumber: aio-libs/aiohttp

Singkat cerita

ws.receive() tampaknya macet meskipun data mengalir dari websocket.

Perilaku yang diharapkan

ws.receive harus mengeluarkan dan melaporkan sesuatu.

Perilaku sebenarnya

itu hanya hang / blok di websocket.

Langkah-langkah untuk mereproduksi

Kode di bawah ini adalah kode panggil.

    async def _ws_subscribe(self,
                            session: ClientSession,
                            url: str
                            ) -> Dict:
        """ Fetch data from web socket asynchronously.

        This helper method fetches data from a web socket asynchronously. It is used to
        fetch subscribe to websockets of the SkyQ box.

        Args:
            session (aiohttp.ClientSession): Session to use when fetching the data.
            url (str): WebSocket URL to fetch.

        Returns:
            dict: The body of data returned.

        """
        LOGGER.debug(f"Inside _ws_subscribe()...")

        async with session.ws_connect(url, autoclose=False) as ws:
            while True:
                LOGGER.debug(f"Inside _ws_subscribe() infinite loop pre ws.receive.")
                payload = await ws.receive()
                LOGGER.debug(f"READ SOMETHING! _ws_subscribe() infinite loop post ws.receive")
                LOGGER.debug(f'type = {payload.type}')
                LOGGER.debug(f'payload data = {payload.data}')
                LOGGER.debug(f'payload exception = {ws.exception()}')
                if payload.type == aiohttp.WSMsgType.TEXT:
                    LOGGER.debug('Web-socket data received.')
                    asyncio.create_task(self._handle(payload))
                    # asyncio.ensure_future(self._handle(payload))
                elif payload.type == aiohttp.WSMsgType.BINARY:
                    LOGGER.debug('Web-socket binary data received.')
                elif payload.type == aiohttp.WSMsgType.PING:
                    LOGGER.debug('Web-socket ping received')
                    ws.pong()
                elif payload.type == aiohttp.WSMsgType.PONG:
                    LOGGER.debug('Web-socket pong received')
                else:
                    if payload.type == aiohttp.WSMsgType.CLOSE:
                        await ws.close()
                    elif payload.type == aiohttp.WSMsgType.ERROR:
                        LOGGER.info(f'Error during receive {ws.exception()}')
                    elif payload.type == aiohttp.WSMsgType.CLOSED:
                        pass

                    break

Log yang dihasilkan:

(pyskyq-4vSEKDfZ) ✔ [brad<strong i="6">@bradmac</strong>:~/Code/pyskyq] [16-create-status-end-point-property|✚ 5…2] $ pyskyq -vv green
[2018-09-26 09:12:14] DEBUG:pyskyq.cli:Starting SkyQ...
[2018-09-26 09:12:14] DEBUG:pyskyq.skyremote:Initialised SkyRemote object with host=skyq, port=49160
[2018-09-26 09:12:14] DEBUG:pyskyq.status:Initialised Status object object with host=skyq, port=9006
[2018-09-26 09:12:14] DEBUG:asyncio:Using selector: KqueueSelector
[2018-09-26 09:12:14] DEBUG:pyskyq.status:Asyncio event loop thread running...
[2018-09-26 09:12:14] DEBUG:pyskyq.skyq:Initialised SkyQ object with host=skyq.
[2018-09-26 09:12:14] INFO:pyskyq.cli:Script ends here
[2018-09-26 09:12:14] DEBUG:pyskyq.status:Setting up web socket listener on ws://skyq:9006/as/system/status.
[2018-09-26 09:12:14] DEBUG:pyskyq.status:Inside _ws_subscribe()...
[2018-09-26 09:12:14] DEBUG:asyncio:Get address info skyq:9006, type=<SocketKind.SOCK_STREAM: 1>
[2018-09-26 09:12:14] DEBUG:asyncio:Getting address info skyq:9006, type=<SocketKind.SOCK_STREAM: 1> took 15.352ms: [(<AddressFamily.AF_INET: 2>, <SocketKind.SOCK_STREAM: 1>, 6, '', ('10.0.1.6', 9006))]
[2018-09-26 09:12:14] DEBUG:asyncio:poll 60478.847 ms took 14.299 ms: 1 events
[2018-09-26 09:12:14] DEBUG:asyncio:connect <socket.socket fd=8, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=6, laddr=('0.0.0.0', 0)> to ('10.0.1.6', 9006)
[2018-09-26 09:12:14] DEBUG:asyncio:poll 60461.657 ms took 21.045 ms: 1 events
[2018-09-26 09:12:14] DEBUG:asyncio:<socket.socket fd=8, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=6, laddr=('10.0.1.30', 50141), raddr=('10.0.1.6', 9006)> connected to 10.0.1.6:9006: (<_SelectorSocketTransport fd=8 read=polling write=<idle, bufsize=0>>, <aiohttp.client_proto.ResponseHandler object at 0x1033c8ac8>)
[2018-09-26 09:12:14] DEBUG:asyncio:poll 60429.970 ms took 7.192 ms: 1 events
[2018-09-26 09:12:14] DEBUG:pyskyq.status:Inside _ws_subscribe() infinite loop pre ws.receive.

Namun, soket terbuka dan menyajikan data seperti yang dapat dilihat oleh netcat.

(pyskyq-4vSEKDfZ) ✔ [brad<strong i="6">@bradmac</strong>:~/Code/pyskyq] [16-create-status-end-point-property|✚ 5…2] $ nc skyq 9006
GET /as/system/status HTTP/1.1
Host: skyq:9006
Accept: */*
Connection: Upgrade
Upgrade: websocket

�~�{
   "camessage" : {
      "reason" : "no message",
      "state" : "unavailable"
   },
   "drmstatus" : {
      "state" : "available"
   },
   "entitlements" : [
      "ANALYTICS",
      "BIGBASIC",
      "ETHAN_APP_1",
      "HD",
      "PDL",
      "SKY_DRM_CE",
      "SKY_DRM_MR",
      "SKY_IPPV",
      "ULTRA+",
      "SKY+",
      "GATEWAYENABLER",
      "SIDELOAD"
   ],
   "epginfobits" : {
      "epginfobits" : "0xFDE5FFC0",
      "mask" : "0x5FFA003F",
      "state" : "available"
   },
   "gatewayservices" : {
      "state" : "available"
   },
   "hdmi" : {
      "2160p10bitCapable" : false,
      "authenticatedHDCP" : "1.x",
      "sinkHDCP" : "1.x",
      "sinkHLG" : false,
      "sinkUHD" : false,
      "state" : "available",
      "uhdConfigured" : false
   },
   "network" : {
      "state" : "available"
   },
   "nssplayback" : {
      "state" : "available"
   },
   "pvr" : {
      "state" : "available"
   },
   "schedule" : {
      "lastdate" : "20181003",
      "state" : "available"
   },
   "servicelist" : {
      "state" : "available"
   },
   "smartcard" : {
      "active" : true,
      "bouquet" : "4101",
      "countryCode" : "GBR",
      "currency" : "GBP",
      "cwe" : true,
      "householdid" : "10947783",
      "paired" : true,
      "state" : "available",
      "subbouquet" : "1",
      "transactionlimit" : 65535,
      "viewingCardNumber" : "725 325 260"
   },
   "swupdate" : {
      "reason" : "IDLE",
      "state" : "unavailable"
   },
   "systemupdates" : {
      "entitlements" : 2,
      "install" : 1,
      "servicegenres" : 1,
      "smartcard" : 1
   },
   "updatetask" : {
      "reason" : "no update",
      "state" : "unavailable"
   }
}
^C(pyskyq-4vSEKDfZ) ✔ [brad<strong i="7">@bradmac</strong>:~/Code/pyskyq] [16-create-status-end-point-property|✚ 5…2] $

Lingkungan Anda

(pyskyq-4vSEKDfZ) ✔ [brad<strong i="6">@bradmac</strong>:~/Code/pyskyq] [16-create-status-end-point-property|✚ 5…2] $ uname -a
Darwin bradmac 17.7.0 Darwin Kernel Version 17.7.0: Thu Jun 21 22:53:14 PDT 2018; root:xnu-4570.71.2~1/RELEASE_X86_64 x86_64
(pyskyq-4vSEKDfZ) ✔ [brad<strong i="7">@bradmac</strong>:~/Code/pyskyq] [16-create-status-end-point-property|✚ 5…2] $ pip freeze
aiohttp==3.4.4
appnope==0.1.0
arrow==0.12.1
async-timeout==3.0.0
async-upnp-client==0.12.4
attrs==18.2.0
backcall==0.1.0
binaryornot==0.4.4
bleach==2.1.3
certifi==2018.4.16
chardet==3.0.4
click==6.7
cookiecutter==1.6.0
cycler==0.10.0
decorator==4.3.0
Django==2.1.1
entrypoints==0.2.3
ez-setup==0.9
future==0.16.0
html5lib==1.0.1
idna==2.7
idna-ssl==1.1.0
ipykernel==4.8.2
ipython==6.4.0
ipython-genutils==0.2.0
ipywidgets==7.2.1
jedi==0.12.0
Jinja2==2.10
jinja2-time==0.2.0
jsonschema==2.6.0
jupyter==1.0.0
jupyter-client==5.2.3
jupyter-console==5.2.0
jupyter-core==4.4.0
kaggle==1.4.2
kiwisolver==1.0.1
MarkupSafe==1.0
matplotlib==2.2.2
mistune==0.8.3
multidict==4.4.2
nbconvert==5.3.1
nbformat==4.4.0
notebook==5.5.0
numpy==1.14.4
pandocfilters==1.4.2
parso==0.2.1
pexpect==4.6.0
pickleshare==0.7.4
pipenv==2018.7.1
poyo==0.4.1
prompt-toolkit==1.0.15
ptyprocess==0.6.0
Pygments==2.2.0
pyparsing==2.2.0
PyScaffold==3.0.3
python-dateutil==2.7.3
python-didl-lite==1.1.0
pytz==2018.4
pyzmq==17.0.0
qtconsole==4.3.1
requests==2.19.1
Send2Trash==1.5.0
simplegeneric==0.8.1
six==1.11.0
terminado==0.8.1
testpath==0.3.1
tornado==5.0.2
tqdm==4.24.0
traitlets==4.3.2
urllib3==1.22
virtualenv==16.0.0
virtualenv-clone==0.3.0
voluptuous==0.11.5
wcwidth==0.1.7
webencodings==0.5.1
whichcraft==0.4.1
widgetsnbextension==3.2.1
yarl==1.2.6
(pyskyq-4vSEKDfZ) ✔ [brad<strong i="8">@bradmac</strong>:~/Code/pyskyq] [16-create-status-end-point-property|✚ 5…2] $

memperbarui...

Versi Python adalah 3.7.0

bug

Semua 12 komentar

GitMate.io berpikir kemungkinan masalah terkait adalah https://github.com/aio-libs/aiohttp/issues/2200 (latar belakang websockets Klien tergantung di SIGINT), https://github.com/aio-libs/aiohttp/issues/ 1002 (Respons Websocket .close () dapat hang tanpa batas waktu), https://github.com/aio-libs/aiohttp/issues/376 (ProactorEventLoop hang), https://github.com/aio-libs/aiohttp/issues / 3027 (ws_connect hang), dan https://github.com/aio-libs/aiohttp/issues/265 (Menerapkan websocket sisi klien).

sepertinya client_ws.py # L204 tidak kembali ... ada ide?

Server adalah kotak set-top SkyQ, jadi mungkin tidak sepenuhnya implementasi WS yang sesuai dengan RFC. Misalnya, itu tidak menghormati ping / poings ... Dan ada �~� yang aneh dalam muatannya ... Tidak yakin apakah itu opcode atau beberapa quirk lainnya ...

Websocket adalah protokol biner �~� mengkodekan jenis dan panjang pesan.
Maaf, saya tidak dapat membantu Anda tanpa partisipasi Anda dalam mendekodekan dan membandingkan dengan ukuran muatan sebenarnya.

�~� adalah 001111110111111000111111 dalam biner, yaitu: 3F7E3F dalam hex.

byte-byte itu terlihat seperti ini ujung-ke-ujung ...
00111111
01111110
00111111

Saya bukan ahli di RFC, tapi apa yang dikatakan ini dalam hal jenis dan panjang?

Apakah menurut Anda masalahnya ada pada hal itu? Yaitu, itu tidak menyetujui panjang muatan yang sebenarnya, dan hal yang menunggu bingkai tambahan, misalnya?

Menariknya, klien cli soket web ini , ditulis dalam go, menangani output dengan baik, termasuk hal-hal biner di atas:

``
ws ws: // skyq: 9006 / as / system / status
<{
"camessage": {
"alasan": "tidak ada pesan",
"state": "tidak tersedia"
},
"drmstatus": {
"state": "tersedia"
},
"hak" : [
"ANALYTICS",
"BIGBASIC",
"ETHAN_APP_1",
"HD",
"PDL",
"SKY_DRM_CE",
"SKY_DRM_MR",
"SKY_IPPV",
"ULTRA +",
"SKY +",
"GATEWAYENABLER",
"SIDELOAD"
],
"epginfobits": {
"epginfobits": "0xFDE5FFC0",
"topeng": "0x5FFA003F",
"state": "tersedia"
},
"gatewayservices": {
"negara bagian": "tersedia"
},
"HDMI": {
"2160p10bitCapable": salah,
"otentikasiHDCP": "TIDAK ADA",
"alasan": "Porta keluaran HDMI dinonaktifkan",
"sinkHDCP": "NONE",
"sinkHLG": salah,
"sinkUHD": salah,
"state": "tidak tersedia",
"uhdConfigured": salah
},
"jaringan": {
"negara bagian": "tersedia"
},
"nssplayback": {
"negara bagian": "tersedia"
},
"pvr": {
"negara bagian": "tersedia"
},
"susunan acara" : {
"lastdate": "20181003",
"state": "tersedia"
},
"servicelist": {
"negara bagian": "tersedia"
},
"kartu pintar" : {
"aktif": benar,
"buket": "4101",
"countryCode": "GBR",
"currency": "GBP",
"cwe": benar,
"rumah tangga": "10947783",
"berpasangan": benar,
"state": "tersedia",
"subbouquet": "1",
"transactionlimit": 65535,
"melihatCardNumber": "725 325 260"
},
"swupdate": {
"alasan": "IDLE",
"state": "tidak tersedia"
},
"pembaruan sistem" : {
"hak": 2,
"instal": 1,
"servicegenres": 1,
"smartcard": 1
},
"tugas pembaharuan": {
"alasan": "tidak ada pembaruan",
"state": "tidak tersedia"
}
}

^ C
Mengganggu
✔ [ brad @ bradmac : ~] $ ``

Protokol mengatakan: 3F byte pertama dalam pesan WS dilarang (dicadangkan untuk penggunaan di masa mendatang).
Anda yakin tidak melewatkan sesuatu?

Saya berasumsi bahwa Anda mengacu pada bit 2d, 3 dan 4 dalam protokol framing dasar. Dalam hal ini ya, mungkin saya salah. Ini bisa menjadi masalah unicode / ASCII. Saya akan melihat lagi.

Saya sudah mencoba beberapa konverter online lainnya ... Saya mendapatkan ini sekarang:
hex = ef bf bd 7e ef bf bd
biner = 11101111 10111111 10111101 01111110 11101111 10111111 10111101

Jika menurut RFC 6455

5.2.  Base Framing Protocol

   This wire format for the data transfer part is described by the ABNF
   [RFC5234] given in detail in this section.  (Note that, unlike in
   other sections of this document, the ABNF in this section is
   operating on groups of bits.  The length of each group of bits is
   indicated in a comment.  When encoded on the wire, the most
   significant bit is the leftmost in the ABNF).  A high-level overview
   of the framing is given in the following figure.  In a case of
   conflict between the figure below and the ABNF specified later in
   this section, the figure is authoritative.

      0                   1                   2                   3
      0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
     +-+-+-+-+-------+-+-------------+-------------------------------+
     |F|R|R|R| opcode|M| Payload len |    Extended payload length    |
     |I|S|S|S|  (4)  |A|     (7)     |             (16/64)           |
     |N|V|V|V|       |S|             |   (if payload len==126/127)   |
     | |1|2|3|       |K|             |                               |
     +-+-+-+-+-------+-+-------------+ - - - - - - - - - - - - - - - +
     |     Extended payload length continued, if payload len == 127  |
     + - - - - - - - - - - - - - - - +-------------------------------+
     |                               |Masking-key, if MASK set to 1  |
     +-------------------------------+-------------------------------+
     | Masking-key (continued)       |          Payload Data         |
     +-------------------------------- - - - - - - - - - - - - - - - +
     :                     Payload Data continued ...                :
     + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
     |                     Payload Data continued ...                |
     +---------------------------------------------------------------+

   FIN:  1 bit

      Indicates that this is the final fragment in a message.  The first
      fragment MAY also be the final fragment.

   RSV1, RSV2, RSV3:  1 bit each

      MUST be 0 unless an extension is negotiated that defines meanings
      for non-zero values.  If a nonzero value is received and none of
      the negotiated extensions defines the meaning of such a nonzero
      value, the receiving endpoint MUST _Fail the WebSocket
      Connection_.

Maka sepertinya RSV1 dan RSV2 disetel ke 1, seperti yang Anda sarankan, kecuali beberapa etxension sedang dinegosiasikan? Saya tidak punya ide.

Jumlah karakter dalam dokumen JSON adalah 1703

RFC mengatakan ini tentang panjang muatan:

Payload length:  7 bits, 7+16 bits, or 7+64 bits

      The length of the "Payload data", in bytes: if 0-125, that is the
      payload length.  If 126, the following 2 bytes interpreted as a
      16-bit unsigned integer are the payload length.  If 127, the
      following 8 bytes interpreted as a 64-bit unsigned integer (the
      most significant bit MUST be 0) are the payload length.  Multibyte
      length quantities are expressed in network byte order.  Note that
      in all cases, the minimal number of bytes MUST be used to encode
      the length, for example, the length of a 124-byte-long string
      can't be encoded as the sequence 126, 0, 124.  The payload length
      is the length of the "Extension data" + the length of the
      "Application data".  The length of the "Extension data" may be
      zero, in which case the payload length is the length of the
      "Application data".

Jadi, mengingat semua itu, kemana kita pergi selanjutnya? Jika server mati otak dan tidak sesuai dengan RFC, maka saya perlu mengatasinya karena klien lain jelas dapat melakukannya ... Dapatkah Anda menawarkan saran?

Masih terlihat mencurigakan.
Satu-satunya ekstensi yang diketahui adalah kompresi WebSocket yang menggunakan RSV1. Saya tidak tahu ekstensi apa yang menggunakan RSV2.
Selain itu, opcode FF juga dicadangkan dan tidak boleh digunakan.

Kecuali Anda tidak tahu apa yang dikirim server, tidak ada cara untuk "memperbaiki" klien.

@asvetlov Saya mencoba perpustakaan websockets dan berhasil ... Jadi saya akan melakukannya, karena saya tidak dapat menghabiskan lebih banyak waktu untuk men-debug perpustakaan ini dengan Anda ...

aoihttp - tidak berfungsi

import asyncio
import logging
import sys

import aiohttp

LOGGER = logging.getLogger(__name__)
logformat = "[%(asctime)s] %(levelname)s:%(name)s:%(message)s"
logging.basicConfig(level=logging.DEBUG, stream=sys.stdout,
                    format=logformat, datefmt="%Y-%m-%d %H:%M:%S")


async def main():
    async with aiohttp.ClientSession() as session:
        async with session.ws_connect('http://skyq:9006/as/system/status') as ws:
            payload = await ws.receive()
            print(payload.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

websockets - bekerja

import asyncio
import websockets
import logging
import sys

LOGGER = logging.getLogger(__name__)
logformat = "[%(asctime)s] %(levelname)s:%(name)s:%(message)s"
logging.basicConfig(level=logging.DEBUG, stream=sys.stdout,
                    format=logformat, datefmt="%Y-%m-%d %H:%M:%S")


async def hello():
    async with websockets.connect(
            'ws://skyq:9006/as/system/status') as websocket:

        payload = await websocket.recv()
        print(f"{payload}")

asyncio.get_event_loop().run_until_complete(hello())

Bebas biaya untuk menutup tiket ini jika Anda mau, tetapi Anda mungkin ingin tetap membukanya karena tampaknya merupakan bug ... Atau setidaknya situasi yang tidak mematuhi hukum Postel.

Saya menghargai bantuan Anda dalam mencoba mengatasi ini.

Masih terlihat mencurigakan.
Satu-satunya ekstensi yang diketahui adalah kompresi WebSocket yang menggunakan RSV1. Saya tidak tahu ekstensi apa yang menggunakan RSV2.
Selain itu, opcode FF juga dicadangkan dan tidak boleh digunakan.

Halo @asvet

Kecuali Anda tidak tahu apa yang dikirim server, tidak ada cara untuk "memperbaiki" klien.

Saya pikir Anda berarti "kecuali, Anda tahu apa server mengirimkan, Anda tidak dapat memperbaiki klien."

Dalam hal ini, saya sama sekali tidak setuju dengan hal ini.

Anda akrab dengan Prinsip Kekokohan ?

"Bersikaplah konservatif dalam apa yang Anda kirim, dan liberal dalam apa yang Anda terima."

Terlepas dari KEHARUSAN dan HARUS dan HARUS TIDAK, di RFC, saya pikir Anda menafsirkan dan mengharapkan entitas untuk mematuhi RFC _secara lengkap _... Jelas tidak, dan banyak server dan klien internet di luar sana, dari berbagai jenis, memiliki implementasi setengah-setengah protokol yang menghebohkan.

Implementasi perpustakaan / protokol yang baik harus memaafkan ini sejauh mungkin. Lihat RFC1122 . Sangat mungkin untuk menulis klien protokol untuk memaafkan (beberapa) pelanggaran protokol tanpa memiliki akses ke peserta lain dalam komunikasi.

Saya merasa ini tidak terjadi di sini, Anda tampaknya mengambil pandangan garis keras bahwa jika tuan rumah tidak 100% patuh maka sayang sekali, kami tidak akan membicarakannya. Ini sangat buruk. Ini seperti mengatakan: 'Saya hanya berbicara bahasa Inggris Ratu, dan jika Anda datang berbicara dengan saya dalam dialek bahasa Inggris yang aneh, saya tidak akan berbicara dengan Anda.'

Jelas ini bukan pendekatan yang baik jika inti dari perpustakaan adalah memfasilitasi komunikasi.

Saran saya, oleh karena itu, adalah untuk mempertimbangkan di mana Anda dapat melonggarkan persyaratan ketat dari protokol (mungkin melalui metode kwargs, yang mengaktifkan penanganan "santai"), dan melihat apakah Anda dapat membuat segala sesuatunya berbicara bahkan ketika pihak lain tidak berperilaku dengan benar .

Selain kritik ini, saya ingin berterima kasih kepada Anda dan kontributor dari aio-libs atas semua pekerjaan Anda untuk komunitas. 👍 🥇

@asvetlov Hanya pembaruan tentang ini ... Saya menemukan bahwa server saya (tidak sesuai) memerlukan header Upgrade: huruf besar sebelum berfungsi. Hanya berpikir saya akan menyebutkannya jika masalah header Kasus Judul sedang dipertimbangkan oleh kalian ... Ini adalah kasus nyata pelanggaran protokol dari server yang diimplementasikan dengan buruk yang menyebabkan klien websocket tidak berfungsi ..

Apakah halaman ini membantu?
0 / 5 - 0 peringkat

Masalah terkait

AtomsForPeace picture AtomsForPeace  ·  5Komentar

asvetlov picture asvetlov  ·  4Komentar

alxpy picture alxpy  ·  5Komentar

rubenvdham picture rubenvdham  ·  5Komentar

Codeberg-AsGithubAlternative-buhtz picture Codeberg-AsGithubAlternative-buhtz  ·  3Komentar