Celery: OSError: इवेंटलेट के साथ अजवाइन कार्यकर्ता में बंद सॉकेट

को निर्मित 14 जून 2018 · 23टिप्पणियाँ · स्रोत: celery/celery

अजवाइन संस्करण: 4.2.0

प्रजनन करने कि प्रक्रिया

docker-compose.yml

version: '2'

services:
  worker:
    build: .
    depends_on:
      - rabbitmq

  rabbitmq:
    image: rabbitmq:alpine

Dockerfile

FROM alpine

RUN apk add --no-cache build-base python3 python3-dev
RUN pip3 install celery eventlet

CMD celery -b amqp://rabbitmq worker -P eventlet --loglevel=DEBUG

$ docker-compose up --build

अपेक्षित व्यवहार

कार्यकर्ता त्रुटियों के बिना जुड़ा रहता है

वास्तविक व्यवहार

स्टार्टअप के 3 मिनट बाद, कार्यकर्ता निम्नलिखित के समान ट्रैसबैक के साथ कई त्रुटियों की रिपोर्ट करता है:

[2018-06-14 20:11:44,213: WARNING/MainProcess] Traceback (most recent call last):
[2018-06-14 20:11:44,213: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/eventlet/hubs/poll.py", line 114, in wait
    listener.cb(fileno)
[2018-06-14 20:11:44,214: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/celery/worker/pidbox.py", line 120, in loop
    connection.drain_events(timeout=1.0)
[2018-06-14 20:11:44,214: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/kombu/connection.py", line 301, in drain_events
    return self.transport.drain_events(self.connection, **kwargs)
[2018-06-14 20:11:44,215: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/kombu/transport/pyamqp.py", line 103, in drain_events
    return connection.drain_events(**kwargs)
[2018-06-14 20:11:44,216: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/amqp/connection.py", line 491, in drain_events
    while not self.blocking_read(timeout):
[2018-06-14 20:11:44,217: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/amqp/connection.py", line 496, in blocking_read
    frame = self.transport.read_frame()
[2018-06-14 20:11:44,217: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/amqp/transport.py", line 243, in read_frame
    frame_header = read(7, True)
[2018-06-14 20:11:44,218: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/amqp/transport.py", line 426, in _read
    raise IOError('Socket closed')
[2018-06-14 20:11:44,218: WARNING/MainProcess] OSError: Socket closed
[2018-06-14 20:11:44,219: WARNING/MainProcess] Removing descriptor: 7

इसके अलावा, खरगोशबिट सर्वर निम्न के समान चेतावनी दोहराता है (दो बार दोहराया):

2018-06-14 20:11:44.209 [warning] <0.586.0> closing AMQP connection <0.586.0> (172.19.0.3:42678 -> 172.19.0.2:5672):
missed heartbeats from client, timeout: 60s

Eventlet Workers Pool Gevent Workers Pool RabbitMQ Broker Bug Report

स्रोत

jmaroeder

👍3

सबसे उपयोगी टिप्पणी

@auvipy आपने इसे बंद क्यों किया? समस्या अभी भी मौजूद है।

djlambert 21 दिस॰ 2018

👍20

सभी 23 टिप्पणियाँ

नोट का उपयोग करते समय कि prefork के बजाय eventlet , RabbitMQ सर्वर अभी भी याद किया दिल की धड़कन को चेतावनी दी है, लेकिन वहाँ कार्यकर्ता में मुद्रित नहीं चेतावनी है:

2018-06-14 20:36:04.807 [warning] <0.698.0> closing AMQP connection <0.698.0> (172.19.0.3:46040 -> 172.19.0.2:5672):
missed heartbeats from client, timeout: 60s

jmaroeder 14 जून 2018

और gevent eventlet समान त्रुटि संदेश के साथ विफल हो जाता है:

[2018-06-14 20:43:29,908: WARNING/MainProcess] Traceback (most recent call last):
[2018-06-14 20:43:29,908: WARNING/MainProcess] File "src/gevent/_waiter.py", line 119, in gevent.__waiter.Waiter.switch
[2018-06-14 20:43:29,908: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/celery/worker/pidbox.py", line 120, in loop
    connection.drain_events(timeout=1.0)
[2018-06-14 20:43:29,909: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/kombu/connection.py", line 301, in drain_events
    return self.transport.drain_events(self.connection, **kwargs)
[2018-06-14 20:43:29,909: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/kombu/transport/pyamqp.py", line 103, in drain_events
    return connection.drain_events(**kwargs)
[2018-06-14 20:43:29,909: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/amqp/connection.py", line 491, in drain_events
    while not self.blocking_read(timeout):
[2018-06-14 20:43:29,910: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/amqp/connection.py", line 496, in blocking_read
    frame = self.transport.read_frame()
[2018-06-14 20:43:29,910: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/amqp/transport.py", line 243, in read_frame
    frame_header = read(7, True)
[2018-06-14 20:43:29,911: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/amqp/transport.py", line 418, in _read
    s = recv(n - len(rbuf))
[2018-06-14 20:43:29,911: WARNING/MainProcess] File "/usr/lib/python3.6/site-packages/gevent/_socket3.py", line 380, in recv
    return _socket.socket.recv(self._sock, *args)
[2018-06-14 20:43:29,912: WARNING/MainProcess] ConnectionResetError: [Errno 104] Connection reset by peer
[2018-06-14 20:43:29,912: WARNING/MainProcess] 2018-06-14T20:43:29Z
[2018-06-14 20:43:29,913: WARNING/MainProcess] <built-in method switch of gevent.__greenlet_primitives.TrackedRawGreenlet object at 0x7f791830ce88> failed with ConnectionResetError

jmaroeder 14 जून 2018

👍3

इसके अलावा, मैं पुष्टि कर सकता हूं कि मैं इस डॉकरीफाइल का उपयोग करके सभी पुस्तकालयों के नवीनतम विकास संस्करणों पर समान व्यवहार देख रहा हूं:

FROM alpine

RUN apk add --no-cache build-base python3 python3-dev
RUN pip3 install https://github.com/celery/celery/zipball/master#egg=celery https://github.com/celery/billiard/zipball/master#egg=billiard https://github.com/celery/py-amqp/zipball/master#egg=amqp https://github.com/celery/kombu/zipball/master#egg=kombu https://github.com/celery/vine/zipball/master#egg=vine eventlet gevent

CMD celery -b amqp://rabbitmq worker -P eventlet --loglevel=DEBUG

jmaroeder 15 जून 2018

यह वही है जो हम अनुभव कर रहे हैं। एक ही कतार में, हमारे पास कई कार्यकर्ता task_acks_late = True और worker_prefetch_multiplier = 1 और हमारे पास लंबे समय तक चलने वाले कार्यों और छोटे लोगों का मिश्रण है।

Celery 3.x पर वापस जाने से यह समस्या "गायब" हो जाती है

FYI करें

अजवाइन 4.1.0 और कोम्बू 4.1.0 का उपयोग करते समय पहले, रिट्रीट काम नहीं कर रहे थे। क्रमशः 4.2.0 और 4.2.1 दोनों को अपडेट करने के बाद, रिट्रीज ने काम करना शुरू कर दिया, लेकिन समान टाइमआउट संदेश दिखाई देने लगे और कार्यों को सही ढंग से वितरित किया गया, लेकिन श्रमिकों द्वारा कभी भी संसाधित नहीं किया गया। हम prefork का उपयोग कर रहे हैं

-amqp==2.2.2
+amqp==1.4.9
-billiard==3.5.0.3
+billiard==3.3.0.23
-celery==4.2.0
+celery==3.1.23
-kombu==4.2.1
+kombu==3.0.34
-pyramid-celery==3.0.0
+pyramid-celery==2.0.0

wrkhenddher 15 जून 2018

ब्रोकर कनेक्शन डिफ़ॉल्ट रूप से एप्लिकेशन कॉन्फिग फ़ाइल से दिल की धड़कन सेटिंग का उपयोग करता है (चूंकि संस्करण 4.2.0 , # 4148)।

विन्यास और चूक - प्रलेखन

ब्रोकर_हार्टबीट
समर्थित ट्रांसपोर्ट:
झांकना
डिफ़ॉल्ट: 120.0 (सर्वर द्वारा बातचीत)।

आप broker_heartbeat=0 सेट करने का प्रयास कर सकते हैं। उम्मीद है की यह मदद करेगा।

parzi7al 20 जून 2018

👍1

@ y0ngdi मैंने broker_heartbeat=0 सेट किया, त्रुटि में कमी आई है, लेकिन यह अभी भी मौजूद है।

amqp==2.3.2
celery==4.2.0
gevent==1.3.4
greenlet==0.4.13
kombu==4.2.0

ट्रैसरबैक के साथ कार्यकर्ता कई त्रुटियों की रिपोर्ट करता है:

[2018-06-22 09:41:21,467: INFO/MainProcess] sync with celery<strong i="11">@device_producer_tasks</strong>
[2018-06-22 09:41:21,468: ERROR/MainProcess] Control command error: error(32, 'Broken pipe')
Traceback (most recent call last):
  File "/home/ubuntu/.local/share/virtualenvs/backend-uRCQ3Clv/local/lib/python2.7/site-packages/celery/worker/pidbox.py", line 46, in on_message
    self.node.handle_message(body, message)
  File "/home/ubuntu/.local/share/virtualenvs/backend-uRCQ3Clv/local/lib/python2.7/site-packages/kombu/pidbox.py", line 129, in handle_message
    return self.dispatch(**body)
  File "/home/ubuntu/.local/share/virtualenvs/backend-uRCQ3Clv/local/lib/python2.7/site-packages/kombu/pidbox.py", line 112, in dispatch
    ticket=ticket)
  File "/home/ubuntu/.local/share/virtualenvs/backend-uRCQ3Clv/local/lib/python2.7/site-packages/kombu/pidbox.py", line 135, in reply
    serializer=self.mailbox.serializer)
  File "/home/ubuntu/.local/share/virtualenvs/backend-uRCQ3Clv/local/lib/python2.7/site-packages/kombu/pidbox.py", line 265, in _publish_reply
    **opts
  File "/home/ubuntu/.local/share/virtualenvs/backend-uRCQ3Clv/local/lib/python2.7/site-packages/kombu/messaging.py", line 181, in publish
    exchange_name, declare,
  File "/home/ubuntu/.local/share/virtualenvs/backend-uRCQ3Clv/local/lib/python2.7/site-packages/kombu/messaging.py", line 203, in _publish
    mandatory=mandatory, immediate=immediate,
  File "/home/ubuntu/.local/share/virtualenvs/backend-uRCQ3Clv/local/lib/python2.7/site-packages/amqp/channel.py", line 1732, in _basic_publish
    (0, exchange, routing_key, mandatory, immediate), msg
  File "/home/ubuntu/.local/share/virtualenvs/backend-uRCQ3Clv/local/lib/python2.7/site-packages/amqp/abstract_channel.py", line 50, in send_method
    conn.frame_writer(1, self.channel_id, sig, args, content)
  File "/home/ubuntu/.local/share/virtualenvs/backend-uRCQ3Clv/local/lib/python2.7/site-packages/amqp/method_framing.py", line 166, in write_frame
    write(view[:offset])
  File "/home/ubuntu/.local/share/virtualenvs/backend-uRCQ3Clv/local/lib/python2.7/site-packages/amqp/transport.py", line 275, in write
    self._write(s)
  File "/usr/lib/python2.7/socket.py", line 228, in meth
    return getattr(self._sock,name)(*args)
error: [Errno 32] Broken pipe

zibuyu1995 22 जून 2018

मैंने इस मुद्दे को अजवाइन 4.2 और ईवेंटलेट के साथ सामना किया लेकिन कोई सही समाधान नहीं मिला

DavidPan1017 25 जून 2018

मैंने थोड़ी छानबीन की। अजवाइन एक नया कनेक्शन बनाता है, लेकिन इसके लिए heartbeat_check कॉल नहीं करता है। यह कनेक्शन बंद करने वाले RabbitMQ सर्वर में होता है। मैंने इस त्रुटि को कमांड कनेक्शन के साथ अनुभव किया है (जैसे stats , ping , ..)

olii 27 जून 2018

👍2

न्यूनतम उदाहरण:

from __future__ import absolute_import, unicode_literals
from celery import Celery

app = Celery(
    'myapp',
    broker='amqp://guest@localhost//',
)
app.conf.broker_heartbeat = 5


if __name__ == '__main__':
    app.start()

उदाहरण चलाते हैं

$ python3 example.py worker -l DEBUG

खरगोश लॉग

2018-06-27 19:49:41.109 [info] <0.471.1> accepting AMQP connection <0.471.1> (127.0.0.1:42744 -> 127.0.0.1:5672)
2018-06-27 19:49:41.111 [info] <0.471.1> connection <0.471.1> (127.0.0.1:42744 -> 127.0.0.1:5672): user 'guest' authenticated and granted access to vhost '/'
2018-06-27 19:49:41.116 [info] <0.479.1> accepting AMQP connection <0.479.1> (127.0.0.1:42746 -> 127.0.0.1:5672)
2018-06-27 19:49:41.118 [info] <0.479.1> connection <0.479.1> (127.0.0.1:42746 -> 127.0.0.1:5672): user 'guest' authenticated and granted access to vhost '/'
2018-06-27 19:49:41.131 [info] <0.500.1> accepting AMQP connection <0.500.1> (127.0.0.1:42748 -> 127.0.0.1:5672)
2018-06-27 19:49:41.133 [info] <0.500.1> connection <0.500.1> (127.0.0.1:42748 -> 127.0.0.1:5672): user 'guest' authenticated and granted access to vhost '/'
2018-06-27 19:49:56.135 [warning] <0.500.1> closing AMQP connection <0.500.1> (127.0.0.1:42748 -> 127.0.0.1:5672):
missed heartbeats from client, timeout: 5s

RabbitMQ द्वारा कनेक्शन बंद करने के बाद एक कमांड भेजने का प्रयास करें:

$ celery inspect ping

जब यह आदेश प्राप्त करता है तो अजवाइन कार्यकर्ता लॉग इन करता है:

[2018-06-27 19:51:25,638: DEBUG/MainProcess] pidbox received method ping() [reply_to:{'exchange': 'reply.celery.pidbox', 'routing_key': '5a7fe1f1-be67-397f-879c-d939ea3c076e'} ticket:d80183f3-a236-4057-841b-6b8cd2926917]
[2018-06-27 19:51:25,639: ERROR/MainProcess] Control command error: ConnectionResetError(104, 'Connection reset by peer')
Traceback (most recent call last):
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/celery/worker/pidbox.py", line 46, in on_message
    self.node.handle_message(body, message)
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/kombu/pidbox.py", line 129, in handle_message
    return self.dispatch(**body)
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/kombu/pidbox.py", line 112, in dispatch
    ticket=ticket)
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/kombu/pidbox.py", line 135, in reply
    serializer=self.mailbox.serializer)
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/kombu/pidbox.py", line 265, in _publish_reply
    **opts
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/kombu/messaging.py", line 181, in publish
    exchange_name, declare,
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/kombu/messaging.py", line 194, in _publish
    [maybe_declare(entity) for entity in declare]
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/kombu/messaging.py", line 194, in <listcomp>
    [maybe_declare(entity) for entity in declare]
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/kombu/messaging.py", line 102, in maybe_declare
    return maybe_declare(entity, self.channel, retry, **retry_policy)
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/kombu/common.py", line 129, in maybe_declare
    return _maybe_declare(entity, declared, ident, channel, orig)
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/kombu/common.py", line 135, in _maybe_declare
    entity.declare(channel=channel)
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/kombu/entity.py", line 185, in declare
    nowait=nowait, passive=passive,
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/amqp/channel.py", line 614, in exchange_declare
    wait=None if nowait else spec.Exchange.DeclareOk,
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/amqp/abstract_channel.py", line 50, in send_method
    conn.frame_writer(1, self.channel_id, sig, args, content)
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/amqp/method_framing.py", line 166, in write_frame
    write(view[:offset])
  File "/home/bar/Desktop/foo/virtualenv/lib/python3.6/site-packages/amqp/transport.py", line 275, in write
    self._write(s)
ConnectionResetError: [Errno 104] Connection reset by peer
[2018-06-27 19:51:25,647: DEBUG/MainProcess] Closed channel #2
[2018-06-27 19:51:25,647: DEBUG/MainProcess] using channel_id: 2
[2018-06-27 19:51:25,648: DEBUG/MainProcess] Channel open

त्रुटि का संभावित कारण

मुझे लगता है कि सर्वर साइड से समाप्त होने के बाद एक कनेक्शन मौजूद है क्योंकि kombu.connection.Connection.heartbeat_check() को उदाहरण पर दोहराव नहीं कहा जाता है।

olii 27 जून 2018

👍7

मैं इसी मुद्दे को जियोवेंट के साथ देख रहा हूं।

djlambert 27 जून 2018

मेरे लिए broker_heartbeat = 0 साथ समाधान।

स्थापित संस्करण:

amqp==2.2.2
celery==4.2.0
eventlet==0.23.0
kombu==4.2.1

कार्यकर्ता:
celery -A celery_app worker --loglevel=info -P eventlet

पीएस ने विंडोज 10 पर परीक्षण किया, पायथन 2 और 3 के साथ।

stojan-jovic 3 जुल॰ 2018

👍9 🎉1

@auvipy : क्यों बंद? मुद्दा तय नहीं है ...

DEKHTIARJonathan 12 अग॰ 2018

@ stojan-jovic ने काम किया?

auvipy 12 अग॰ 2018

ऐसा लगता है कि हाँ, लेकिन वर्कअराउंड बगफिक्स नहीं है।
और यह अभी भी हर रोज और अधिक लोगों द्वारा समाधान की तलाश में बर्बाद होने का एक टन का नेतृत्व करता है।

DEKHTIARJonathan 12 अग॰ 2018

👍13

यदि आप एक संभावित सुधार के साथ आते हैं तो इसे फिर से खोला जाएगा।

auvipy 12 अग॰ 2018

👎14 😕7 👍3 ❤2 🎉2 😄2 🚀1 👀1

broker_heartbeat = 0 साथ वर्कअरी मेरे लिए अजवाइन 4.2.0 और जीवेंट 1.2.2 (पायथन 2) / रैबिटएमक्यू 3.7.8 के लिए काम करता है। कम से कम यह मेरे लिए डिफ़ॉल्ट 60 के दशक के समय में श्रमिकों पर लटका नहीं था।

ldav1s 10 नव॰ 2018

🎉1

Django 1.8.4, पायथन 2.7.12
3.1.25 से 4.2.1 तक अपग्रेड के बाद इश्यू दिखाई दिया
सेटिंग्स में CELERY_BROKER_HEARTBEAT = 0 ने इसे हल किया।

Eduard-gan 19 दिस॰ 2018

@auvipy आपने इसे बंद क्यों किया? समस्या अभी भी मौजूद है।

djlambert 21 दिस॰ 2018

👍20

@djlambert वह बिना किसी कारण के मुद्दों /

bkovacev 13 मार्च 2019

👎1

इस पर कोई अपडेट? एक काम के आसपास बग फिक्स नहीं है।

gvdmarck 10 मई 2019

बेझिझक इस मुद्दे की जाँच करें @gvdmarck जैसा कि आप इसका सामना कर रहे हैं, आपके लिए मूल कारण का पता लगाना आसान होगा।

auvipy 10 मई 2019

Django 1.8.4, पायथन 2.7.12
3.1.25 से 4.2.1 तक अपग्रेड के बाद इश्यू दिखाई दिया
सेटिंग्स में CELERY_BROKER_HEARTBEAT = 0 ने इसे हल किया।

CELERY_BROKER_HEARTBEAT के बजाय BROKER_HEARTBEAT होना चाहिए?

grayguest 11 मई 2020

amqp == 2.2.2

मैं इस कॉन्फ़िगरेशन के साथ अजवाइन कार्यकर्ता चलाने की कोशिश कर रहा हूं, लेकिन अजवाइन कार्यकर्ता शुरू नहीं कर रहा है।
मैं जिस कमांड का उपयोग कर रहा हूं वह इस प्रकार है
पिप्लेनव रन सेलेरी वर्कर-ए एस.सेलरी_एप-एल डिबग-पीप ईवेंट
लेकिन मुझे कोई अजवाइन स्टार्टअप लॉग नहीं दिखता है, या कुछ भी यह सीधे विंडोज़ cmd प्रॉम्प्ट पर वापस जाता है।

@ stojan-jovic, क्या आप मुझे बता सकते हैं कि अजवाइन के लिए पर्यावरण को कैसे स्थापित किया जाए।

venu13 12 सित॰ 2020

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स