Celery: número máximo de clientes alcançados

Criado em 17 set. 2015  ·  3Comentários  ·  Fonte: celery/celery

Estou usando django com aipo e redis.
Eu continuo recebendo este erro redis.e xceptions:ResponseError número máximo de clientes alcançados
Estou usando heroku e meu backend redis tem conexão máxima de 400. Estou executando 20 dynos para o aplicativo principal e para o aipo estou executando 5 dynos. Como defino o número máximo de conexões? Eu tentei colocá-lo no meu celery.py assim:

from __future__ import absolute_import

import os

from celery import Celery

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'imdowntags.settings')

from django.conf import settings

app = Celery('imdowntags',
             broker=os.environ['REDIS_URL'],
             backend=os.environ['REDIS_URL'],
             include=['imdowntags.tasks'])

# Using a string here means the worker will not have to
# pickle the object when using Windows.
app.config_from_object('django.conf:settings')
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)
app.conf.update( CELERY_REDIS_MAX_CONNECTIONS = 20,)

também tentei colocar CELERY_REDIS_MAX_CONNECTIONS = 20 dentro do meu settings.py

Comentários muito úteis

oi @ask
O problema foi resolvido após o lançamento do aipo 4.0?
Eu tenho o mesmo problema por aipo-3.1.23 e redis-2.6.
redis maxclients padrão é 10000 e, após a execução do aipo 3 meses, os clientes redis aumentam para 10000.
Descobri que a conexão do servidor redis está cheia, mas o aipo tem apenas algumas poucas conexões (por netstat), então reinicio o servidor redis e ele funciona.
mas como posso resolver o problema por configurações ou outra forma?

Todos 3 comentários

Fechando isso, pois não temos recursos para concluir essa tarefa.

Pode ser corrigido no master, vamos ver se volta após a versão 4.0.

Algumas pessoas dizem que BROKER_POOL_LIMIT=0 resolve um problema semelhante: http://stackoverflow.com/questions/12013220/celery-creating-a-new-connection-for-each-task

Isso pode estar relacionado @ask ?

oi @ask
O problema foi resolvido após o lançamento do aipo 4.0?
Eu tenho o mesmo problema por aipo-3.1.23 e redis-2.6.
redis maxclients padrão é 10000 e, após a execução do aipo 3 meses, os clientes redis aumentam para 10000.
Descobri que a conexão do servidor redis está cheia, mas o aipo tem apenas algumas poucas conexões (por netstat), então reinicio o servidor redis e ele funciona.
mas como posso resolver o problema por configurações ou outra forma?

Esta página foi útil?
0 / 5 - 0 avaliações