Celery: ansible+céleri ne fonctionne pas

Créé le 22 févr. 2017  ·  3Commentaires  ·  Source: celery/celery

Liste de contrôle

  • [ ] J'ai inclus la sortie de celery -A proj report dans le numéro.
    logiciel -> céleri:4.0.2 (appel latent) kombu:4.0.2 py:3.6.0
    billard:3.5.0.2 py-amqp:2.1.4
    plate-forme -> système:Darwin arch:64bit imp:CPython
    chargeur -> celery.loaders.app.AppLoader
    paramètres -> transport:amqp résultats:django-db).
  • [ ] J'ai vérifié que le problème existe avec la branche master de Celery.

Étapes à reproduire

1 .deploy_tomcat2.py
`de .AnsibleApi importer CallApi

def django_process(jira_num):
serveur = '10.10.51.30'
nom = 'abc'
port = 11011
code = 'efs'
jdk = '1.12.13'
jvm = 'xxxx'

if str.isdigit(jira_num):
    # import pdb
    # pdb.set_trace()
    call = CallApi(server,name,port,code,jdk,jvm)
    return call.run_task()

`

  1. AnsibleApi.py
    `#!/usr/bin/env python

- - codage : utf-8 - -

importer la journalisation
depuis .Logger import Logger
à partir des paramètres d'importation de django.conf
à partir des collections importer namedtuple
depuis ansible.parsing.dataloader importer DataLoader
depuis ansible.vars importer VariableManager
depuis ansible.inventory import Inventaire
de ansible.playbook.play importer Jouer
depuis ansible.executor.task_queue_manager importer TaskQueueManager
depuis ansible.plugins.callback importer CallbackBase

Log = Logger('/tmp/auto_deploy_tomcat.log',logging.INFO)

classe ResultCallback(CallbackBase):
def __init__(self, args, * kwargs):
super(ResultCallback ,self).__init__( args, * kwargs)
self.host_ok = {}
self.host_unreachable = {}
self.host_failed = {}

def v2_runner_on_unreachable(self, result):
    self.host_unreachable[result._host.get_name()] = result

def v2_runner_on_ok(self, result, *args, **kwargs):
    self.host_ok[result._host.get_name()] = result

def v2_runner_on_failed(self, result, *args, **kwargs):
    self.host_failed[result._host.get_name()] = result

classe CallApi(objet):
utilisateur = paramètres.SSH_USER
ssh_private_key_file = paramètres.SSH_PRIVATE_KEY_FILE
results_callback = ResultCallback()
Options = namedtuple('Options',
['connection', 'module_path', 'private_key_file', 'forks', 'become', 'become_method',
'devenir_utilisateur', 'vérifier'])

def __init__(self,ip,name,port,code,jdk,jvm):
    self.ip = ip
    self.name = name
    self.port = port
    self.code = code
    self.jdk = jdk
    self.jvm = jvm
    self.results_callback = ResultCallback()
    self.results_raw = {}

def _gen_user_task(self):
    tasks = []
    deploy_script = 'autodeploy/abc.sh'
    dst_script = '/tmp/abc.sh'
    cargs = dict(src=deploy_script, dest=dst_script, owner=self.user, group=self.user, mode='0755')
    args = "%s %s %d %s %s '%s'" % (dst_script, self.name, self.port, self.code, self.jdk, self.jvm)
    tasks.append(dict(action=dict(module='copy', args=cargs),register='shell_out'))
    tasks.append(dict(action=dict(module='debug', args=dict(msg='{{shell_out}}'))))
    # tasks.append(dict(action=dict(module='command', args=args)))
    # tasks.append(dict(action=dict(module='command', args=args), register='result'))
    # tasks.append(dict(action=dict(module='debug', args=dict(msg='{{result.stdout}}'))))
    self.tasks = tasks

def _set_option(self):
    self._gen_user_task()

    self.variable_manager = VariableManager()
    self.loader = DataLoader()
    self.options = self.Options(connection='smart', module_path=None, private_key_file=self.ssh_private_key_file, forks=None,
                                become=True, become_method='sudo', become_user='root', check=False)
    self.inventory = Inventory(loader=self.loader, variable_manager=self.variable_manager, host_list=[self.ip])
    self.variable_manager.set_inventory(self.inventory)

    play_source = dict(
    name = "auto deploy tomcat",
        hosts = self.ip,
        remote_user = self.user,
        gather_facts='no',
        tasks = self.tasks
    )
    self.play = Play().load(play_source, variable_manager=self.variable_manager, loader=self.loader)

def run_task(self):
    self.results_raw = {'success':{}, 'failed':{}, 'unreachable':{}}
    tqm = None
    from celery.contrib import rdb
    rdb.set_trace()
    self._set_option()
    try:
        tqm = TaskQueueManager(
            inventory=self.inventory,
            variable_manager=self.variable_manager,
            loader=self.loader,
            options=self.options,
            passwords=None,
            stdout_callback=self.results_callback,
        )
        result = tqm.run(self.play)
    finally:
        if tqm is not None:
            tqm.cleanup()

    for host, result in self.results_callback.host_ok.items():
        self.results_raw['success'][host] = result._result

    for host, result in self.results_callback.host_failed.items():
        self.results_raw['failed'][host] = result._result

    for host, result in self.results_callback.host_unreachable.items():
        self.results_raw['unreachable'][host]= result._result
    Log.info("result is :%s" % self.results_raw)
    return self.results_raw

3.tasks.py de __future__ import Absolute_import, unicode_literals
à partir de l'importation de céleri shared_task
à partir de .deploy_tomcat2 importer django_process

rom celery.contrib import rdb

@shared_task
def deploy(num):
#return 'bonjour tout le monde {0}'.format(num)
#rdb.set_trace()

return django_process(num)`

Comportement attendu

Dans la console django : python manage.py shell , je peux utiliser deploy('123') , appeler le code ansibleApi pour copier abc.sh sur le serveur dst avec succès.
Mais je n'ai pas travaillé lorsque j'ai utilisé 'deploy.apply_async(args=['1334'], queue='queue.ops.deploy', routing_key='ops.deploy')'

J'ai cherché il y a quelques jours, ça ne marche toujours pas.

Comportement réel

AnsibleApi renvoie un dict vide :{'success' : {}, 'failed' : {}, 'unreachable' : {}}

Commentaire le plus utile

il existe deux méthodes pour résoudre ce problème, désactiver l'assertion:
1.où le céleri commence définir l'exportation PYTHONOPTIMIZE=1 OU démarrer le céleri avec ce paramètre -O OPTIMISATION
2. désactiver le multitraitement des paquets python, ligne 102 du processus.py :
assert not _current_process._config.get('daemon'), \ 'daemonic processes are not allowed to have children'

Tous les 3 commentaires

il existe deux méthodes pour résoudre ce problème, désactiver l'assertion:
1.où le céleri commence définir l'exportation PYTHONOPTIMIZE=1 OU démarrer le céleri avec ce paramètre -O OPTIMISATION
2. désactiver le multitraitement des paquets python, ligne 102 du processus.py :
assert not _current_process._config.get('daemon'), \ 'daemonic processes are not allowed to have children'

il existe deux méthodes pour résoudre ce problème, désactiver l'assertion:
1.où le céleri commence définir l'exportation PYTHONOPTIMIZE=1 OU démarrer le céleri avec ce paramètre -O OPTIMISATION
2. désactiver le multitraitement des paquets python, ligne 102 du processus.py :
assert not _current_process._config.get('daemon'), \ 'les processus démoniaques ne sont pas autorisés à avoir des enfants'

@Xuexiang825 Désolé, cela ne fonctionne pas, j'utilise Python 3.6.3 et ansible 2.4.2.0, céleri 4.1.0. Mon exécuteur de playbook affiche un message mais ne fait rien. De plus, pouvez-vous me dire quelque chose sur le paramètre -O OPTIMISATION ?

@Xuexiang825 Je viens de lire votre réponse dans

Cette page vous a été utile?
0 / 5 - 0 notes