Grafana: Méta-requêtes Grafana (transformations génériques sur les résultats des requêtes de séries chronologiques)

J'espère que cette fonctionnalité n'est pas encore disponible :-)

:+1:

Quand cette fonctionnalité devrait-elle être publiée pour la source de données elasticsearch ?

pas ETA, espérons-le cette année :)

Si nous étions intéressés/possibles d'aider au développement - par où commencerions-nous ? Existe-t-il un code comme point de départ ?

Je ne pense pas qu'il y ait encore de code pour cela. Une décision générale doit être prise si les méta-requêtes sont effectuées côté serveur ou côté client. Je suis favorable à ce côté serveur afin qu'il puisse également être utilisé pour l'alerte. L'inconvénient est que cela ne fonctionnerait que pour les sources de données proxy, mais je pense que c'est ce que la plupart des gens font de toute façon.

Si c'est utile du tout - j'avais réfléchi à ce problème et j'ai eu une discussion avec Rashid avant la sortie de Timelion (les premiers commits privés dataient d'avant notre discussion, donc je ne peux réclamer aucun crédit :)

https://drive.google.com/drive/folders/0B9HCLnVMhNurTVY1UUJWZGxOdEU

Je ne sais pas si c'est la bonne vision, mais j'avais pensé à des composants modulaires dont certains pourraient potentiellement être côté client utilisateur ou côté serveur. Les avantages du serveur incluent la mise en cache et la minimisation du transfert de données pour les requêtes/combinaisons plus importantes. Un avantage pour le côté client est pour les autres sources de données où les autorisations sont accordées via le navigateur ou potentiellement pour ajouter une nouvelle série à un graphique existant - le client pourrait simplement l'interroger directement.

Je pense que le code timelion serait un début intéressant. Nous utilisons le partage iframe de timelion et la modélisation dans grafana pour créer des requêtes timelion modélisées dans grafana - un peu hacky mais résolvons le problème jusqu'à ce qu'une meilleure solution se présente.

Merci!

@yehosef Hey merci pour tout ce matériel. J'avais commencé à travailler là-dessus aussi, mais plus tard, après avoir traversé ces discussions, j'ai réalisé que l'ajout de décalage temporel uniquement pour ES n'était pas une meilleure idée, comme l'ajout de méta-requêtes comme Torkeo le suggère ci-dessus. Si vous avez commencé à coder cette partie, je serais en mesure de vous aider. Sinon, je suis heureux de faire avancer cela avec les critiques de vos conceptions à venir plus tard.

à votre santé.

@arcolife Nous n'avons pas encore commencé à travailler dessus - nous serions heureux si quelqu'un pouvait le récupérer.

Je ne sais pas comment ce genre de choses fonctionnent, mais il est possible que nous serions capables/désireux de payer pour le développement de ces fonctionnalités si cela le rendait plus faisable. Je ne sais pas s'il existe un système de primes pour ce genre de choses - par exemple, le réservoir de pluie ou une autre société dit que cela coûtera "$x" pour développer la fonctionnalité et que différentes parties intéressées pourraient contribuer. Pour nous, cela et la possibilité de faire des requêtes SQL sont vraiment très précieux.

@yehosef Hé merci ! Je suis juste content de pouvoir contribuer. :)
PS : si la mise en place d'une réunion prochainement (pour discuter de ces maquettes) aide, faisons-le ?

Je suis heureux de faire tout ce que je peux pour faire avancer ce dossier. contactez-moi à l'adresse [email protected] si vous souhaitez essayer d'organiser une réunion - ou simplement correspondre à propos d'une idée à suivre.

@yehosef "Le compte de messagerie que vous avez essayé d'atteindre n'existe pas." :)
Je l'ai essayé sur votre [github_id] @ google [dot] com.

désolé - c'est gmail.com

Bonjour, nous avons donc une heure prévue pour la disponibilité de cette fonctionnalité pour la source de données OpenTSDB.

pas encore d'ETA, peut-être en 4.1 ou 4.2, ce qui signifie, espérons-le, dans les 6 mois

Je ne sais pas si ce problème est similaire à "Demande de fonctionnalité : deux données de séries de plages de temps différentes sont affichées dans le même graphique #3235" car je suis préoccupé par #3235 .
Donc, si vous pouviez me dire spécifiquement à ce sujet que cette fonctionnalité sera disponible pour la source de données OpenTSDB.

@torkelo chaque fois que ce problème est examiné, veuillez me copier et @yehosef car nous avons eu des échanges d'e-mails autour de cette pensée et des conceptions que Yehosef avait proposées dans ce fil, et j'ai réalisé qu'il valait mieux ramener ces idées ici pour plus large exposition. Merci.

très intéressé par les mises à jour à ce sujet !

Une mise à jour sur la date de sortie de cette fonctionnalité ? Je suis vraiment impatient d'utiliser l'option Timeshift pour la source de données Elasticsearch.

Cela nous intéresserait aussi beaucoup. Atm il n'y a que Timelion pour Kibana

+1

Est-il possible de créer un plugin de source de données qui a accès aux autres sources de données ?
De cette façon, il pourrait être possible d'encapsuler les réponses de la source de données et de les transformer ensuite.

Oui,

la source de données incluse -- mixte -- fait ceci :

https://github.com/grafana/grafana/blob/master/public/app/plugins/datasource/mixed/datasource.ts#L13

Le mercredi 23 novembre 2016 à 15h26, Bruno Meneguello [email protected]
a écrit:

Il est possible de créer un plugin de source de données qui a accès à l'autre
les sources de données?
De cette façon, il pourrait être possible d'encapsuler les réponses de la source de données et de les transformer ensuite.

—
Vous recevez ceci parce que vous avez été mentionné.
Répondez directement à cet e-mail, consultez-le sur GitHub
https://github.com/grafana/grafana/issues/3677#issuecomment -262526082,
ou couper le fil
https://github.com/notifications/unsubscribe-auth/AAAq94YeRbQxzw_CDfEiDjjbZj4pJLmTks5rBE0wgaJpZM4HAses
.

C'est parfait! Je pense que je vais essayer de construire quelque chose par-dessus, de créer un langage pour prendre des séries d'autres sources de données et les traiter ensuite avec des fonctions.
Quelqu'un d'autre est intéressé?

@bkmeneguello assurez-vous de lire mon commentaire : https://github.com/grafana/grafana/issues/3677#issuecomment -230233579. Avant d'implémenter quoi que ce soit, nous devons nous mettre d'accord sur si cela doit être fait côté client (js) ou côté serveur.

Bien sûr, si cette implémentation sera essentielle, mais pour la prévisualisation, elle pourrait être réalisée en tant que plug-in de source de données.

@torkelo Cela permettra-t-il de "diviser" deux requêtes ?

Très intéressé par cette fonctionnalité également.

Cela m'intéresserait aussi. Je pourrais l'utiliser pour avoir la possibilité d'afficher un "total combiné" dans le survol de toutes les mesures d'un panneau qui sont empilées.

@torkelo Salut, nous avons donc maintenant une ETA indiquant quand cette fonctionnalité serait disponible pour la source de données OpenTSDB.

@ shivam009 pas d'ETA actuellement

@torkelo Bonjour,

Y a-t-il une ETA pour #3677 ? Cela sera très utile lors de la combinaison sum/avg/etc sur les résultats de plusieurs métriques de la même manière que la source de données Graphite.
Utilisation d'Elasticsearch comme source de données ici.

pas encore d'ETA, mais c'est quelque chose que nous espérons atteindre cette année.

Il pourrait être utile de comparer avec une plage de temps arbitraire (par exemple, une "référence de données")

Salut @torkelo ,

Des mises à jour sur #3677 ??

pas de mises à jour :( Je posterais une mise à jour ici si j'en avais

Salut @torkelo ,

Merci pour la réponse rapide. Essentiellement, mon exigence est de faire la moyenne des points de données renvoyés par ES et de les compartimenter sur un intervalle de temps de 1 min. Existe-t-il une autre alternative pour obtenir les fonctionnalités de résumé et de sumSeries dans Elasticsearch ?

@ shiv6146 ne pouvez-vous pas utiliser la fonction d'intervalle d'histogramme de date Elasticsearch pour cela?

@torkelo Je peux créer un groupe imbriqué en utilisant un histogramme de date, mais malheureusement, Grafana ne me permet pas de masquer la sortie du groupe interne et de tracer uniquement les points de données agrégés :(

Pouvez-vous au moins implémenter quelque chose de simple comme ajouter et soustraire ?

• Métrique C : #A - #B
• Métrique D : #A + #B

@mstipanov c'est sur notre feuille de route mais nous sommes occupés avec d'autres fonctionnalités jusqu'après l'été.

@mstipanov
J'ai hâte de voir ça dès que possible aussi. Utiliser influxdb

• Métrique C : #A - #B
• Métrique D : #A + #B

aimerait certainement aider sur celui-ci s'il y a une spécification. Un endroit où je peux commencer à travailler pour celui-ci ? De plus, certaines mesures pourraient nécessiter plus de données disponibles sur le "A" existant, par exemple, une moyenne mobile de 7 jours nécessitera (série actuelle + données antérieures de 7 jours)

@torkelo avez-vous des idées sur la façon dont vous pensez que nous devrions procéder pour le mettre en œuvre ? Je suis prêt à investir du temps pour le construire. Besoin d'une interface au-dessus de Druid.

regardé dans l'extension via plugin. Devrait passer le datasourceSrv au meta-queries-plugin puis laisser le plugin faire des rappels à la source de données. Prévoyez de travailler d'abord sur la moyenne mobile et le décalage horaire.

Salut les gens, j'ai eu un problème comme @f1-outsourcing et @mstipanov (métrique A (+-) métrique B). Et puis, j'ai développé un plugin de panneau pour ce faire, appelé "Calculated Stat plugin". Si vous êtes intéressé, voici mon github https://github.com/fabiojose/grafana-calcltdstat-plugin .

@fabiojose merci, j'ai regardé votre plugin. Merci de l'avoir publié. Je pense qu'il serait peut-être préférable de l'implémenter en tant que source de données afin que nous puissions utiliser n'importe quel panneau comme un tableau ou un graphique. J'en ai fini avec Time Shift. L'ouvrira dans un jour ou deux. Sera fait avec la moyenne mobile d'ici là aussi

Poshmark a open source https://github.com/GoshPosh/grafana-meta-queries , il prend en charge les colonnes calculées, la moyenne mobile et le décalage temporel

Impressionnant! bon travail les gars!

@torkelo si vous avez un peu de temps, pouvez-vous donner votre avis sur le plugin ?

@Gauravshah oui ! désolé, l'équipe du trou a été occupée à préparer et à se rendre à une conférence de développeurs que nous parrainons cette semaine, donc elle a été lente sur les critiques et les commentaires des plugins. Peut-être la semaine prochaine ou la semaine d'après

@torkelo pas de soucis, prenez votre temps s'il vous plait. Merci

@torkelo Y a-t-il une mise à jour ?

J'aimerais aussi voir cette fonctionnalité implémentée dès que possible

Salut,
en utilisant grafana v4.5.2 avec Elasticsearch.
Besoin de convertir l'horodatage en valeur booléenne selon que le temps écoulé depuis l'horodatage est inférieur à 5 minutes.
valeur du champ de script (Time est une fonction qui renvoie l'époque actuelle) :
booléen( Temps - _value > 300 )
Est-ce aussi dans vos projets ?
De plus, nous avons besoin de l'option de générer un graphique qui est la division de deux valeurs à partir de différentes requêtes, au fil du temps.
Merci,

@lilachmaliniak
tu pourrais faire ((new Date()).getTime() - A['_value']) > 300
deux sources de données différentes fonctionneraient

Merci @Gauravshah
Je n'ai pas pu faire exactement ce que vous avez suggéré, probablement en raison du type de valeur, qui est un nombre/int.
J'ai eu une erreur : 500
c'est à ce moment que j'ai défini le script Options sur: (((new Date()).getTime() - _value) < 300000 )
C'est la requête :
{"search_type":"query_then_fetch","ignore_unavailable":true,"index":"beaconindex"} {"size":0,"query":{"bool":{"filter":[{"range": {"private_data.timestamp":{"gte":"1513673225106","lte":"1513676825106","format":"epoch_millis"}}},{"query_string":{"analyze_wildcard":true,"query" :"private_data.kes_hostname.keyword:(\"lilach\-centos\-vm.com\")"}}]}},"aggs":{"5":{"terms":{"field":" private_data.kes_hostname.keyword","size":10,"order":{"_term":"desc"},"min_doc_count":1},"aggs":{"1":{"max":{" field":"private_data.timestamp","missing":0,"script":{"inline":"((( new Date()).getTime() - _value) < 300000 ) "}}},"3 ":{"min":{"field":"private_data.systemMetrics.systemData.system.uptime"}}}}}} "
En exécutant la même requête de Kibana, j'ai obtenu :
{
"Erreur": {
"cause première": [
{
"type": "classe_cast_exception",
"raison": null
}
],
"type": "recherche_phase_execution_exception",
"reason": "tous les fragments ont échoué",
"phase": "requête",
"groupé": vrai,
"failed_shards": [
{
"fragment": 0,
"index": "indice de balise",
"nœud": "TGW3SyrEQHSnIi8qQt3rNw",
"raison": {
"type": "classe_cast_exception",
"raison": null
}
}
]
},
"statut": 500
}

J'ai donc utilisé le script suivant, dans Options : (((new Date()).getTime() - _value) < 300000 ) ? dix
Et cela fonctionne en convertissant les valeurs en plage : [0,1]

Ma question est: comment puis-je convertir davantage la valeur dans Grafana, pour afficher le jeton à la place (par exemple, haut / bas)

Je pense que cela doit être pris en charge par grafana et non par ce plugin en tant que tel. Vous pourriez être en mesure d'attribuer (((new Date()).getTime() - _value) < 300000 ) ? '↑' : '↓' n'a pas essayé cependant

@Gauravshah , merci
Pouvez-vous être plus précis, où dois-je mettre cela?
Si je l'écris dans l'onglet Metric sous Metric->Options->Script, le script est inclus dans la requête Lucene en tant que propriété en ligne et la requête échoue avec le statut d'erreur 500.
"script":{"inline":"(((nouvelle Date()).getTime() - _value) < 300000 ) ? 'up' : 'down'"}

Je pense avoir mal compris votre question. Je ne sais pas grand-chose sur les requêtes de recherche élastiques. Je pensais que vous demandiez comment le faire sur le plugin méta-requêtes

@Gauravshah , oui, j'essaie de le faire avec des requêtes ES. J'ai déjà installé le plug-in de méta-requêtes mais, pour une raison quelconque, je n'ai pas réussi à créer un tableau de bord avec. Lors de la création d'un nouveau tableau de bord, l'option de type MetaQuery n'était pas disponible. Je vais essayer à nouveau, merci.

@Gauravshah , comment utiliser MetaQuery avec la source de données ES ?
où puis-je trouver la documentation du plugin ?
car je n'ai pas trouvé de doc dans git: https://github.com/GoshPosh/grafana-meta-queries
Merci

Salut @Gauravshah ,
J'ai réussi à créer un nouveau tableau de bord après avoir installé le plugin de source de données MetaQueries.
après avoir créé une nouvelle table et défini la source de données de la table sur -- Mixte --
ajouté 2 requêtes :
A ($datasource) Métriques : Max(private_data.timestamp), Group by:Term(private_data.kes_hostname.keyword)
B (Source de données MetaQuery) Type Expression arithmétique ((new Date()).getTime() - A['_value']) < 300000 ? 'haut' : 'bas'
La requête A renvoie la valeur attendue et elle s'affiche avec succès dans le tableau.
mais, je ne parviens pas à afficher une colonne avec la valeur d'expression de la requête B, et je ne peux pas voir quelle est la sortie de l'expression, ni si elle a réussi ou échoué. Il n'y a aucune indication.
Ma question : comment déboguer la requête (celle utilisant metaQuery DS) et afficher la valeur de l'expression dans la table en tant que colonne supplémentaire ?
Acclamations

la source de données doit être définie sur Meta Queries et non mélangée. Je l'ajouterai au fichier readme du plugin :(

Salut @Gauravshah ,
Merci.
Modification de la source de données de la table en "Source de données MetaQuery" comme vous l'avez conseillé.
Maintenant, j'obtiens l'erreur "impossible de lire la propriété 'longueur' de undefined" et la table ne parvient pas à afficher la pensée, comme avant que la requête d'ES réussisse avec la valeur attendue.

@lilachmaliniak pouvez-vous créer un problème sur https://github.com/GoshPosh/grafana-meta-queries , veuillez également joindre la trace de la pile de votre navigateur

Salut @Gauravshah ,
Ajout d'un nouveau problème : https://github.com/GoshPosh/grafana-meta-queries/issues/9

👍

Ce problème date de plus de 2 ans. Cette demande de fonctionnalité a-t-elle été intégrée à une autre ?

👍

De nombreux magasins de données de séries chronologiques peuvent le faire pour vous, mais certains (en regardant votre cloudwatch) ne le font pas et pourraient ne jamais prendre en charge ce genre de chose.

En attendant, nous pouvons au moins faire timeShift avec deux panneaux, mais le décalage temporel par requête pour faire des graphiques de comparaison dans le même panneau serait assez fantastique.

+1

@matschaffer & @JJMVG vous devriez pouvoir utiliser https://github.com/GoshPosh/grafana-meta-queries

@SwathiMuppalla , vous devriez créer des problèmes dans le dépôt du plugin, pas ici.

+1

+1 ce serait énorme - je n'ai pas eu beaucoup de succès avec le plugin grafana-meta-queries avec 6.4 :(

En tant que couche de visualisation prenant en charge une multitude de sources de données, cela pourrait être le joyau de la couronne des fonctionnalités de surveillance. Nous combinons les données de MySQL, Elasticsearch et Prometheus dans nos tableaux de bord, et la normalisation des données d'une source en fonction d'une autre pourrait constituer un énorme bond en avant dans l'importance du produit dans notre pile de surveillance.

Ce n'est pas un autre commentaire +1.

C'est un +100 🙏🏼✌🏼

@torkelo Peut-être serait-il possible d'utiliser quelque chose comme https://github.com/wesm/feather ou https://arrow.apache.org/docs/python/ipc.html comme une sorte de "column-store cache" qui peuvent ensuite être utilisés pour un traitement ou des manipulations supplémentaires.

Vous pourriez avoir d'autres idées à partir du travail sur https://www.dremio.com/ - cela semble être un espace de problème légèrement lié (interrogation d'une variété de sources de données et mise en cache dans Arrow, etc. pour une manipulation et une interrogation plus poussées.)

@torkelo Peut-être serait-il possible d'utiliser quelque chose comme https://github.com/wesm/feather ou https://arrow.apache.org/docs/python/ipc.html comme une sorte de "column-store cache" qui peuvent ensuite être utilisés pour un traitement ou des manipulations supplémentaires.

Bien qu'il soit agréable d'avoir des outils externes pour des fonctions avancées, cela ne résout pas le problème en termes de simplicité ou d'intégration avec Grafana. Fournir les opérations arithmétiques de base sur deux séries peut résoudre 80 % des problèmes en seulement 20 % du temps.

@redlus @yehosef pourquoi https://github.com/GoshPosh/grafana-meta-queries n'est-il pas une solution ?

@torkelo si vous pensez que https://github.com/GoshPosh/grafana-meta-queries résout le problème mentionné dans ce numéro, nous devrions fermer le problème en indiquant qu'il est résolu par un plugin pour grafana. Il est difficile pour les gens de parcourir un long problème pour découvrir qu'il existe un plugin qui résout le problème.

@Gauravshah
J'adorerais voir un plugin fonctionnel, mais nous avons eu des problèmes lors de l'utilisation de ce plugin avec les nouvelles versions de Grafana ; c'est à dire
https://github.com/GoshPosh/grafana-meta-queries/issues/82

@redlus vous devriez lui donner une autre chance, cela fonctionne sur le grafana 6.4. De plus, si la dernière version de grafana était le seul problème, il y avait des options pour revenir en arrière d'une version mineure. Je ne sais pas pourquoi appelleriez-vous would love to see a working plugin

@Gauravshah ne fonctionne malheureusement toujours pas avec Grafana 6.5.1 - Je n'ai pas essayé avec 6.4 mais le passage à une version plus ancienne peut ne pas être acceptable pour la plupart des utilisateurs.

pas de progrès ...

Je vois beaucoup de gens rebondir ici en essayant d'agréger plusieurs sources de données. Je me demande si le panneau blendstat résout le problème de certains peuples et si cette conception pourrait être réutilisée dans d'autres panneaux ?

https://grafana.com/grafana/plugins/farski-blendstat-panel

Blendstat comble un vide, mais cela ne fonctionne pas avec la répétition ou la boucle pour toutes les variables. S'il y a un moyen, je ne sais pas comment.

Je viens de tomber sur un autre cas d'utilisation, j'espère que cela résoudra. Je récupère les métriques CloudWatch avec un pourcentage (0,0-0,1) qui me donne des nombres entiers 5, 7, etc. Je m'attendais à 0,5 %, 0,7 % et je ne vois pas comment transformer cela.

Salut, excuses si je suis vieux terrain ici, mais c'est un fil assez long:

Ai-je raison de penser que cette demande de fonctionnalité vise à prendre en charge les graphiques produits à la suite de la combinaison de plusieurs requêtes ? Par exemple, si ce travail était fait, vous pourriez prendre une série chronologique de Prometheus et la résumer avec une série chronologique de, disons, Stack Driver ?

Si oui : ces travaux sont-ils toujours prévus, quelle est la feuille de route et avez-vous besoin d'aide ? :)

cela, plus (j'espère) le décalage temporel de n'importe quel graphique afin que je puisse comparer le graphique d'aujourd'hui avec celui d'hier, ou la moyenne sur 7 jours.
Oui, certains magasins de données peuvent déjà le faire, mais cela devrait être une fonctionnalité générique.