Kibana: Prise en charge de l'agrégation de scripts de compartiment

Dupliquer https://github.com/elastic/kibana/issues/4584

@rashidkpc Je ne vois pas en quoi c'est une dupe des pipelines. Les pipelines dans 5.4 mais je n'y vois pas d'agrégations de scripts de compartiment. Pouvons-nous rouvrir cela?

Je suis intéressé par cette fonctionnalité afin de faire des visualisations de valeurs sur des documents qui représentent des champs d'agriculteurs où je dois pondérer les valeurs plus grandes pour les grands champs et plus petites pour les petits champs, une fois que la requête de recherche a sélectionné les documents de terrain à inclure dans la moyenne pondérée .

La fonctionnalité bucket_script semble être la réponse (je l'ai fait fonctionner dans elasticsearch) mais je n'arrive pas à reproduire une telle requête lors de l'utilisation d'une visualisation Kibana.

Y a-t-il des plans pour soutenir cela bientôt?

Ou existe-t-il une solution de contournement ?

(par exemple, j'essayais de voir si je peux dire directement à Kibana la requête Elasticsearch que je veux utiliser pour une visualisation au lieu que Kibana crée la requête pour moi en fonction de mes choix d'interface utilisateur - mais cela ne semble pas être possible ? Est-ce correct ? )

+1

Je serais intéressé par cette fonctionnalité. Dans notre cas d'utilisation, cela permettrait de contourner les ratios réussite/échec.

+1 aimerait voir ça aussi ! Devrait être assez simple à mettre en œuvre. Juste une "Metrique personnalisée" dans le menu déroulant qui présente une boîte dans laquelle vous pouvez saisir votre agrégation JSON..

À partir de Kibana 5.4, bucket script agg est désormais pris en charge dans Time Series Visual Builder, bien qu'il s'appelle "Calculation" (cc @simianhacker, je me demande si nous devrions préciser que cette option repose sur "Bucket Script" ?)

Les personnes sur ce ticket (par exemple @Kazark) pourraient-elles l'essayer et nous faire savoir si cela vous aide dans vos cas d'utilisation ?

Je pense que @simianhacker a convenu qu'il était logique de renommer cette agrégation. J'ai ouvert https://github.com/elastic/kibana/issues/13796 à des fins de suivi.

@tbragin Avoir l'agrégation de scripts de compartiment dans le TSVB est une fonctionnalité très intéressante, imo - merci beaucoup de l'avoir implémentée. Les choses que j'ai essayées ont très bien fonctionné.

Néanmoins, ce serait formidable si le TSVB prenait en charge des agrégations de scripts supplémentaires (par exemple, l'agrégation de sommes scriptées), car l'agrégation de scripts de compartiment ne peut exploiter pleinement son potentiel que si toutes sortes de sous-agrégations sont prises en charge. Mais comme ce n'est pas un endroit pour en discuter plus en détail, j'ai ouvert un autre numéro.

Existe-t-il un calendrier pour cette fonctionnalité ?

La fonctionnalité 'Calculer' ne peut faire qu'un script de seau en tant que niveau supérieur, elle ne peut pas être appliquée dans une agrégation de seau parent... :(

Et ce n'est que dans la visualisation de séries chronologiques, il n'y a pas de script de seau dans les visualisations standard.

Nos cas d'utilisation particuliers nécessitent les deux, et il semble qu'aucun ne soit pris en charge - même pas dans 6.x(rc)
Y a-t-il des plans pour cela?

Dans nos cas d'utilisation, chaque document a des champs de type date d'heure de début et d'heure de fin, et nous devons générer une durée globale à travers des buckets de ceux-ci, regroupés sur un champ de catégorie.
Cela implique d'abord de compartimenter cette catégorie, puis de faire 2 métriques: min(start-time) et nax(end-time) des documents dans chaque seau, puis d'appliquer un pipeline-script-bucket agg qui utilise ces 2 métriques- aggs pour calculer la durée entre eux (max_end_time - min_start_time). Cela nous donne une métrique de « durée » en tant que sortie de chaque seau. Nous voulons ensuite leur appliquer quelques metric-pipeline-aggs.

Une structure presque identique a été détaillée ici : https://discuss.elastic.co/t/kibana-5-4-bucket-script-visualization/86475

J'ai pu l'exprimer dans la requête-DSL, et nous l'utilisons déjà en production - mais nous ne pouvons pas les visualiser dans Kibana - ce qui est VRAIMENT nul, car nos clients demandent de telles visualisations depuis des années, et nous ' Je leur ai toujours dit "nous avons besoin du support des versions ultérieures, pour les agrégations de pipelines"...
Eh bien, maintenant nous les avons - mais en fait, ne...
Dans le générateur de séries temporelles, nous avons une agrégation de pipeline de script de seau qui peut être exprimée, mais elle ne peut pas consommer/être appliquée sur une agrégation de seau-terme parent, et dans l'autre visualisation, nous avons seau-term- agrégations et certaines agrégations de métriques de pipeline, mais pas l'agrégation de pipeline de script de compartiment nécessaire pour exprimer cela...

Existe-t-il une solution de contournement à l'aide d'un élément "JSON avancé" dans lequel je peux y mettre ma requête-DSL ?

Je viens d'ajouter mon cas d'utilisation comme demandé dans cette question :

Mon index contient le type de document suivant (qui représente les exécutions de test) :

• id de test (chaîne)
• succès (booléen)
• version du logiciel

Je veux construire l'histogramme suivant :

• Sur l'axe X : versions
• Sur l'axe Y : nombre de tests uniques, empilés sur succès/échec

Le même identifiant de test peut être exécuté plusieurs fois sur la même version avec des résultats différents : il devrait être compté comme un succès s'il réussit une fois.

J'espère vraiment que cela sera mis en œuvre, car c'est un écueil définitif pour nous.

Veuillez simplement ajouter "Bucket Script Aggregation" ou "Custom Aggregation" en option dans les visualisations normales. Cela devrait être facile, tout comme l'autre agrégation mais sans ajouter de contenu dans le corps de l'agrégation (juste le json fourni par l'utilisateur)

Pour toute personne intéressée par un exemple d'utilisation de cette fonctionnalité dans TSVB, voici un article de forum pertinent : https://discuss.elastic.co/t/weighted-average-in-a-datatable-of-kibana/185909/2.

La fonctionnalité demandée n'est PAS effectuée (!) Il ne s'agissait PAS de TSVB, mais des autres types de visualisation normaux (!) Nous sommes maintenant sur 6.4 et nous NE POUVONS TOUJOURS PAS FAIRE CE DONT NOUS AVONS BESOIN. Ce n'est pas non plus dans 7.x ASAIK.
Encore une fois, il s'agit de pouvoir choisir "Bucket Script" dans les graphiques à barres (il n'y est PAS disponible) et de le faire à N'IMPORTE QUEL niveau imbriqué de l'agrégation globale.
Nous aurions également besoin d'un "Bucket Filter" BTW, pour pouvoir filtrer les buckets sortant de cette agrégation via un court script.

CC @elastic/kibana-app

La fonctionnalité 'Calculer' ne peut faire qu'un script de seau en tant que niveau supérieur, elle ne peut pas être appliquée dans une agrégation de seau parent... :(

Et ce n'est que dans la visualisation de séries chronologiques, il n'y a pas de script de seau dans les visualisations standard.

Nos cas d'utilisation particuliers nécessitent les deux, et il semble qu'aucun ne soit pris en charge - même pas dans 6.x(rc)
Y a-t-il des plans pour cela?

Dans nos cas d'utilisation, chaque document a des champs de type date d'heure de début et d'heure de fin, et nous devons générer une durée globale à travers des buckets de ceux-ci, regroupés sur un champ de catégorie.
Cela implique d'abord de compartimenter cette catégorie, puis de faire 2 métriques: min(start-time) et nax(end-time) des documents dans chaque seau, puis d'appliquer un pipeline-script-bucket agg qui utilise ces 2 métriques- aggs pour calculer la durée entre eux (max_end_time - min_start_time). Cela nous donne une métrique de « durée » en tant que sortie de chaque seau. Nous voulons ensuite leur appliquer quelques metric-pipeline-aggs.

Une structure presque identique a été détaillée ici : https://discuss.elastic.co/t/kibana-5-4-bucket-script-visualization/86475

J'ai pu l'exprimer dans la requête-DSL, et nous l'utilisons déjà en production - mais nous ne pouvons pas les visualiser dans Kibana - ce qui est VRAIMENT nul, car nos clients demandent de telles visualisations depuis des années, et nous ' Je leur ai toujours dit "nous avons besoin du support des versions ultérieures, pour les agrégations de pipelines"...
Eh bien, maintenant nous les avons - mais en fait, ne...
Dans le générateur de séries temporelles, nous avons une agrégation de pipeline de script de seau qui peut être exprimée, mais elle ne peut pas consommer/être appliquée sur une agrégation de seau-terme parent, et dans l'autre visualisation, nous avons seau-term- agrégations et certaines agrégations de métriques de pipeline, mais pas l'agrégation de pipeline de script de compartiment nécessaire pour exprimer cela...

Existe-t-il une solution de contournement à l'aide d'un élément "JSON avancé" dans lequel je peux y mettre ma requête-DSL ?

@ArnonMarcus Avez-vous pu y parvenir. J'ai une exigence similaire mais je n'arrive pas à comprendre comment mettre en œuvre dans Kibana. Je suis actuellement sur la version 6.7.1

Non... C'est toujours un problème ouvert.

De mon point de vue en tant que scientifique des données, l'incapacité de faire des mathématiques de base, par exemple des ratios sur les requêtes d'agrégation, (c'est ce qu'on appelle une agrégation de scripts de seau en langage Elastic) dans les visualisations et les cartes est une limitation massive de l'ensemble de la plate-forme Kibana

Du côté positif, vous pouvez obtenir cette fonctionnalité en créant des visualisations et des cartes Vega personnalisées. Le seul problème avec cette méthode est que vous êtes limité à afficher 10 000 valeurs sur vos visualisations, ce qui est assez limitatif pour créer une sorte de nuage de points ou de carte avec beaucoup de données.

+1

+1

Un cas d'utilisation de cette fonctionnalité consiste à contourner Elasticsearch ne pas avoir d'option non négative pour l'agrégation de dérivés afin que les graphiques puissent finir par afficher des valeurs dérivées négatives (lors du redémarrage intentionnel du serveur) : https://github.com/elastic/elasticsearch/issues /15542

+1

Il s'agit d'une fonctionnalité très demandée par les utilisateurs, similaire à https://github.com/elastic/kibana/issues/17544.

Y a-t-il des plans pour mettre en œuvre cela?

Ce serait sympa !

+1

+1

Je suis en retard à cette fête, donc ma déception est fraîche.

Il y a quelques jours, j'ai créé le sujet du forum de discussion Elastic " Visualiser une valeur calculée à partir de la somme par bucket d'un champ divisée par la somme par bucket d'un autre ? " (désolé pour le titre verbeux).

Peu de temps après, j'ai trouvé ce problème et j'ai réalisé tardivement pourquoi je ne pouvais pas comprendre comment le faire dans les visualisations "standard" de Kibana ☹️.

J'ai répondu à mon propre sujet de forum, citant ce problème et montrant des exemples de base d'utilisation de scripts de compartiment dans TSVB et - je suppose que c'est pourquoi je publie ce commentaire, au cas où cela serait utile à quelqu'un - Vega-Lite.

En attendant cette fonctionnalité recherchée, une alternative à la visualisation des tables de données est d'utiliser le plugin communautaire « table améliorée », et sa fonctionnalité « colonnes calculées » :
https://github.com/fbaligand/kibana-enhanced-table