Grafana: Grafana-Metaabfragen (generische Transformationen von Zeitreihenabfrageergebnissen)

Ich hoffe, dass diese Funktion noch nicht veröffentlicht wird :-)

:+1:

Wann wird diese Funktion voraussichtlich für die Elasticsearch-Datenquelle veröffentlicht?

nicht ETA, hoffentlich noch dieses Jahr :)

Wenn wir interessiert/möglich wären, bei der Entwicklung zu helfen – wo würden wir anfangen? Gibt es einen Code als Ausgangspunkt?

Ich glaube, dafür gibt es noch keinen Code. Generell muss entschieden werden, ob die Metaabfragen serverseitig oder clientseitig durchgeführt werden. Ich bin dafür, diese Serverseite so zu machen, dass sie auch für die Benachrichtigung verwendet werden kann. Der Nachteil ist, dass dies nur für Proxy-Datenquellen funktionieren würde, aber ich denke, das tun die meisten Leute sowieso.

Wenn es überhaupt hilfreich ist - ich hatte dieses Problem durchdacht und eine Diskussion mit Rashid geführt, bevor Timelion veröffentlicht wurde (die ersten privaten Commits waren vor unserer Diskussion, daher kann ich keine Anerkennung beanspruchen :)

https://drive.google.com/drive/folders/0B9HCLnVMhNurTVY1UUJWZGxOdEU

Ich weiß nicht, ob dies die richtige Vision ist, aber ich hatte an modulare Komponenten gedacht, von denen einige potenziell benutzer-, client- oder serverseitig sein könnten. Zu den Vorteilen des Servers gehören das Caching und die Minimierung des Datentransfers für größere Abfragen/Kombinationen. Ein Vorteil für die Clientseite ist für andere Datenquellen, bei denen die Berechtigungen über den Browser erteilt werden, oder potenziell eine neue Reihe zu einem vorhandenen Diagramm hinzuzufügen – der Client könnte sie einfach direkt abfragen.

Ich würde denken, dass der Timelion-Code ein interessanter Anfang wäre. Wir verwenden die Iframe-Freigabe von Timelion und das Templating in Grafana, um Timelion-Abfragen mit Vorlagen in Grafana zu erstellen - ein bisschen hackig, aber lösen Sie das Problem, bis eine bessere Lösung kommt.

Danke!

@yehosef Hey, danke für all dieses Material. Ich hatte auch damit begonnen, daran zu arbeiten, aber später, nachdem ich diese Diskussionen durchgegangen war, wurde mir klar, dass das Hinzufügen von Timeshift nur für ES keine so viel bessere Idee war, als das Hinzufügen von Metaabfragen wie Torkeo oben vorschlägt. Wenn ihr angefangen habt, diesen Teil zu programmieren, könnte ich euch helfen. Wenn nicht, nehme ich dies gerne mit den Bewertungen für Ihre Designs vor, die später eingehen.

Prost.

@arcolife Wir haben noch nicht angefangen daran zu arbeiten - würde mich freuen, wenn es jemand abholen kann.

Ich weiß nicht, wie solche Dinge funktionieren, aber es ist möglich, dass wir in der Lage/gewillt wären, für die Entwicklung dieser Features zu bezahlen, wenn es dadurch praktikabler wäre. Ich weiß nicht, ob es für solche Dinge ein Prämiensystem gibt - zB sagt Raintank oder eine andere Firma, dass es "x $" kosten wird, das Feature zu entwickeln, und verschiedene Interessenten könnten einen Beitrag leisten. Für uns sind dies und die Möglichkeit, SQL-Abfragen durchzuführen, wirklich sehr wertvoll.

@yehosef Hey danke! Ich freue mich einfach, einen Beitrag leisten zu können. :)
PS: Wenn es hilft, bald ein Treffen zu vereinbaren (um diese Mockups zu besprechen), lass es uns tun?

Ich freue mich, alles in meiner Macht Stehende zu tun, um diesen Fortschritt voranzutreiben. Kontaktieren Sie mich unter [email protected] , wenn Sie versuchen möchten, ein Treffen zu vereinbaren - oder einfach nur über die Idee korrespondieren, um fortzufahren.

@yehosef "Das E-Mail-Konto, das Sie erreichen wollten, existiert nicht." :)
Ich habe es auf Ihrer [github_id] @ google [dot] com versucht.

Entschuldigung - es ist gmail.com

Hallo, also haben wir eine ETA, wann diese Funktion für die OpenTSDB-Datenquelle verfügbar sein wird.

noch keine ETA, vielleicht in 4.1 oder 4.2, was hoffentlich innerhalb von 6 Monaten bedeutet

Ich bin mir nicht sicher, ob dieses Problem ähnlich ist wie "Funktionsanfrage: Zwei verschiedene Zeitreihendaten werden in demselben Diagramm #3235 angezeigt", da ich mir Sorgen um #3235 mache.
Wenn Sie mir also konkret mitteilen könnten, wann diese Funktion für OpenTSDB-Datenquellen verfügbar sein wird.

@torkelo , wann immer dieses Problem überprüft wird, kopieren Sie bitte mich und @yehosef , denn wir hatten einige E-Mail-Austausche zu diesem Gedanken und den Entwürfen, die Yehosef in diesem Thread vorgeschlagen hatte, und ich habe erkannt, dass es besser ist, diese Ideen für mehr Breite hierher zurückzubringen Exposition. Danke.

sehr interessiert an Updates dazu!

Irgendwelche Updates zum Veröffentlichungsdatum für diese Funktion? Ich freue mich sehr darauf, die Timeshift-Option für die Elasticsearch-Datenquelle zu verwenden.

Das würde uns auch sehr interessieren. Atm gibt es nur Timelion für Kibana

+1

Ist es möglich, ein Datenquellen-Plugin zu erstellen, das Zugriff auf die anderen Datenquellen hat?
Auf diese Weise könnte es möglich sein, Datenquellenantworten zu verpacken und dann zu transformieren.

Jawohl,

die enthaltene - gemischte - Datenquelle tut dies:

https://github.com/grafana/grafana/blob/master/public/app/plugins/datasource/mixed/datasource.ts#L13

Am Mittwoch, 23. November 2016 um 15:26 Uhr, Bruno Meneguello [email protected]
schrieb:

Es ist möglich, ein Datenquellen-Plugin zu erstellen, das Zugriff auf das andere hat
Datenquellen?
Auf diese Weise könnte es möglich sein, Datenquellenantworten zu verpacken und dann zu transformieren.

—
Sie erhalten dies, weil Sie erwähnt wurden.
Antworten Sie direkt auf diese E-Mail und zeigen Sie sie auf GitHub an
https://github.com/grafana/grafana/issues/3677#issuecomment -262526082,
oder den Thread stumm schalten
https://github.com/notifications/unsubscribe-auth/AAAq94YeRbQxzw_CDfEiDjjbZj4pJLmTks5rBE0wgaJpZM4HAses
.

Dies ist perfekt! Ich denke, ich werde versuchen, etwas darüber aufzubauen, um eine Sprache zu erstellen, um Serien aus anderen Datenquellen zu nehmen und dann mit Funktionen zu verarbeiten.
Sonst noch jemand interessiert?

@bkmeneguello lesen Sie unbedingt meinen Kommentar: https://github.com/grafana/grafana/issues/3677#issuecomment -230233579. Bevor wir etwas implementieren, sollten wir uns einigen, ob dies clientseitig (js) oder serverseitig erfolgen soll.

Sicher, wenn diese Implementierung der Kern sein wird, aber für die Vorschau könnte sie als Datenquellen-Plugin erstellt werden.

@torkelo Ermöglicht dies das "Teilen" von zwei Abfragen?

Interessiert mich auch sehr für diese Funktion.

Das würde mich auch interessieren. Ich könnte dies verwenden, um die Möglichkeit zu haben, eine "kombinierte Summe" im Hover-Over aller Metriken in einem gestapelten Bereich anzuzeigen.

@torkelo Hallo, also haben wir jetzt eine ETA, wann diese Funktion für die OpenTSDB-Datenquelle verfügbar sein wird.

@shivam009 derzeit keine ETA

@torkelo Hallo,

Gibt es eine ETA für #3677? Es ist sehr hilfreich, wenn sum/avg/etc auf den Ergebnissen der mehreren Metriken auf die gleiche Weise kombiniert werden, wie es die Graphite-Datenquelle tut.
Verwenden Sie hier Elasticsearch als Datenquelle.

noch keine ETA, aber wir hoffen, dass wir dieses Jahr dazu kommen.

Es kann sinnvoll sein, mit einem beliebigen Zeitbereich (z. B. einer "Datenreferenz") zu vergleichen.

Hallo @torkelo ,

Irgendwelche Updates zu #3677 ??

keine Updates :( Ich würde hier Updates posten, wenn ich welche hätte

Hallo @torkelo ,

Danke für die schnelle Antwort. Im Wesentlichen besteht meine Anforderung darin, von ES zurückgegebene Datenpunkte zu mitteln und sie über ein Zeitintervall von 1 Minute zu bündeln. Gibt es eine andere Alternative, um zusammenfassende und sumSeries-Funktionalitäten in Elasticsearch zu erreichen?

@ shiv6146 können Sie dafür nicht die Elasticsearch-Datumshistogramm-Intervallfunktion verwenden?

@torkelo Ich kann eine verschachtelte Gruppe erstellen, indem ich das Datumshistogramm verwende, aber leider erlaubt mir Grafana nicht, die Ausgabe der inneren Gruppe nach auszublenden und nur die aggregierten Datenpunkte zu zeichnen :(

Können Sie zumindest etwas Einfaches wie Addieren und Subtrahieren implementieren?

• Metrik C: #A - #B
• Metrik D: #A + #B

@mstipanov Es steht auf unserer Roadmap , aber wir sind bis nach dem Sommer mit anderen Funktionen beschäftigt.

@mstipanov
Ich freue mich darauf, dies auch so schnell wie möglich zu sehen. Verwenden von influxdb

•Metrik C: #A - #B
•Metrik D: #A + #B

würde gerne auf jeden Fall helfen, wenn es eine Spezifikation gibt. Irgendwo kann ich anfangen, für diesen zu arbeiten? Es könnte auch einige Metriken geben, die möglicherweise mehr Daten erfordern, die für das vorhandene „A“ verfügbar sind, z. B. wird ein gleitender Durchschnitt von 7 Tagen erforderlich sein (aktuelle Serie + 7 Tage frühere Daten).

@torkelo hast du eine Idee, wie wir deiner Meinung nach bei der Umsetzung vorgehen sollten? Ich bin bereit, etwas Zeit zu investieren, um dies zu bauen. Benötigen Sie ein Frontend auf Druid.

Ich habe mich mit der Erweiterung über ein Plugin befasst. Müsste datasourceSrv an meta-queries-plugin übergeben und dann das Plugin Rückrufe an die Datenquelle durchführen lassen. Planen Sie, zuerst am gleitenden Durchschnitt und an der Zeitverschiebung zu arbeiten.

Hallo Leute, ich hatte ein Problem wie @f1-outsourcing und @mstipanov (Metrik A (+-) Metrik B). Und dann habe ich dafür ein Panel-Plugin namens "Calculated Stat plugin" entwickelt. Bei Interesse hier mein Github https://github.com/fabiojose/grafana-calcltdstat-plugin .

@fabiojose danke, ich habe mir dein Plugin angesehen. Danke, dass du es herausgebracht hast. Ich denke, es könnte besser sein, es als Datenquelle zu implementieren, damit wir jedes Panel wie eine Tabelle oder ein Diagramm verwenden können. Ich bin fertig mit Time Shift. Wird es in ein oder zwei Tagen öffnen. Wird bis dahin auch mit gleitendem Durchschnitt fertig sein

Poshmark hat Open Source https://github.com/GoshPosh/grafana-meta-queries , es unterstützt berechnete Spalten, Moving Average & Timeshift

Beeindruckend! gute Arbeit, Leute!

@torkelo Wenn du etwas Zeit hast, kannst du bitte dein Feedback zum Plugin geben?

@Gauravshah ja! Entschuldigung, das ganze Team war damit beschäftigt, eine Entwicklerkonferenz vorzubereiten und zu ihr zu reisen, die wir diese Woche sponsern, also war es langsam mit Plugin-Rezensionen und Feedback. Vielleicht nächste oder übernächste Woche

@torkelo keine Sorge, bitte nimm dir Zeit. Danke

@torkelo Gibt es ein Update?

Ich würde mir auch wünschen, dass diese Funktion so schnell wie möglich implementiert wird

Hallo,
Verwenden von Grafana v4.5.2 mit Elasticsearch.
Der Zeitstempel muss in einen booleschen Wert konvertiert werden, je nachdem, ob die seit dem Zeitstempel verstrichene Zeit weniger als 5 Minuten beträgt.
Skriptfeldwert (Zeit ist eine Funktion, die die aktuelle Epoche zurückgibt):
boolean( Zeit - _value > 300 )
Ist das auch in Ihren Plänen?
Außerdem benötigen wir die Option, ein Diagramm zu generieren, das die Division von zwei Werten aus verschiedenen Abfragen im Laufe der Zeit darstellt.
Danke,

@lilachmaliniak
du könntest ((new Date()).getTime() - A['_value']) > 300 machen
Zwei verschiedene Datenquellen würden funktionieren

Danke @Gauravshah
Ich konnte nicht genau das tun, was Sie vorgeschlagen haben, wahrscheinlich aufgrund des Werttyps, der eine Zahl/Int ist.
Ich habe Fehler: 500
Dann setze ich das Optionsskript auf: (((new Date()).getTime() - _value) < 300000 )
Dies ist die Abfrage:
{"search_type":"query_then_fetch","ignore_unavailable":true,"index":"beaconindex"} {"size":0,"query":{"bool":{"filter":[{"range": {"private_data.timestamp":{"gte":"1513673225106","lte":"1513676825106","format":"epoch_millis"}}},{"query_string":{"analyze_wildcard":true,"query" :"private_data.kes_hostname.keyword:(\"lilach\-centos\-vm.com\")"}}]}},"aggs":{"5":{"terms":{"field":" private_data.kes_hostname.keyword","size":10,"order":{"_term":"desc"},"min_doc_count":1},"aggs":{"1":{"max":{" field":"private_data.timestamp","missing":0,"script":{"inline":"((( new Date()).getTime() - _value) < 300000 ) "}}},"3 ":{"min":{"field":"private_data.systemMetrics.systemData.system.uptime"}}}}}} "
Wenn ich dieselbe Abfrage von Kibana ausführe, habe ich Folgendes erhalten:
{
"Error": {
"tiefere Ursache": [
{
"type": "class_cast_exception",
"Grund": null
}
],
"type": "search_phase_execution_exception",
"reason": "alle Shards fehlgeschlagen",
"Phase": "Abfrage",
"gruppiert": wahr,
"failed_shards": [
{
"Scherbe": 0,
"index": "beaconindex",
"Knoten": "TGW3SyrEQHSnIi8qQt3rNw",
"Grund": {
"type": "class_cast_exception",
"Grund": null
}
}
]
},
"Status": 500
}

Also habe ich in Options das folgende Skript verwendet: (((new Date()).getTime() - _value) < 300000 ) ? 1:0
Und es funktioniert, die Werte in rang umzuwandeln: [0,1]

Meine Frage ist: Wie kann ich den Wert in Grafana weiter konvertieren, um stattdessen Token anzuzeigen (z. B. nach oben / unten)

Ich denke, das muss von grafana unterstützt werden und nicht von diesem Plugin als solchem. Möglicherweise können Sie jedoch (((new Date()).getTime() - _value) < 300000 ) ? '↑' : '↓' zuweisen

@Gauravshah , danke
Kannst du das genauer sagen, wo stelle ich das ein?
Wenn ich es auf der Registerkarte Metric unter Metric->Options->Script schreibe, wird das Skript als Inline-Eigenschaft in die Lucene-Abfrage aufgenommen und die Abfrage schlägt mit dem Fehlerstatus 500 fehl.
"script":{"inline":"(((new Date()).getTime() - _value) < 300000 ) ? 'up' : 'down'"}

Ich glaube ich habe deine Frage falsch verstanden. Ich weiß nicht viel über elastische Suchanfragen. Ich dachte, Sie fragen, wie das mit dem Meta-Queries-Plugin geht

@Gauravshah , ja, ich versuche es mit ES-Abfragen. Ich habe das Meta-Queries-Plugin bereits installiert, konnte aber aus irgendeinem Grund kein Dashboard damit erstellen. Beim Erstellen eines neuen Dashboards war die Option MetaQuery-Typ nicht verfügbar. Ich werde es noch einmal versuchen, danke.

@Gauravshah , wie verwende ich MetaQuery mit ES-Datenquelle?
Wo finde ich die Plugin-Dokumentation?
da ich doc in git nicht finden konnte: https://github.com/GoshPosh/grafana-meta-queries
Danke

Hallo @Gauravshah ,
Ich habe es geschafft, ein neues Dashboard zu erstellen, nachdem ich das MetaQueries-Datenquellen-Plugin installiert hatte.
nachdem Sie eine neue Tabelle erstellt und die Datenquelle der Tabelle auf -- Gemischt -- gesetzt haben
2 Abfragen hinzugefügt:
A ($datasource) Metriken: Max(private_data.timestamp), Gruppieren nach:Term(private_data.kes_hostname.keyword)
B (MetaQuery-Datenquelle) Typ Arithmetischer Ausdruck ((new Date()).getTime() - A['_value']) < 300000 ? 'oben unten'
Abfrage A gibt den erwarteten Wert zurück und wird erfolgreich in der Tabelle angezeigt.
aber ich kann keine Spalte mit dem Ausdruckswert aus Abfrage B anzeigen, und ich kann nicht sehen, was die Ausdrucksausgabe ist, weder ob sie erfolgreich war oder fehlgeschlagen ist. Es gibt keinen Hinweis.
Meine Frage: Wie debugge ich die Abfrage (die mit metaQuery DS) und zeige den Ausdruckswert in der Tabelle als zusätzliche Spalte an?
Prost

Datenquelle sollte auf Meta Queries gesetzt und nicht gemischt werden. Werde es der Readme des Plugins hinzufügen :(

Hallo @Gauravshah ,
Danke.
Die Tabellendatenquelle wurde wie von Ihnen empfohlen in "MetaQuery Datasource" geändert.
Jetzt erhalte ich den Fehler "Eigenschaft 'Länge' von undefiniert kann nicht gelesen werden" und die Tabelle kann den Gedanken nicht anzeigen, da die Abfrage von ES mit dem erwarteten Wert erfolgreich ist.

@lilachmaliniak können Sie ein Problem auf https://github.com/GoshPosh/grafana-meta-queries erstellen, hängen Sie bitte auch Stack-Trace von Ihrem Browser an

Hallo @Gauravshah ,
Neues Problem hinzugefügt: https://github.com/GoshPosh/grafana-meta-queries/issues/9

👍

Dieses Problem ist >2 Jahre alt. Wurde diese Feature-Anfrage in eine andere übertragen?

👍

Viele Zeitreihen-Datenspeicher können dies für Sie tun, aber einige (wenn Sie sich Cloudwatch ansehen) unterstützen diese Art von Dingen nicht und werden sie möglicherweise nie unterstützen.

In der Zwischenzeit können wir TimeShift zumindest mit zwei Panels durchführen, aber TimeShift pro Abfrage, um Vergleichsdiagramme im selben Panel zu erstellen, wäre ziemlich fantastisch.

+1

@matschaffer & @JJMVG sollten Sie in der Lage sein, https://github.com/GoshPosh/grafana-meta-queries zu verwenden

@SwathiMuppalla Sie sollten Probleme im Plugin-Repo erstellen, nicht hier.

+1

+1 das wäre riesig - ich hatte mit dem Grafana-Meta-Queries-Plugin mit 6.4 nicht viel Erfolg :(

Als Visualisierungsschicht, die eine Vielzahl von Datenquellen unterstützt, könnte dies das Kronjuwel der Überwachungsfunktionen sein. Wir kombinieren Daten von MySQL, Elasticsearch und Prometheus in unseren Dashboards, und die Normalisierung von Daten aus einer Quelle auf der Grundlage einer anderen könnte die Bedeutung des Produkts in unserem Monitoring-Stack erheblich steigern.

Dies ist kein weiterer +1-Kommentar.

Das ist ein +100 🙏🏼✌🏼

@torkelo Vielleicht wäre es möglich, so etwas wie https://github.com/wesm/feather oder https://arrow.apache.org/docs/python/ipc.html als eine Art "Column-Store-Cache" zu verwenden die dann für weitere Verarbeitungen oder Manipulationen verwendet werden können.

Sie könnten andere Ideen aus der Arbeit unter https://www.dremio.com/ bekommen - es scheint ein leicht verwandter Problembereich zu sein (Abfrage einer Vielzahl von Datenquellen und Caching in Arrow usw. für weitere Manipulation und Abfrage).

@torkelo Vielleicht wäre es möglich, so etwas wie https://github.com/wesm/feather oder https://arrow.apache.org/docs/python/ipc.html als eine Art "Column-Store-Cache" zu verwenden die dann für weitere Verarbeitungen oder Manipulationen verwendet werden können.

Es ist zwar schön, externe Tools für erweiterte Funktionen zu haben, aber dies löst nicht das Problem in Bezug auf Einfachheit oder Integration mit Grafana. Die Bereitstellung der sehr grundlegenden arithmetischen Operationen an zwei Reihen kann 80 % der Probleme in nur 20 % der Zeit lösen.

@redlus @yehosef warum ist https://github.com/GoshPosh/grafana-meta-queries keine Lösung?

@torkelo Wenn Sie der Meinung sind, dass https://github.com/GoshPosh/grafana-meta-queries das in diesem Problem erwähnte Problem löst, sollten wir das Problem schließen und ansprechen, dass es durch ein Plugin für Grafana gelöst wird. Es ist schwierig für Leute, lange Probleme zu durchsuchen, um herauszufinden, dass es ein Plugin gibt, das das Problem löst.

@Gauravshah
Würde gerne ein funktionierendes Plugin sehen, aber wir hatten Probleme bei der Verwendung dieses Plugins mit neueren Versionen von Grafana; dh
https://github.com/GoshPosh/grafana-meta-queries/issues/82

@redlus du solltest es noch einmal versuchen, es funktioniert auf dem grafana 6.4. Auch wenn die neueste Grafana-Version das einzige Problem war, gab es Optionen, um eine Nebenversion zurückzugehen. Ich bin mir nicht sicher, warum Sie would love to see a working plugin anrufen sollten

@Gauravshah funktioniert leider immer noch nicht mit Grafana 6.5.1 - ich habe es nicht mit 6.4 versucht, aber der Wechsel zu einer älteren Version ist für die meisten Benutzer möglicherweise nicht akzeptabel.

keine Fortschritte ...

Ich sehe hier viele Leute, die versuchen, mehrere Datenquellen zusammenzufassen. Ich frage mich, ob das Blendstat-Panel das Problem einiger Leute löst und ob dieses Design in anderen Panels wiederverwendet werden könnte?

https://grafana.com/grafana/plugins/farski-blendstat-panel

Blendstat füllt zwar eine Lücke, funktioniert aber nicht mit Wiederholungen oder Schleifen für alle Variablen. Wenn es einen Weg gibt, weiß ich nicht wie.

Ich bin gerade auf einen anderen Anwendungsfall gestoßen, von dem ich hoffe, dass er gelöst wird. Ich bekomme CloudWatch-Metriken mit Prozent (0,0-0,1) zurück, was mir ganze Zahlen 5, 7 usw. gibt. Ich hatte 0,5 %, 0,7 % erwartet und sehe keine Möglichkeit, das umzuwandeln.

Hallo, Entschuldigung, wenn ich hier auf altem Boden trete, aber das ist ein ziemlich langer Thread:

Gehe ich richtig in der Annahme, dass diese Funktionsanfrage Grafiken unterstützen soll, die als Ergebnis der Kombination mehrerer Abfragen erstellt wurden? Wenn diese Arbeit erledigt wäre, könnten Sie zum Beispiel eine Zeitreihe von Prometheus nehmen und sie mit einer Zeitreihe von, sagen wir, Stack Driver?

Wenn ja: Ist diese Arbeit noch geplant, wie ist der Fahrplan und benötigen Sie Hilfe? :)

das, plus (hoffentlich) zeitversetztes Diagramm, so dass ich das heutige Diagramm mit dem gestrigen vergleichen kann, oder den 7-Tage-Durchschnitt.
Ja, einige Datenspeicher können das bereits, aber dies sollte eine allgemeine Funktion sein.