Grafana: Grafanaメタクエリ（時系列クエリ結果の一般的な変換）

この機能がまだリリースされていないことを願っています:-)

：+1：

この機能がelasticsearchデータソースのリリースになると予想されるのはいつですか？

ETAではなく、今年はうまくいけば:)

開発を支援することに興味がある/可能である場合、どこから始めますか？ 出発点としていくつかのコードが存在しますか？

このためのコードはまだないと思います。 一般的な決定は、メタクエリがサーバー側で実行されるかクライアント側で実行されるかを決定する必要があります。 アラートにも使用できるように、このサーバー側を実行することに賛成です。 欠点は、これがプロキシされたデータソースに対してのみ機能することですが、とにかくほとんどの人がこれを行っていると思います。

それがまったく役に立ったら-私はこの問題について考え、timelionがリリースされる前にRashidと話し合いました（最初のプライベートコミットは私たちの話し合いの前からのものだったので、クレジットを請求することはできません:)

https://drive.google.com/drive/folders/0B9HCLnVMhNurTVY1UUJWZGxOdEU

これが正しいビジョンであるかどうかはわかりませんが、モジュラーコンポーネントについて考えていました。その一部は、ユーザークライアント側またはサーバー側になる可能性があります。 サーバーの利点には、大規模なクエリ/組み合わせのキャッシュとデータ転送の最小化が含まれます。 クライアント側の利点は、ブラウザを介してアクセス許可が付与されている他のデータソース、または既存のグラフに新しいシリーズを追加する可能性があることです。クライアントはそれを直接クエリできます。

タイムライオンコードは興味深いスタートになると思います。 timelionのiframe共有とgrafanaでのテンプレートを使用して、grafanaでテンプレート化されたtimelionクエリを作成します。少しハッキーですが、より良い解決策が見つかるまで問題を解決します。

ありがとう！

@yehosefこのすべての資料に感謝します。 私もこれに取り組み始めましたが、後でこれらの議論を経て、Torkeoのようなメタクエリを追加することが上記で示唆しているように、ESのためだけにタイムシフトを追加することはそれほど良い考えではないことに気付きました。 もし皆さんがこの部分のコーディングを始めたら、私は皆さんを助けることができるでしょう。 そうでない場合は、後でデザインのレビューを提出して、これを進めさせていただきます。

乾杯。

@arcolifeまだ作業を開始していません。誰かがそれを手に入れることができれば幸いです。

これらの種類のものがどのように機能するかはわかりませんが、それがより実現可能になれば、これらの機能の開発にお金を払うことができる/喜んで支払う可能性があります。 この種のものに報奨金制度があるかどうかはわかりません。たとえば、レインタンクや他の会社は、機能の開発に「$ x」の費用がかかり、さまざまな利害関係者が貢献できると言っています。 私たちにとって、これとSQLクエリを実行する機能は本当に価値があります。

@yehosefやあ、ありがとう！ 貢献できてうれしいです。 :)
PS :(それらのモックアップについて話し合うために）すぐに会議を設定することが役立つ場合は、それを実行しましょう。

私はこれが前進するのを助けるために私ができることは何でもすることを嬉しく思います。 会議を設定したい場合は、 my_name @ google.comまでご連絡ください。または、続行するためのアイデアについて連絡してください。

@yehosef 「アクセスしようとしたメールアカウントが存在しません。」 :)
[github_id] @ google[dot]comで試してみました。

申し訳ありません-そのgmail.com

こんにちは。OpenTSDBデータソースでこの機能が利用できるようになる時期についてのETAがあります。

ETAはまだありません。おそらく4.1または4.2で、これは6か月以内であることを意味します。

この問題が「機能のリクエスト：2つの異なる時系列データが同じグラフ＃3235に表示されている」に類似しているかどうかはわかりません。これは、＃3235について懸念しているためです。
したがって、この機能がOpenTSDBデータソースでいつ利用可能になるかを具体的に教えていただければと思います。

@torkeloこの問題がレビューされているときはいつでも、私と@yehosefをコピーしてください。この考えと、Yehosefがこのスレッドで提案したデザインについて、いくつかのメール交換がありました。これらのアイデアをここに戻して、より広くする方がよいことに気づきました。暴露。 ありがとう。

これに関する更新に非常に興味があります！

この機能のリリース日の更新はありますか？ Elasticsearchデータソースにタイムシフトオプションを使用することを本当に楽しみにしています。

これにも本当に興味があります。 AtmKibanaにはTimelionしかありません

+1

他のデータソースにアクセスできるデータソースプラグインを作成することは可能ですか？
この方法で、データソースの応答をラップして変換することができます。

はい、

含まれている-混合-データソースはこれを行います：

https://github.com/grafana/grafana/blob/master/public/app/plugins/datasource/mixed/datasource.ts#L13

2016年11月23日水曜日午後3時26分、Bruno [email protected]
書きました：

他のプラグインにアクセスできるデータソースプラグインを作成することが可能です
データソース？
この方法で、データソースの応答をラップして変換することができます。

—
あなたが言及されたので、あなたはこれを受け取っています。
このメールに直接返信し、GitHubで表示してください
https://github.com/grafana/grafana/issues/3677#issuecomment -262526082、
またはスレッドをミュートします
https://github.com/notifications/unsubscribe-auth/AAAq94YeRbQxzw_CDfEiDjjbZj4pJLmTks5rBE0wgaJpZM4HAses
。

これは完璧です！ これを基に何かを構築し、他のデータソースからシリーズを取得して関数で処理する言語を作成しようと思います。
他に興味のある人はいますか？

@bkmeneguello必ず私のコメントを読んでください： https ：//github.com/grafana/grafana/issues/3677#issuecomment-230233579。 何かを実装する前に、これをクライアント側（js）で行うか、サーバー側で行うかについて合意する必要があります。

もちろん、この実装がコアになる場合は、プレビュー用にデータソースプラグインとして作成できます。

@torkeloこれにより、2つのクエリを「分割」できますか？

この機能にも非常に興味があります。

これにも興味があります。 これを使用して、積み重ねられたパネル上のすべてのメトリックのホバーオーバーに「合計」を表示する機能を持たせることができます。

@torkeloこんにちは。OpenTSDBデータソースでこの機能が利用できるようになる時期のETAはありますか。

@shivam009現在ETAはありません

@torkeloこんにちは、

＃3677のETAはありますか？ Graphiteデータソースと同じように、複数のメトリックの結果でsum / avg/etcを組み合わせると非常に役立ちます。
ここでデータソースとしてElasticsearchを使用します。

ETAはまだありませんが、今年はそれを実現したいと考えています。

任意の時間範囲（たとえば、「データ参照」）と比較すると便利な場合があります。

こんにちは@torkelo 、

＃3677の更新はありますか？

更新はありません:(更新があればここに投稿します

こんにちは@torkelo 、

素早い対応に感謝致します。 基本的に、私の要件は、ESから返されたデータポイントを平均し、1分の時間間隔でそれらをバケット化することです。 ElasticsearchでsummaryおよびsumSeries機能を実現する他の方法はありますか？

@ shiv6146そのためにElasticsearchの日付ヒストグラム間隔関数を使用できませんか？

@torkelo日付ヒストグラムを使用して、ネストされたgroup byを実行できますが、残念ながら、Grafanaでは、内側のgroup byの出力を非表示にして、集約されたデータポイントのみをプロットすることはできません:(

少なくとも足し算や引き算のような単純なものを実装できますか？

• メトリックC：#A-#B
• メトリックD：#A + #B

@mstipanovそれは私たちのロードマップにありますが、私たちは夏が終わるまで他の機能で忙しいです。

@mstipanov
このASAPも見るのを楽しみにしています。 influxdbの使用

•メトリックC：#A-#B
•メトリックD：#A + #B

スペックがあれば間違いなくこれを手伝いたいです。 私がこれのために働き始めることができる場所はどこですか？ また、既存の「A」で利用可能なより多くのデータを必要とする可能性のあるいくつかのメトリックが存在する可能性があります。たとえば、7日間の移動平均が必要になります（現在のシリーズ+ 7日前のデータ）

@torkelo実装についてどのように考えるべきかについて、何かアイデアはありますか？ 私はこれを構築するために少し時間を費やすことをいとわない。 ドルイドの上にフロントエンドが必要です。

プラグインを介して拡張することを検討しました。 datasourceSrvをmeta-queries-pluginに渡してから、プラグインにデータソースへの呼び出しを行わせる必要があります。 最初に移動平均とタイムシフトに取り組むことを計画しています。

こんにちは皆さん、私は@ f1-outsourcingや@mstipanov （メトリックA（+-）メトリックB）のような問題を抱えていました。 次に、これを行うための「CalculatedStatプラグイン」と呼ばれるパネルプラグインを開発しました。 興味があれば、これは私のgithubhttps ://github.com/fabiojose/grafana-calcltdstat-pluginです。

@fabiojoseありがとう、私はあなたのプラグインを見ました。 出してくれてありがとう。 表やグラフなどのパネルを使用できるように、データソースとして実装する方がよいと思います。 タイムシフトは終了です。 1日か2日でオープンソースになります。 それまでに移動平均でも行われます

Poshmarkはオープンソースのhttps://github.com/GoshPosh/grafana-meta-queriesを持っており、計算列、移動平均、タイムシフトをサポートしています

印象的！ いいぞ！

@torkelo時間があれば、プラグインについてフィードバックをお願いします。

@Gauravshahはい！ 申し訳ありませんが、ホールチームは、今週スポンサーとなっている開発者会議の準備と移動に忙しく、プラグインのレビューとフィードバックに時間がかかりました。 多分来週か翌週

@torkelo心配いりません、時間をかけてください。 ありがとう

@torkeloアップデートはありますか？

この機能もできるだけ早く実装してほしい

やあ、
Elasticsearchでgrafanav4.5.2を使用します。
タイムスタンプからの経過時間が5分未満であるかどうかに基づいて、タイムスタンプをブール値に変換する必要があります。
スクリプトフィールド値（時間は現在のエポックを返す関数です）：
boolean（時間-_value> 300）
それはあなたの計画にもありますか？
また、時間の経過とともに、異なるクエリからの2つの値を除算したグラフを生成するオプションが必要です。
ありがとう、

@lilachmaliniak
あなたは((new Date()).getTime() - A['_value']) > 300をすることができます
2つの異なるデータソースが機能します

ありがとう@Gauravshah
おそらく数値/整数である値型が原因で、あなたが提案したことを正確に行うことができませんでした。
エラーが発生しました：500
これは、Optionsスクリプトを次のように設定したときです：（（（new Date（））。getTime（）-_value）<300000）
これはクエリです：
{"search_type"： "query_then_fetch"、 "ignore_unavailable"：true、 "index"： "beaconindex"} {"size"：0、 "query"：{"bool"：{"filter"：[{"range"： {"private_data.timestamp"：{"gte"： "1513673225106"、 "lte"： "1513676825106"、 "format"： "epoch_millis"}}}、{"query_string"：{"analyze_wildcard"：true、 "query" ："private_data.kes_hostname.keyword：（\" lilach \ -centos \ -vm.com \ "）"}}]}}、 "aggs"：{"5"：{"terms"：{"field"： " private_data.kes_hostname.keyword "、" size "：10、" order "：{" _ term "：" desc "}、" min_doc_count "：1}、" aggs "：{" 1 "：{" max "：{" field "：" private_data.timestamp "、" missing "：0、" script "：{" inline "："（（（ new Date（））。getTime（）-_value）<300000） "}}}、" 3 "：{" min "：{" field "：" private_data.systemMetrics.systemData.system.uptime "}}}}}}"
Kibanaから同じクエリを実行すると、次のようになります。
{{
"エラー"： {
"根本的な原因"： [
{{
"タイプ"： "class_cast_exception"、
「理由」：null
}
]、
"タイプ"： "search_phase_execution_exception"、
「理由」：「すべてのシャードが失敗しました」、
"フェーズ"： "クエリ"、
「グループ化」：true、
"failed_shards"：[
{{
「シャード」：0、
"インデックス"： "ビーコンインデックス"、
"ノード"： "TGW3SyrEQHSnIi8qQt3rNw"、
"理由"： {
"タイプ"： "class_cast_exception"、
「理由」：null
}
}
]
}、
「ステータス」：500
}

そこで、オプションで次のスクリプトを使用しました：（（（new Date（））。getTime（）-_value）<300000）？ 1：0
そして、値をrangに変換して動作します：[0,1]

私の質問は、Grafanaで値をさらに変換して、代わりにトークンを表示するにはどうすればよいですか（例：上/下）

これは、このプラグイン自体ではなく、grafanaでサポートされている必要があると思います。 (((new Date()).getTime() - _value) < 300000 ) ? '↑' : '↓'はまだ試していませんが割り当てることができるかもしれません

@Gauravshah 、ありがとう
具体的に教えてください。どこに設定すればよいですか？
[メトリック]->[オプション]->[スクリプト]の下の[メトリック]タブに書き込むと、スクリプトはインラインプロパティとしてLuceneクエリに含まれ、クエリはエラーステータス500で失敗します。
"script"：{"inline"： "（（（new Date（））。getTime（）-_value）<300000）？'up'：'down'"}

私はあなたの質問を誤解したと思います。 ElasticSearchクエリについてはよくわかりません。 メタクエリプラグインでそれを行う方法について質問していると思いました

@Gauravshah 、はい、私はESクエリでそれをやろうとしています。 すでにメタクエリプラグインをインストールしましたが、何らかの理由でダッシュボードを作成できませんでした。 新しいダッシュボードを作成したとき、MetaQueryタイプのオプションは使用できませんでした。 もう一度試してみます、ありがとう。

@Gauravshah 、ESデータソースでMetaQueryを使用するにはどうすればよいですか？
プラグインのドキュメントはどこにありますか？
gitでドキュメントが見つからなかったため： https ：//github.com/GoshPosh/grafana-meta-queries
ありがとう

ねえ@Gauravshah 、
MetaQueriesデータソースプラグインをインストールした後、なんとか新しいダッシュボードを作成できました。
新しいテーブルを作成し、テーブルのデータソースを-混合-に設定した後
2つのクエリを追加しました：
A（$ datasource）メトリクス：Max（private_data.timestamp）、Group by：Term（private_data.kes_hostname.keyword）
B（MetaQueryデータソース）タイプ算術式（（new Date（））。getTime（）-A ['_ value']）<300000？ '上下'
クエリAは期待値を返し、テーブルに正常に表示されます。
しかし、クエリBの式の値を含む列を表示できず、式の出力が何であるか、成功したか失敗したかがわかりません。 表示はありません。
私の質問：クエリ（metaQuery DSを使用するクエリ）をデバッグし、式の値を追加の列としてテーブルに表示するにはどうすればよいですか？
乾杯

データソースはMeta Queriesに設定し、混合しないでください。 プラグインのreadmeに追加します:(

ねえ@Gauravshah 、
ありがとう。
アドバイスに従って、テーブルデータソースを「MetaQueryデータソース」に変更しました。
ESからのクエリが期待値で成功する前と同様に、「未定義のプロパティ'length'を読み取れません」というエラーが表示され、テーブルに思考が表示されません。

@lilachmaliniak https://github.com/GoshPosh/grafana-meta-queriesで問題を作成できますか？また、ブラウザからスタックトレースを添付してください

ねえ@Gauravshah 、
新しい問題を追加しました： https ：//github.com/GoshPosh/grafana-meta-queries/issues/9

👍

この問題は2年以上前のものです。 この機能リクエストは別のリクエストにロールインされましたか？

👍

多くの時系列データストアでこれを行うことができますが、一部の（cloudwatchを見ると）この種の機能をサポートしていない可能性があります。

それまでの間、少なくとも2つのパネルでtimeShiftを実行できますが、同じパネルで比較グラフを実行するためのクエリごとのタイムシフトは非常に素晴らしいでしょう。

+1

@ matschaffer ＆ @JJMVGはhttps://github.com/GoshPosh/grafana-meta-queriesを使用できるはずです

@SwathiMuppallaここではなく、プラグインリポジトリで問題を作成する必要があります。

+1

+1これはyugeになります-6.4のgrafana-meta-queriesプラグインではあまり成功していません:(

多数のデータソースをサポートする視覚化レイヤーとして、これは監視機能の最高峰となる可能性があります。 ダッシュボードでMySQL、Elasticsearch、Prometheusのデータを組み合わせており、あるソースからのデータを別のソースに基づいて正規化することは、モニタリングスタックにおける製品の重要性を大きく飛躍させる可能性があります。

これは別の+1コメントではありません。

これは+100です🙏🏼✌🏼

@torkeloおそらく、 https：//github.com/wesm/featherやhttps://arrow.apache.org/docs/python/ipc.htmlのようなものを一種の「列ストアキャッシュ」として使用することが可能でしょう。その後、追加の処理または操作に使用できます。

https://www.dremio.com/での作業から他のアイデアを得るかもしれません-それはわずかに関連した問題空間のようです（さらなる操作とクエリのためにさまざまなデータソースのクエリとArrowなどでのキャッシュ）。

@torkeloおそらく、 https：//github.com/wesm/featherやhttps://arrow.apache.org/docs/python/ipc.htmlのようなものを一種の「列ストアキャッシュ」として使用することが可能でしょう。その後、追加の処理または操作に使用できます。

高度な機能のための外部ツールがあるのは良いことですが、これは単純さやGrafanaとの統合という点で問題に対処していません。 2つの系列で非常に基本的な算術演算を提供すると、わずか20％の時間で問題の80％を解決できます。

@redlus @yehosef https://github.com/GoshPosh/grafana-meta-queriesが解決策ではないのはなぜですか？

@torkelo https://github.com/GoshPosh/grafana-meta-queriesがこの問題で言及されている問題を解決すると思われる場合は、grafanaのプラグインによって解決されているという問題に対処する必要があります。 長い問題をスキャンして、問題を解決するプラグインがあることを見つけるのは困難です。

@Gauravshah
動作するプラグインを見たいのですが、新しいバージョンのGrafanaでこのプラグインを使用する際に問題が発生しました。 すなわち
https://github.com/GoshPosh/grafana-meta-queries/issues/82

@redlus別のショットを与える必要があります。これは、grafana6.4で機能します。 また、最新のgrafanaバージョンが唯一の問題である場合は、マイナーバージョンを1つ戻すオプションがありました。 なぜwould love to see a working pluginと呼ぶのかわからない

@Gauravshahは残念ながらまだGrafana6.5.1では動作しません-6.4では試していませんが、古いリリースへの切り替えはほとんどのユーザーにとって受け入れられない可能性があります。

進捗なし..。

多くの人がここで跳ね返り、複数のデータソースを集約しようとしているのを目にします。 ブレンドスタットパネルが一部の人々の問題を解決するかどうか、そしてそのデザインを他のパネルで再利用できるかどうか疑問に思います。

https://grafana.com/grafana/plugins/farski-blendstat-panel

Blendstatはギャップを埋めますが、すべての変数の繰り返しまたはループでは機能しません。 方法がわからない場合。

私はちょうどこれが解決することを願っている別のユースケースに出くわしました。 CloudWatchメトリクスをパーセント（0.0-0.1）で取得しているので、整数は5、7などになります。0.5％、0.7％を期待していましたが、それを変換する方法がわかりません。

こんにちは、私がここで古い地面を踏んでいる場合はお詫びしますが、これはかなり長いスレッドです：

この機能リクエストは、複数のクエリを組み合わせた結果として生成されたグラフをサポートすることであると私は考えていますか？ たとえば、この作業が完了した場合、Prometheusから時系列を取得し、それをたとえばStackDriverからの時系列と合計できますか？

もしそうなら：この作業はまだ計画されていますか、ロードマップは何ですか、そしてあなたは助けが必要ですか？ :)

それに加えて、今日のグラフを昨日、または7日間の平均と比較できるように、グラフを時間シフトします。
はい、一部のデータストアはすでにそれを実行できますが、これは一般的な機能である必要があります。