Grafana: Grafana 메타 쿼리(시계열 쿼리 결과에 대한 일반 변환)

이 기능이 아직 출시되지 않았으면 좋겠습니다 :-)

:+1:

Elasticsearch 데이터 소스용으로 이 기능이 언제 출시될 예정입니까?

ETA가 아니라 올해가 되길 바랍니다 :)

개발에 관심이 있거나 도움이 될 수 있다면 어디서부터 시작할까요? 일부 코드가 시작점으로 존재합니까?

아직 이에 대한 코드가 없다고 생각합니다. 메타 쿼리가 서버 측에서 수행되는지 클라이언트 측에서 수행되는지에 대한 일반적인 결정이 내려져야 합니다. 경고에도 사용할 수 있도록 이 서버 측을 수행하는 것에 찬성합니다. 단점은 이것이 프록시된 데이터 소스에서만 작동하지만 이것이 대부분의 사람들이 어쨌든 하는 일이라고 생각합니다.

그것이 조금이라도 도움이 된다면 - 나는 이 문제에 대해 생각해 보았고 timelion이 출시되기 전에 Rashid와 토론을 했습니다(첫 번째 비공개 커밋은 우리 토론 이전의 것이므로 어떤 크레딧도 주장할 수 없습니다.)

https://drive.google.com/drive/folders/0B9HCLnVMhNurTVY1UUJWZGxOdEU

이것이 올바른 비전인지는 모르겠지만, 그 중 일부는 잠재적으로 사용자 클라이언트 또는 서버 측이 될 수 있는 모듈식 구성 요소에 대해 생각하고 있었습니다. 서버의 장점은 더 큰 쿼리/조합에 대한 캐싱 및 데이터 전송 최소화를 포함합니다. 클라이언트 측의 장점은 브라우저를 통해 권한이 부여되거나 잠재적으로 기존 그래프에 새 시리즈를 추가할 수 있는 다른 데이터 소스의 경우입니다. 클라이언트는 직접 쿼리할 수 있습니다.

timelion 코드가 흥미로운 시작이 될 것이라고 생각합니다. timelion의 iframe 공유와 grafana의 템플릿을 사용하여 grafana에서 템플릿된 timelion 쿼리를 생성합니다. 약간 해롭지만 더 나은 솔루션이 나올 때까지 문제를 해결합니다.

감사 해요!

@yehosef 이 모든 자료에 감사드립니다. 나도 이것에 대한 작업을 시작했지만 나중에 이러한 토론을 거친 후 Torkeo와 같은 메타 쿼리를 추가하는 것이 위에서 제안한 것처럼 ES에만 타임시프트를 추가하는 것이 그다지 좋은 아이디어가 아니라는 것을 깨달았습니다. 여러분이 이 부분의 코딩을 시작했다면 제가 여러분을 도울 수 있을 것입니다. 그렇지 않은 경우 나중에 제공되는 디자인에 대한 리뷰와 함께 이 작업을 진행하게 되어 기쁩니다.

건배.

@arcolife 아직 작업을 시작하지 않았습니다. 누군가 픽업할 수 있다면 기쁠 것입니다.

나는 이러한 종류의 일이 어떻게 작동하는지 모르지만 그것이 더 실현 가능하다면 이러한 기능의 개발에 대해 비용을 지불할 수 있거나 기꺼이 지불할 가능성이 있습니다. 이러한 종류의 현상금 시스템이 있는지는 모르겠습니다. 예를 들어, 레인탱크나 다른 회사에서는 기능을 개발하는 데 "$x"의 비용이 들며 다양한 이해 관계자가 기여할 수 있다고 말합니다. 우리에게 이 기능과 SQL 쿼리를 수행하는 능력은 정말 가치가 있습니다.

@yehosef 감사합니다! 기여할 수 있게 되어 기쁩니다. :)
추신: (모형에 대해 논의하기 위해) 회의를 곧 설정하는 것이 도움이 된다면 해 볼까요?

이 발전을 돕기 위해 내가 할 수 있는 모든 일을 할 수 있어 기쁩니다. 회의를 설정하려는 경우 [email protected] 으로 저에게 연락하거나 계속 진행할 아이디어에 대해 답장을 보내주세요.

@yehosef "연결하려는 이메일 계정이 존재하지 않습니다." :)
[github_id] @ google [dot] com에서 시도했습니다.

죄송합니다 - gmail.com

안녕하세요. OpenTSDB 데이터 소스에 이 기능을 사용할 수 있는 시간이 언제인지 알 수 있습니다.

아직 ETA가 없습니다. 아마도 4.1 또는 4.2에 있을 것입니다.

이 문제가 "기능 요청: 두 개의 다른 시간 범위 시리즈 데이터가 #3235 같은 그래프에 표시됨"과 유사한지 잘 모르겠습니다.
따라서 OpenTSDB 데이터 소스에서 이 기능을 언제 사용할 수 있는지 구체적으로 말씀해 주신다면.

@torkelo 이 문제를 검토할 때마다 저와 @yehosef 를 복사해 주세요. 이 스레드에서 Yehosef가 제안한 생각과 디자인에 대해 이메일을 주고받았기 때문입니다. 이러한 아이디어를 다시 여기로 가져오는 것이 더 광범위하다는 것을 깨달았습니다. 노출. 감사 해요.

이것에 대한 업데이트에 매우 관심이 있습니다!

이 기능의 출시일에 대한 업데이트가 있습니까? 저는 Elasticsearch 데이터 소스에 타임시프트 옵션을 사용하기를 정말 기대하고 있습니다.

우리는 또한 이것에 정말로 관심이 있을 것입니다. Atm에는 Kibana용 Timelion만 있습니다.

+1

다른 데이터 소스에 액세스할 수 있는 데이터 소스 플러그인을 생성할 수 있습니까?
이 방법은 데이터 소스 응답을 래핑하고 변환할 수 있습니다.

네,

포함된 -- 혼합 -- 데이터 소스는 다음을 수행합니다.

https://github.com/grafana/grafana/blob/master/public/app/plugins/datasource/mixed/datasource.ts#L13

2016년 11월 23일 수요일 오후 3시 26분, Bruno Meneguello [email protected]
썼다:

다른 데이터 소스에 액세스할 수 있는 데이터 소스 플러그인을 생성할 수 있습니다.
데이터 소스?
이 방법은 데이터 소스 응답을 래핑하고 변환할 수 있습니다.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/grafana/grafana/issues/3677#issuecomment -262526082,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AAAq94YeRbQxzw_CDfEiDjjbZj4pJLmTks5rBE0wgaJpZM4HAses
.

이것은 완벽 해요! 다른 데이터 소스에서 시리즈를 가져와서 함수로 처리하는 언어를 만들기 위해 이것 위에 무언가를 만들려고 할 것입니다.
다른 사람이 관심이 있습니까?

@bkmeneguello 내 의견을 반드시 읽으십시오: https://github.com/grafana/grafana/issues/3677#issuecomment -230233579. 무엇이든 구현하기 전에 이것이 클라이언트 측(js) 또는 서버 측에서 수행되어야 하는지에 동의해야 합니다.

물론, 이 구현이 핵심이라면 미리보기를 위해 데이터 소스 플러그인으로 만들 수 있습니다.

@torkelo 이렇게 하면 두 개의 쿼리를 "나누기"할 수 있습니까?

이 기능에도 매우 관심이 있습니다.

나도 이것에 관심이 있을 것이다. 이것을 사용하여 누적된 패널에 있는 모든 메트릭의 마우스 오버에 "결합된 합계"를 표시할 수 있습니다.

@torkelo 안녕하세요. 이제 이 기능을 OpenTSDB 데이터 소스에 사용할 수 있는 ETA가 있습니다.

@shivam009 현재 ETA 없음

@torkelo 안녕하세요,

#3677에 대한 ETA가 있습니까? Graphite 데이터 소스와 동일한 방식으로 여러 메트릭의 결과에 sum/avg/etc를 결합할 때 매우 유용합니다.
여기에서 Elasticsearch를 데이터 소스로 사용합니다.

아직 ETA는 없지만 올해에 도달하기를 희망하는 것입니다.

임의의 시간 범위(예: "데이터 참조")와 비교하는 것이 유용할 수 있습니다.

안녕하세요 @torkelo ,

#3677에 대한 업데이트가 있습니까?

업데이트 없음 :( 업데이트가 있으면 여기에 업데이트를 게시하겠습니다.

안녕하세요 @torkelo ,

빠른 응답 감사합니다. 기본적으로 제 요구 사항은 ES에서 반환된 데이터 포인트를 평균화하고 1분 간격으로 버킷화하는 것입니다. Elasticsearch에서 요약 및 sumSeries 기능을 달성하기 위한 다른 대안이 있습니까?

@shiv6146 그거 에 Elasticsearch 날짜 히스토그램 간격 기능을 사용할 수 없나요?

@torkelo 날짜 히스토그램을 사용하여 중첩 그룹을 수행할 수 있지만 불행히도 Grafana에서는 내부 그룹 기준의 출력을 숨기고 집계된 데이터 포인트만 플롯할 수 없습니다.

덧셈과 뺄셈과 같은 간단한 것을 최소한 구현할 수 있습니까?

• 미터법 C: #A - #B
• 메트릭 D: #A + #B

@mtipanov 로드맵 에 있지만 여름이 끝날 때까지 다른 기능으로 바쁩니다.

@mstipanov
이번 ASAP도 기대해 주세요. influxdb 사용

•미터법 C: #A - #B
•미터법 D: #A + #B

사양이 있다면 확실히 도움이 되고 싶습니다. 이 작업을 시작할 수 있는 곳이 있습니까? 또한 기존 "A"에서 사용할 수 있는 더 많은 데이터가 필요할 수 있는 일부 메트릭이 있을 수 있습니다. 예를 들어 이동 평균 7일(현재 시리즈 + 7일 이전 데이터)이 필요할 것입니다.

@torkelo 어떻게 구현해야 하는지에 대한 아이디어가 있습니까? 나는 이것을 구축하는 데 약간의 시간을 투자할 용의가 있습니다. Druid 위에 프론트엔드가 필요합니다.

플러그인을 통한 확장을 살펴보았습니다. datasourceSrv 를 meta-queries-plugin 에 전달한 다음 플러그인이 데이터 소스를 다시 호출하도록 해야 합니다. 이동 평균 및 시간 이동을 먼저 작업할 계획입니다.

안녕하세요 여러분, @f1-outsourcing 및 @mtipanov (메트릭 A(+-) 메트릭 B)와 같은 문제가 있었습니다. 그리고 이를 위해 "Calculated Stat 플러그인"이라는 패널 플러그인을 개발했습니다. 관심이 있으시면 내 github https://github.com/fabiojose/grafana-calcltdstat-plugin 입니다.

@fabiojose 감사합니다. 플러그인을 살펴보았습니다. 내주셔서 감사합니다. 테이블이나 그래프와 같은 패널을 사용할 수 있도록 데이터 소스로 구현하는 것이 더 나을 것 같습니다. 나는 타임 시프트를 끝냈다. 하루나 이틀 안에 소스를 공개할 것입니다. 그때까지 이동 평균으로 완료됩니다.

Poshmark는 오픈 소스 https://github.com/GoshPosh/grafana-meta-queries 이며 계산 열, 이동 평균 및 시간 이동을 지원합니다.

감동적인! 잘했어 얘들아!

@torkelo 시간이 되시면 플러그인에 대한 피드백을 주시겠습니까?

@Gauravshah 네! 죄송합니다. 홀 팀은 이번 주에 후원하는 개발자 컨퍼런스를 준비하고 여행하는 데 바빠서 플러그인 리뷰 및 피드백이 느렸습니다. 아마 다음주나 다음주에

@torkelo 걱정하지 마시고 시간을 내십시오. 감사 해요

@torkelo 업데이트가 있습니까?

이 기능도 하루빨리 구현되었으면 합니다

안녕,
Elasticsearch와 함께 grafana v4.5.2 사용.
타임스탬프 이후 경과된 시간이 5분 미만인지 여부에 따라 타임스탬프를 부울 값으로 변환해야 합니다.
스크립트 필드 값(시간은 현재 에포크를 반환하는 함수입니다):
부울( 시간 - _값 > 300 )
그것도 당신의 계획에 있습니까?
또한 시간이 지남에 따라 서로 다른 쿼리의 두 값을 나누는 그래프를 생성하는 옵션이 필요합니다.
감사 해요,

@lilachmaliniak
((new Date()).getTime() - A['_value']) > 300 할 수 있습니다
두 개의 서로 다른 데이터 소스가 작동합니다.

@Gauravshah 감사합니다
나는 당신이 제안한 것을 정확히 할 수 없었습니다. 아마도 숫자/int인 값 유형 때문일 것입니다.
오류가 발생했습니다:500
그 때 옵션 스크립트를 다음과 같이 설정했습니다. (((new Date()).getTime() - _value) < 300000 )
다음은 쿼리입니다.
{"search_type":"query_then_fetch","ignore_unavailable":true,"index":"beaconindex"} {"size":0,"query":{"bool":{"filter":[{"range": {"private_data.timestamp":{"gte":"1513673225106","lte":"1513676825106","format":"epoch_millis"}}},{"query_string":{"analyze_wildcard":true,"쿼리" :"private_data.kes_hostname.keyword:(\"lilach\-centos\-vm.com\")"}}]}},"aggs":{"5":{"용어":{"필드":" private_data.kes_hostname.keyword","크기":10,"주문":{"_term":"desc"},"min_doc_count":1},"aggs":{"1":{"최대":{" field":"private_data.timestamp","missing":0,"script":{"inline":"((( new Date()).getTime() - _value) < 300000 ) "}}},"3 ":{"최소":{"필드":"private_data.systemMetrics.systemData.system.uptime"}}}}}} "
Kibana에서 동일한 쿼리를 실행하여 다음을 얻었습니다.
{
"오류": {
"근본 원인": [
{
"유형": "class_cast_exception",
"이유": null
}
],
"유형": "검색_단계_실행_예외",
"이유": "모든 샤드가 실패했습니다",
"단계": "쿼리",
"그룹화": 참,
"failed_shards": [
{
"샤드": 0,
"인덱스": "비컨 인덱스",
"노드": "TGW3SyrEQHSnIi8qQt3rNw",
"이유": {
"유형": "class_cast_exception",
"이유": null
}
}
]
},
"상태": 500
}

그래서 옵션에서 스크립트를 사용했습니다. (((new Date()).getTime() - _value) < 300000 ) ? 1 : 0
그리고 값을 범위로 변환하는 작업을 수행합니다. [0,1]

내 질문은: Grafana에서 값을 더 변환하여 대신 토큰을 표시하는 방법(예: 위/아래)

나는 그것이 이 플러그인이 아닌 grafana에 의해 지원되어야 한다고 생각합니다. (((new Date()).getTime() - _value) < 300000 ) ? '↑' : '↓' 할당할 수 있지만 시도하지 않았습니다.

@Gauravshah , 감사합니다
더 구체적으로 알려주실 수 있나요?
Metric->Options->Script 아래의 Metric 탭에 작성하면 스크립트가 Lucene 쿼리에 인라인 속성으로 포함되어 쿼리가 오류 상태 500과 함께 실패합니다.
"스크립트":{"인라인":"(((new Date()).getTime() - _value) < 300000 ) ? 'up' : 'down'"}

나는 당신의 질문을 잘못 이해했다고 생각합니다. 저는 탄력적 검색 쿼리에 대해 잘 모릅니다. 나는 당신이 메타 쿼리 플러그인에서 그것을하는 방법에 대해 묻는 것이라고 생각했습니다.

@Gauravshah , 예, ES 쿼리로 수행하려고 합니다. 이미 메타 쿼리 플러그인을 설치했지만 어떤 이유로 대시보드를 만들지 못했습니다. 새 대시보드 생성 시 MetaQuery 유형의 옵션을 사용할 수 없었습니다. 다시 시도해 보겠습니다. 감사합니다.

@Gauravshah , ES 데이터 소스와 함께 MetaQuery를 어떻게 사용합니까?
플러그인 문서는 어디에서 찾을 수 있나요?
git에서 문서를 찾을 수 없으므로 https://github.com/GoshPosh/grafana-meta-queries
감사 해요

안녕하세요 @Gauravshah ,
MetaQueries 데이터 소스 플러그인을 설치한 후 새 대시보드를 만들 수 있었습니다.
새 테이블을 만들고 테이블 데이터 소스를 -- 혼합 --으로 설정한 후
추가된 2개의 쿼리:
A($datasource) 메트릭: Max(private_data.timestamp), Group by:Term(private_data.kes_hostname.keyword)
B (MetaQuery 데이터 소스) 유형 산술 표현식 ((new Date()).getTime() - A['_value']) < 300000 ? '위아래'
쿼리 A는 예상 값을 반환하고 테이블에 성공적으로 표시됩니다.
그러나 쿼리 B의 표현식 값이 있는 열을 표시하지 못하고 성공이든 실패든 표현식 출력이 무엇인지 알 수 없습니다. 표시가 없습니다.
내 질문: 쿼리(metaQuery DS를 사용하는 쿼리)를 디버깅하고 테이블의 표현식 값을 추가 열로 표시하려면 어떻게 해야 합니까?
건배

데이터 소스는 Meta Queries 로 설정되어야 하며 혼합되지 않아야 합니다. 플러그인의 readme에 추가합니다 :(

안녕하세요 @Gauravshah ,
감사 해요.
조언대로 테이블 데이터 소스를 "MetaQuery 데이터 소스"로 변경했습니다.
이제 ES의 쿼리가 예상 값으로 성공하기 전에 "정의되지 않은 '길이' 속성을 읽을 수 없습니다"라는 오류가 발생하고 테이블에 생각이 표시되지 않습니다.

@lilachmaliniak https://github.com/GoshPosh/grafana-meta-queries 에서 문제를 만들 수 있습니까? 또한 브라우저에서 스택 추적을 첨부하십시오.

안녕하세요 @Gauravshah ,
새로운 문제 추가: https://github.com/GoshPosh/grafana-meta-queries/issues/9

👍

이 문제는 >2년되었습니다. 이 기능 요청이 다른 요청으로 롤링되었습니까?

👍

많은 시계열 데이터 저장소가 이 작업을 수행할 수 있지만 일부(cloudwatch를 보고 있음)는 이러한 종류의 작업을 지원하지 않으며 절대 지원하지 않을 수도 있습니다.

그 동안 우리는 적어도 두 개의 패널로 timeShift를 수행할 수 있지만 동일한 패널에서 비교 그래프를 수행하기 위한 쿼리당 timeshift는 매우 환상적입니다.

+1

@matschaffer & @JJMVG https://github.com/GoshPosh/grafana-meta-queries 를 사용할 수 있어야 합니다.

@SwathiMuppalla 여기가 아닌 플러그인 저장소에서 문제를 생성해야 합니다.

+1

+1 이것은 yuge 일 것입니다 -- 6.4에서 grafana-meta-queries 플러그인으로 많은 성공을 거두지 못했습니다 :(

다양한 데이터 소스를 지원하는 시각화 계층으로서 이것은 모니터링 기능의 핵심이 될 수 있습니다. 우리는 대시보드에서 MySQL, Elasticsearch 및 Prometheus의 데이터를 결합하고, 다른 소스를 기반으로 한 소스의 데이터를 정규화하면 모니터링 스택에서 제품의 중요성이 크게 향상될 수 있습니다.

이것은 다른 +1 댓글이 아닙니다.

+100입니다 🙏🏼✌🏼

@torkelo 아마도 https://github.com/wesm/feather 또는 https://arrow.apache.org/docs/python/ipc.html 과 같은 것을 일종의 "열 저장 캐시"로 사용하는 것이 가능할 것입니다. 그런 다음 추가 처리 또는 조작에 사용할 수 있습니다.

https://www.dremio.com/ 의 작업에서 다른 아이디어를 얻을 수 있습니다. 이는 약간 관련된 문제 공간처럼 보입니다(추가 조작 및 쿼리를 위해 Arrow 등에서 다양한 데이터 소스 및 캐싱 쿼리).

@torkelo 아마도 https://github.com/wesm/feather 또는 https://arrow.apache.org/docs/python/ipc.html 과 같은 것을 일종의 "열 저장 캐시"로 사용하는 것이 가능할 것입니다. 그런 다음 추가 처리 또는 조작에 사용할 수 있습니다.

고급 기능을 위한 외부 도구가 있는 것은 좋지만 Grafana와의 단순성 또는 통합 측면에서 문제를 해결하지 못합니다. 두 개의 급수에 대한 매우 기본적인 산술 연산을 제공하면 20%의 시간으로 문제의 80%를 해결할 수 있습니다.

@redlus @yehosef https://github.com/GoshPosh/grafana-meta-queries 가 솔루션이 아닌 이유는 무엇입니까?

@torkelo https://github.com/GoshPosh/grafana-meta-queries 가 이 문제에서 언급한 문제를 해결한다고 생각한다면 grafana용 플러그인으로 해결하고 있다는 문제를 해결하여 문제를 종료해야 합니다. 사람들이 긴 문제를 스캔하여 문제를 해결하는 플러그인이 있는지 찾기가 어렵습니다.

@가우라브샤
작동하는 플러그인을 보고 싶지만 최신 버전의 Grafana에서 이 플러그인을 사용하는 데 문제가 있었습니다. 즉
https://github.com/GoshPosh/grafana-meta-queries/issues/82

@redlus 다시 시도해야 합니다. grafana 6.4에서 작동합니다. 또한 최신 grafana 버전이 유일한 문제인 경우 하나의 부 버전으로 돌아갈 수 있는 옵션이 있었습니다. would love to see a working plugin 를 호출하는 이유를 잘 모르겠습니다.

@Gauravshah는 불행히도 여전히 Grafana 6.5.1에서 작동하지 않습니다. 6.4에서는 시도하지 않았지만 이전 릴리스로 전환하는 것은 대부분의 사용자에게 적합하지 않을 수 있습니다.

진전이 없다...

여기에서 여러 데이터 소스를 집계하려고 하는 많은 사람들이 보입니다. Blendstat 패널이 일부 사람들의 문제를 해결하고 해당 디자인을 다른 패널에서 재사용할 수 있는지 궁금합니다.

https://grafana.com/grafana/plugins/farski-blendstat-panel

Blendstat는 간격을 메우지만 모든 변수에 대해 반복하거나 반복할 때는 작동하지 않습니다. 방법이 있다면 방법을 모르겠습니다.

나는 이것이 해결되기를 바라는 또 다른 사용 사례를 발견했습니다. 정수 5, 7 등을 제공하는 백분율(0.0-0.1)로 CloudWatch 지표를 반환하고 있습니다. 0.5%, 0.7%를 예상했는데 이를 변환할 방법이 없습니다.

안녕, 내가 여기에서 오래된 땅을 밟고 있다면 사과하지만 이것은 꽤 긴 스레드입니다.

이 기능 요청이 여러 쿼리를 결합한 결과 생성된 그래프를 지원하기 위한 것이라고 생각하는 것이 맞습니까? 예를 들어 이 작업이 완료되면 Prometheus의 시계열을 가져와 Stack Driver?의 시계열과 합할 수 있습니다.

그렇다면: 이 작업이 아직 계획되어 있습니까? 로드맵은 무엇이며 도움이 필요합니까? :)

오늘 그래프를 어제 또는 7일 평균과 비교할 수 있도록 그래프를 시간 이동하는 것입니다.
예, 일부 데이터 저장소는 이미 그렇게 할 수 있지만 이것은 일반적인 기능이어야 합니다.