Kibana: 버킷 스크립트 집계 지원

복제 https://github.com/elastic/kibana/issues/4584

@rashidkpc 나는 이것이 어떻게 파이프라인 물건의 속임수인지 알지 못합니다. 파이프라인은 5.4에 있지만 버킷 스크립트 집계가 표시되지 않습니다. 이것을 다시 열 수 있습니까?

검색 쿼리가 포함될 필드 문서를 선택한 후 큰 필드에 대해 더 큰 값과 작은 필드에 대해 더 작은 값에 가중치를 부여해야 하는 농부 필드를 나타내는 문서에 대한 값의 시각화를 수행하기 위해 이 기능에 관심이

bucket_script 기능이 답인 것 같지만(Elasticsearch에서 작동하고 있음) Kibana 시각화를 사용할 때 그러한 쿼리를 재현할 수 없는 것 같습니다.

곧 지원할 계획이 있습니까?

아니면 해결 방법이 있습니까?

(예를 들어, Kibana가 내 UI 선택을 기반으로 쿼리를 생성하는 대신 시각화에 사용하고 싶은 Elasticsearch 쿼리를 Kibana에 직접 알릴 수 있는지 확인하려고 했습니다. 하지만 그게 가능한 것 같지 않습니까? 맞나요? )

+1

이 기능에 관심이 있습니다. 우리의 사용 사례에서는 성공/실패 비율로 해결할 수 있습니다.

+1 이것도 보고싶다! 구현하기가 매우 간단해야 합니다. 집계 JSON을 입력할 수 있는 상자를 제공하는 드롭다운의 "커스텀 메트릭"..

Kibana 5.4부터 버킷 스크립트 agg는 이제 "계산"이라고 하지만 Time Series Visual Builder에서 지원됩니다(cc @simianhacker 이 옵션이 "버킷 스크립트"에 의존한다는 것을 더 명시적으로 만들어야 하는지 궁금합니다.)

이 티켓에 있는 사람들(예: @Kazark)이 사용해 보고 사용 사례에 도움이 되는지 알려주시겠습니까?

@simianhacker 가 이 집계의 이름을 바꾸는 것이 합리적이라는 데 동의했다고 생각합니다. 추적 목적으로 https://github.com/elastic/kibana/issues/13796 을 열었습니다.

@tbragin TSVB 에서 버킷 스크립트 집계를 갖는 것은 아주 좋은 기능입니다. 구현해 주셔서 감사합니다. 내가 시도한 것들은 아주 잘 작동했습니다.

그럼에도 불구하고 버킷 스크립트 집계는 모든 종류의 하위 집계가 지원되는 경우에만 잠재력을 완전히 활용할 수 있으므로 TSVB가 추가 스크립트 집계(예: 스크립팅된 합계 집계)를 지원하면 좋을 것입니다. 그러나 이것은 더 자세히 논의하는 곳이 아니기 때문에 다른 문제를 열었습니다.

이 기능에 대한 일정이 있습니까?

'계산' 기능은 버킷 스크립트를 최상위 수준으로만 수행할 수 있으며 상위 버킷 집계 내에서 적용할 수 없습니다... :(

그리고 그것은 시계열 시각화에만 있고 표준 시각화에는 버킷 스크립트가 없습니다.

우리의 특정 사용 사례는 둘 다 필요하며 6.x(rc)에서도 지원되지 않는 것 같습니다.
이에 대한 계획이 있습니까?

우리의 사용 사례에서 각 문서에는 시작 시간 및 종료 시간 날짜 유형 필드가 있으며 일부 카테고리 필드에 그룹화된 해당 버킷 전체에 걸쳐 전체 기간을 생성해야 합니다.
여기에는 먼저 해당 범주에 대한 버킷팅이 포함되며, 그 다음 해당 범주 내에서 각 버킷에 있는 문서의 min(start-time) 및 nax(end-time) 2가지 측정항목을 수행한 다음 이 2가지 측정항목을 사용하는 파이프라인 스크립트-버킷 agg를 적용합니다. aggs 사이의 기간을 계산합니다(max_end_time - min_start_time). 이는 각 버킷의 출력으로 '지속 시간' 메트릭을 제공합니다. 그런 다음 몇 가지 metric-pipeline-agg를 적용하려고 합니다.

거의 동일한 구조가 여기에 자세히 설명되어 있습니다. https://discuss.elastic.co/t/kibana-5-4-bucket-script-visualization/86475

쿼리 DSL에서 표현할 수 있었고 이미 프로덕션에서 사용하고 있지만 Kibana에서는 시각화할 수 없습니다. 고객이 수년 동안 이러한 시각화를 요청했기 때문에 정말 짜증납니다. 항상 그들에게 '파이프라인 집계를 위해 이후 버전의 지원이 필요합니다'라고 말했습니다...
글쎄, 이제 우리는 그것들을 가지고 있지만 실제로는 ...
시계열 빌더에는 표현할 수 있는 버킷 스크립트 파이프라인 집계가 있지만 상위 버킷 용어 집계에서 소비/적용할 수 없으며 다른 시각화에서는 버킷 용어 집계가 있습니다. 집계 및 일부 파이프라인 메트릭 집계가 있지만 이를 표현하는 데 필요한 버킷 스크립트 파이프라인 집계는 필요하지 않습니다.

쿼리 DSL을 넣을 수 있는 "고급 JSON"을 사용하는 해결 방법이 있습니까?

이 질문에서 요청한 대로 내 사용 사례 됩니다 .

내 색인에는 다음 문서 유형(테스트 실행을 나타냄)이 포함되어 있습니다.

• 테스트 ID(문자열)
• 성공(부울)
• 소프트웨어 버전

다음 히스토그램을 만들고 싶습니다.

• X축: 버전
• Y축: 성공/실패 시 누적된 고유 테스트 수

동일한 테스트 ID는 동일한 버전에서 다른 결과로 여러 번 실행될 수 있습니다. 한 번 성공하면 성공한 것으로 간주되어야 합니다.

이것이 우리에게 결정적인 쇼스토퍼이기 때문에 이것이 구현되기를 정말로 바랍니다.

일반 시각화의 옵션으로 "Bucket Script Aggregation" 또는 "Custom Aggregation"을 추가하기만 하면 됩니다. 다른 집계와 마찬가지로 쉬워야 하지만 집계 본문에 콘텐츠를 추가하지 않습니다(사용자가 제공한 json).

TSVB에서 이 기능을 사용하는 예에 관심이 있는 사람을 위해 관련 포럼 게시물이 있습니다. https://discuss.elastic.co/t/weighted-average-in-a-datatable-of-kibana/185909/2.

요청한 기능이 완료되지 않았습니다(!) 이것은 TSVB에 대한 것이 아니라 다른 일반 시각화 유형(!)(막대 차트 등)에 대한 것입니다. 우리는 지금 6.4에 있고 우리는 여전히 우리가 필요로 하는 것을 할 수 없습니다. 7.x ASAIK에도 없습니다.
다시 말하지만, 이것은 막대 차트에서 "버킷 스크립트"를 선택할 수 있고(여기에서는 사용할 수 없음) 전체 집계의 모든 중첩 수준에서 선택하는 것입니다.
짧은 스크립트를 통해 해당 집계에서 나오는 버킷을 필터링하려면 "버킷 필터" BTW도 필요합니다.

CC @elastic/kibana-app

'계산' 기능은 버킷 스크립트를 최상위 수준으로만 수행할 수 있으며 상위 버킷 집계 내에서 적용할 수 없습니다... :(

그리고 그것은 시계열 시각화에만 있고 표준 시각화에는 버킷 스크립트가 없습니다.

우리의 특정 사용 사례는 둘 다 필요하며 6.x(rc)에서도 지원되지 않는 것 같습니다.
이에 대한 계획이 있습니까?

우리의 사용 사례에서 각 문서에는 시작 시간 및 종료 시간 날짜 유형 필드가 있으며 일부 카테고리 필드에 그룹화된 해당 버킷 전체에 걸쳐 전체 기간을 생성해야 합니다.
여기에는 먼저 해당 범주에 대한 버킷팅이 포함되며, 그 다음 해당 범주 내에서 각 버킷에 있는 문서의 min(start-time) 및 nax(end-time) 2가지 측정항목을 수행한 다음 이 2가지 측정항목을 사용하는 파이프라인 스크립트-버킷 agg를 적용합니다. aggs 사이의 기간을 계산합니다(max_end_time - min_start_time). 이는 각 버킷의 출력으로 '지속 시간' 메트릭을 제공합니다. 그런 다음 몇 가지 metric-pipeline-agg를 적용하려고 합니다.

거의 동일한 구조가 여기에 자세히 설명되어 있습니다. https://discuss.elastic.co/t/kibana-5-4-bucket-script-visualization/86475

쿼리 DSL에서 표현할 수 있었고 이미 프로덕션에서 사용하고 있지만 Kibana에서는 시각화할 수 없습니다. 고객이 수년 동안 이러한 시각화를 요청했기 때문에 정말 짜증납니다. 항상 그들에게 '파이프라인 집계를 위해 이후 버전의 지원이 필요합니다'라고 말했습니다...
글쎄, 이제 우리는 그것들을 가지고 있지만 실제로는 ...
시계열 빌더에는 표현할 수 있는 버킷 스크립트 파이프라인 집계가 있지만 상위 버킷 용어 집계에서 소비/적용할 수 없으며 다른 시각화에서는 버킷 용어 집계가 있습니다. 집계 및 일부 파이프라인 메트릭 집계가 있지만 이를 표현하는 데 필요한 버킷 스크립트 파이프라인 집계는 필요하지 않습니다.

쿼리 DSL을 넣을 수 있는 "고급 JSON"을 사용하는 해결 방법이 있습니까?

@ArnonMarcus 당신은 이것을 달성할 수 있었습니까? 비슷한 요구 사항이 있지만 Kibana에서 구현하는 방법을 알 수 없습니다. 저는 현재 6.7.1 버전을 사용 중입니다.

아니요... 아직 미해결 문제입니다.

데이터 과학자로서의 내 관점에서 볼 때, 시각화 및 지도 내에서 집계 쿼리에 대한 비율(예: Elastic에서는 버킷 스크립트 집계라고 함)과 같은 기본 수학을 수행하는 능력은 전체 Kibana 플랫폼의 막대한 한계입니다.

플러스 측면에서 사용자 지정 Vega 시각화 및 맵을 만들어 이 기능을 달성할 수 있습니다. 이 방법의 유일한 문제는 시각화에 10000개의 값을 표시하도록 제한된다는 것입니다. 이는 많은 데이터가 포함된 일종의 산점도 또는 지도를 만드는 데 상당히 제한적입니다.

+1

+1

이 기능의 한 가지 사용 사례는 Elasticsearch에 파생 집계에 대한 음수가 아닌 옵션이 없는 문제를 해결하여 차트가 결국 음수 파생 값을 표시할 수 있도록 하는 것입니다(의도적인 서버 재시작 시): https://github.com/elastic/elasticsearch/issues /15542

+1

이것은 https://github.com/elastic/kibana/issues/17544 와 유사하게 사용자가 많이 요청한 기능입니다

이를 구현할 계획이 있습니까?

좋은 것 !

+1

+1

나는 이 파티에 늦었다. 그래서 나의 실망은 신선하다.

며칠 전에 Elastic 토론 포럼 주제 " 한 필드의 버킷당 합계를 다른 필드의 버킷당 합계로 나눈 값을 시각화하시겠습니까? "(장황한 제목에 대해 죄송합니다)를 만들었습니다.

얼마 지나지 않아 나는 이 문제를 발견했고 왜 "표준" Kibana 시각화 ☹️에서 그 방법을 알 수 없었는지 뒤늦게 깨달았습니다.

나는 이 문제를 인용하고 TSVB에서 버킷 스크립트를 사용하는 기본 예를 보여주면서 내 자신의 포럼 주제에 응답했습니다. 이것이 Vega-Lite 누군가에게 도움이 될 경우를 대비하여 이 댓글을 게시하는 이유인 것 같습니다.

이 원하는 기능을 기다리는 동안 데이터 테이블 시각화의 대안은 « 고급 테이블 » 커뮤니티 플러그인과 « 계산 열 » 기능을 사용하는 것입니다.
https://github.com/fbaligand/kibana-enhanced-table