중첩된 개체 집계의 경우 +1입니다.

+1

+1

+1

+1

+1

+1

+1

+1

+1

+100000

+1

분명히 말해서, 현재 kibana 4에서 중첩 필터/쿼리/agg를 수행할 방법이 없습니까?

+1

+11111

+1

+1

+1

+1

+1

+1

+1

+2

+1

+1 중첩된 개체를 비정규화하는 것이 매핑 폭발로 이어질 수 있으므로 항상 옵션이 아니기 때문입니다.

매핑:

{ 
 "timestamp":{ "type":"date"},
 "cluster_id": { "type":"string"},
 "pools":{
    "type":"nested",
    "properties":{
      "size":{
        "type":"long"
      },
      "name":{
        "type":"string",
        "index":"not_analyzed"
      }
    }
  }
}

우선 각 풀 이름에 대해 시간 경과에 따른 평균 크기를 표시할 수 있도록 꺾은선형 차트를 사용하고 싶습니다. 이름이 너무 많아 비정규화하는 것이 좋지 않다고 가정하면 차트에 많은 그래프가 표시될 수 있습니다. 이러한 경우에 작업하려면 중첩 집계 내에서 필터 집계를 사용할 수 있는 것도 도움이 됩니다. 상위 검색에서 중첩 필드를 필터링할 수 있는 것도 좋습니다.

상황을 더욱 흥미롭게 만들기 위해 다음과 같은 집계를 시각화할 수 있다면 정말 좋을 것입니다.

"aggs": {
        "poolagg": {
            "nested": {
                "path": "pools"
            },
            "aggs": {
                "old": {
                    "filter": {
                        "term": {
                            "name": "some pool name"
                        }
                    },
                    "aggs": {
                        "avg_size": {
                            "avg": {
                                "field": "size"
                            }
                        },
                        "distribution": {
                            "histogram": {
                                "field": "size",
                                "interval": 5
                            },
                            "aggs": {
                                "pool_to_cluster": {
                                    "reverse_nested": {},
                                    "aggs": {
                                        "clusters": {
                                            "cardinality": {
                                                "field": "cluster_id"
                                            }
                                        }
                                    }
                                }
                            }
                        }
                    }
                }
            }
        }
    }

+1

+2

+1

+1

+1

+1

+10 !

이것으로 강력할 것입니다!

누군가 이것을 명확히 할 수 있습니다. Kibana4beta1에 대한 이 게시물(https://www.elastic.co/blog/kibana-4-beta-1-released)에서 "Kibana 4는 Elasticsearch의 중첩 집계 기능을 마우스 클릭으로 제공합니다."라고 명시하고 있습니다. 그러나 중첩된 개체가 있는 문서에 대한 시각화를 만들 수 없습니다. 또한 인덱스 템플릿의 중첩 개체가 "중첩"으로 표시되어 있는지 확인했습니다. 그렇다면 중첩 집계에 대한 Kibana의 지원은 중첩 객체에 대한 ES의 지원과 같지 않습니까? 내가 무엇을 놓치고 있습니까? 감사 해요.

@cslinuxboy - 여기에서 "중첩된"을 사용하여 여러 필드를 통한 그룹화를 참조한다고 생각합니다. 예를 들어 "시간별로 집계한 다음

@Alex-Ikanow - 답변 감사합니다. 현재로서는 불가능합니다. 나는 그들의 beta-1 포스트에 있는 오해의 소지가 있는 설명을 읽고 희망을 얻었습니다.

시각화 집계 내에서 중첩된 개체를 지원하는 경우 +1입니다.

+1

현재 잘 작동하는 것으로 보이는 해결 방법으로 부모/자식 관계를 사용하고 있습니다.

@calvdee Kibana 검색 창에서 작동할 has_parent 또는 has_child 쿼리가 있습니까? 이것은 우리를 위해 작동하지 않으며 그것은 큰 문제입니다. 당신이 이것을 작동시키고 저에게 알려줄 수 있다면 나는 영원히 감사할 것입니다...감사합니다!!!

아니요, 우리의 사용 사례에서는 모든 부모에게 자녀가 있고 모든 자녀에게는 반드시 부모가 있어야 합니다. 왜냐하면 우리는 인보이스 데이터를 인덱싱하므로 일반 쿼리가 작동하기 때문입니다(이미지 참조).

@calvdee 답변 정말 감사합니다! 유사한 데이터 모델이 있지만 Kibana에서 자녀로 부모를 찾을 수 있기를 원하지만 작동하지 않습니다. :0(

걱정 마세요, 행운을 빕니다!

2015년 3월 26일 목요일 11:36 ajrasch [email protected]에서 다음과 같이 작성했습니다.

@calvdee https://github.com/calvdee 답변 감사합니다! 우리
유사한 데이터 모델을 가지고 있지만 그들의 부모에 의해 부모를 찾을 수 있기를 원합니다.
Kibana의 어린이, 작동하지 않습니다 :0(

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/elastic/kibana/issues/1084#issuecomment -86575796.

+1

+1

_mapping 필드를 읽었으므로 특정 필드가 중첩될 때를 알아야 하므로 쿼리 또는 패싯에서 이러한 필드가 선택될 때 올바른 중첩 패싯/쿼리를 자동으로 적용할 수 없습니까?

예, :+1: 이것에 대해. CLI에서 올바른 중첩 집계를 작성하고 curl로 데이터를 가져올 수 있지만 JSON 편집 상자를 사용하지 않고 Kibana의 "시각화" 탭에서 작동하도록 하는 방법을 찾지 못했습니다. 물론 저는 그 기능(상자)을 사용하지 않지만, 새로운 집계를 처음부터 새로 생성하는 데 사용하지 않고 기존 집계에 "추가"하는 것만 가능한 것 같습니다... (수정해 주시면 감사하겠습니다. 내가 틀렸다면!).

네, 중첩 유형 집계가 핵심이며 플랫 데이터의 특정 문제를 해결하기 때문에 더 널리 사용되고 있습니다.

Kibana4가 ES용 시각화 제품이라면 모든 ES 집계를 지원해야 합니다.

적어도 Kibana4 의

+1

+1

+1

+1

+1

#3729부터 :-)

집계 옵션 "하위 문서"를 보고 싶습니다.
(날짜 이후 히스토그램, 히스토그램 등)
쿼리 DSL for children 집계 매개변수, 예
"하위 유형", "필드" 등

이렇게하면 자식에 중첩 집계를 만들 수 있습니다.
서류.

나는 다음을 사용하여 그러한 쿼리를 만들 수없는 것 같습니다.
고급 편집 기능. 누군가 할 수 있습니다
나를 깨우쳐줘.

감사 해요

+1

+1

+1

+1은 이 능력이 정말 필요합니다. 해결 방법으로 logstash를 사용하여 모든 부모를 제거할 수 있지만 수백 개의 필드가 있으므로 거대한 구성 파일이 필요합니다.

+1 이것이 계획되어 있는지 아는 사람이 있습니까?

+1

지금은 "중첩" 유형 개체 사용을 중지하도록 매핑 중 일부를 변경하는 것을 고려하고 있습니다. 해당 필드에서 Kibana 시각화를 생성할 수 없기 때문입니다. 문제가 적어도 로드맵에 있다는 것을 알았다면 그 결정을 내리는 데 정말 큰 도움이 될 것입니다.

@benjismith - 또한 총알을

행운을 빕니다.

+1

+1

중첩 유형 집계 지원의 경우 +1

+1

+1

+1

+1

+1

+1

중첩 문서 내의 특정 필드에서 간단한 집계를 수행하려는 경우(예: 상위 값을 찾기 위한 필드의 "terms" 집계) Elasticsearch 매핑에 "include_in_parent" 설정을 추가하는 것을 고려할 수 있습니다. 이렇게 하면 상위 수준의 중첩 문서에 병합된 버전의 필드가 생성됩니다.

https://www.elastic.co/guide/en/elasticsearch/reference/1.7/mapping-nested-type.html

이러한 필드는 문서 세부 정보 보기에서 배열 필드로 볼 수 있지만 왼쪽의 검색 필드 목록에는 표시되지 않습니다. 그러나 Visualize의 메트릭 목록에 있는 개별 필드에 액세스할 수 있으며 해당 필드에서 집계를 실행할 수 있습니다.

이것은 중첩된 문서 구조를 기반으로 하는 시청 기록을 시각화하기 위해 수행하는 작업입니다("results.actions" 참조).

{
   ".watch_history-2015.06.12": {
      "mappings": {
         "watch_record": {
            "dynamic": "strict",
               "result": {
                  "dynamic": "true",
                  "properties": {
                     "actions": {
                        "type": "nested",
                        "include_in_parent": true,
                         …
}

+1

+1

+1

+1

+1

다른 +1 대신 ... 중첩 유형 집계의 위치에 대한 요약이 도움이 될 것입니다.

나는 예쁜 그래프를 만드는 방법을 배운지 5일째이므로 이 중 하나라도 분명하다면 용서해 주십시오.

뭐가 문제 야?

여전히 ElasticSearch 또는 Lucene 쿼리 문제입니까?

집계로 해결되지는 않지만 입력 상자에 elasticsearch JSON을 입력할 수 있다는 사실로 해결됩니다. 이상적이지는 않지만 Elasticsearch가 lucene 쿼리 문자열 구문을 확장하여 중첩 필드를 지정하지 않는 한 우리가 할 수 있는 최선입니다. -- rashidkpc의 오래된 코멘트

Kibana 수정이 가능합니까?

ES/Lucene이라면 Kibana가 중간 해킹/솔루션을 제공할 수 있습니까? ES6 shim 및 공급업체 접두사 CSS를 생각하십시오.

중첩 매핑의 경우: Kibana 패널에 대해 편집기에서 중첩을 선택하고 경로를 구성할 수 있습니다. 밥머서

또는:

_mapping 필드를 읽었으므로 특정 필드가 중첩될 때를 알아야 하므로 쿼리 또는 패싯에서 이러한 필드가 선택될 때 올바른 중첩 패싯/쿼리를 자동으로 적용할 수 없습니까?
알렉스-이카노프, OP

누군가 솔루션을 해킹하고 있습니까? 해킹할 위치에 대한 아이디어/방향이 있는 사람이 있습니까?

해결 방법?

nested/include_in_parent로 성공한 사람이 있습니까? dynamic: static , dynamic: true 필요합니까? 내 시도는 0개의 결과로 실패했습니다. 트브라긴

rashidkpc가 위에서 언급한 JSON 입력 상자에 대한 예가 있는 사람이 있습니까?

부모/자식

이것은 내 다음 단계입니다. 온라인에 이에 대한 참조 자료가 많이 있다고 확신하지만 이 대안에 대한 예제/자습서를 참조하는 것이 나쁠 것은 없습니다.

kibana 내부에 대한 지식이 부족하여 Elastic과 kibana 사이에 있는 REST 프록시를 작성하는 것을 고려하고 있습니다. 일부 용어 기반 검색 기준이 제공된 특정 유형에 대해 Kibana에서 쿼리할 때 이 프록시는 먼저 상위 유형을 쿼리하여 검색 기준(메모리에 적합함)을 충족하는 상위 세트를 찾습니다. 그런 다음 이 부모에 대한 모든 자식을 찾아 모든 부모 필드가 추가된 비정규화된 kibana로 반환합니다. 이를 통해 Elastic Search에 상위-하위 모델을 가질 수 있어 모든 것을 비정규화하여 수십억 개의 하위 객체로 스토리지 폭발을 방지하는 동시에 상위 필드를 기반으로 데이터를 그래프로 표시할 수 있습니다.

이상적으로 이것은 Kibana의 일부였습니다. 세상은 평평하지 않다!

+1

+1. 우리는 함수 스택 또는 url_args를 다른 필드로 분할하곤 했습니다. 그러나 이것은 너무 큰 클러스터 상태와 너무 많은 매핑 새로 고침 작업과 함께 발생했습니다. 그래서 우리는 이것을 중첩된 객체로 바꿉니다. 이제 K4에 agg가 필요합니다....

+1

+1은 상위-하위 집계 시각화가 필요합니다.

+1

Kibana를 사용하려는 모든 Elastic 사용자가 로그 분석에 사용하고 있다고 믿지 마십시오. 우리는 클러스터에 채워진 중첩된 개체가 있는 광범위한 데이터를 가지고 있으며 데이터를 다른 시스템으로 가져와 변환할 필요 없이 분석을 수행할 수 있기를 바랍니다.

중첩 집계, 중첩 쿼리, 심지어 reverse_nested 집계를 생성할 수 있는 것은 필수입니다. Kibana가 이 기능 없이 오래 사용할수록 Elastic/Kibana를 사용하지 않고 대안을 더 빨리 찾아야 한다는 것과 같습니다. 이러한 종류의 기능에 사용하기 쉬운 UI를 제공하는 것이 어려운 부분이라면 사용자가 필요한 데이터를 반환하는 Elastic에 대한 완전한 json 쿼리를 제공할 수 있는 기능을 제공하는 것부터 시작하세요.

+1

@ppadovani에 동의했습니다. 우리는 BI 도구를 평가하고 있었고 Kibana를 사용하고 싶었지만 보고해야 하는 비즈니스 엔터티의 관계를 지원하지 않았고 비기술 사용자가 탐색할 만큼 사용자 친화적이지 않았습니다. 결국 Looker(기본적으로 SQL용 GUI)를 사용하게 되었습니다. looker를 보면 앞으로 어떻게 kibana를 확장하여 더 다양한 사용 사례를 제공할 수 있는지에 대한 아이디어를 얻을 수 있습니다.

kibana 4.1 코드를 보기로 했습니다.. (마스터는 2.x 엘라스틱에서만 작동하기 때문에 사용할 수 없습니다.) .. 틀리면 수정해 주세요. 하지만 간단한 첫 번째 단계인 것 같습니다. 이 줄:

1) 집계의 '고급' 접을 수 있는 영역 아래에 '중첩 경로'와 같은 텍스트 필드를 추가합니다.
2) 사용자가 해당 필드에 문자열을 배치하면 이것이 설정된 집계에는 다음과 같이 중첩 집계가 추가됩니다.
"아그":{
"2":{
"중첩":{ "경로":"foo" },
"아그":{
"삼":{
"날짜_히스토그램":{

중첩된 개체의 여러 수준의 경우를 처리하기 위해 사용자가 중첩 경로를 추가할 수 있도록 하는 +를 추가할 수 있습니다. 또한 역 중첩을 처리하려면 'reverse'라는 확인란을 추가하기만 하면 됩니다.

이것은 최소한 제한된 '중첩' 집계 지원을 제공합니다.

중첩 쿼리 지원의 경우 단기적으로 생각할 수 있는 유일한 솔루션은 사용자가 직접 코딩한 탄력적 검색 json을 입력할 수 있도록 하는 것입니다.

+1

이 모든 것에 대해 +1하고 사용자가 하드 코딩된 탄력적 검색 json을 입력할 수 있도록 합니다.

+1

+1

+1. 환경 시각화 요구 사항에 Kibana를 사용하는 것이 매우 기뻤지만 중첩된 개체 시각화에 대한 지원이 없으면 Kibana를 우리의 목적으로 사용하는 것이 꽤 고통스럽습니다.

+1, 방금 이것에 부딪쳤습니다.

+1

+1

+1

+1

+1

최소 82명이 귀하의 "+1"을 받았지만 이것은 도움이 되지 않습니다.

나는 강하게 동의하지 않는다. 더 많은 데이터가 나쁜 것은 아닙니다.

저희 팀과 저는 이 작업을 진행 중이며 이번 주 말까지 뭔가를 보여줄 수 있기를 바랍니다.

편집: https://github.com/elastic/kibana/pull/4645#issuecomment -132908544에서 내 의견을 참조하십시오.

+1

+1

+1

완료 및 여기에 생성된 pull 요청:
https://github.com/elastic/kibana/pull/4806

시청하시는 분들을 위한 빠른 업데이트... Elasticsearch co.kr을 기다리고 있습니다. CLA를 승인하기 위해, 그렇지 않으면 가는 것이 좋다고 생각합니다.

+1

+1도

+1

+1

+1

+1

+1

+1

+10

+1

+1

+1

+1

예, 부탁합니다.

+1

+1

+1

+1

4.1에 대한 풀 리퀘스트는 마스터에 대한 이 풀 리퀘스트를 위해 마감되었습니다.

https://github.com/elastic/kibana/pull/5411

4.1 버전에 대한 수요가 있는 경우 올바른 코드로 pull 요청을 다시 열 수 있습니다.

+1

+1

+1

+1

이 문제에서 무엇이 차단되는지 이해하지 못합니다.
pull 요청이 대기 중입니다 https://github.com/elastic/kibana/pull/5411

여기에 기여할 준비가 된 사람들이 있습니다. 이 PR을 병합하려면 어떻게 해야 합니까?

확실히 더 많은 +1이 필요합니다

@Filirom1 우리 중 몇

엄청난 :-)
감사 해요 !

나는 #5411을 보았고 불행히도 우리가 지금 이것을 가지고 가고자 하는 방향이 아닙니다. #5411은 스톱 갭을 구현했지만 필터링 및 검색과 같은 중요한 기능이 중단되었습니다. 또한 중첩 집계의 기본 구현을 이해하지 못하는 사용자에게 자체적으로 애그 빌더가 깨진 것처럼 보이게 만들었습니다. 앉아서 더 자세히 살펴본 후 중첩된 문서를 응집력 있는 방식으로 지원하는 작업의 양이 방대하다는 것을 깨달았습니다.

우리가 이것을 하기를 원하지 않는 것이 아니라, 우리가 하면 단지 해결하는 것이 아니라 제대로 하기를 원한다는 것입니다.

우리는 많은 사람들이 관계형 데이터 시각화에 관심이 있다는 것을 알고 있지만 다른 우선 순위와 우려 사항을 감안할 때 현재 이 프로젝트에 전념할 리소스가 없으며 가까운 장래에 로드맵에 추가하기로 약속할 수 없습니다.

참고로 우리는 내부 분석을 위해 중첩 집계와 함께 kibana를 사용하기를 희망했지만 결국 rdbms에 직접 위치하는 상용 제품인 'Looker'를 사용하게 되었습니다. 많은 비기술자들이 이제 제품에 대한 일상적인 질문에 대해 라이브 db를 탐색할 수 있으므로 Elastic 개발자가 관계형 모델을 간단하게 탐색하기 위해 수행한 작업을 살펴보는 것이 좋습니다. 여러 제품을 평가했는데 Looker가 1위에 올랐고 언젠가 Kibana에서 비슷한 기능을 보고 싶습니다.

Rashid의 최신 의견과 이 기능에 대한 광범위한 기다림을 감안할 때 이 문제를 종료하는 것이 좋습니다. 이 문제가 계속 열려 있으면 가까운 장래에 이것이 구현될 가능성이 있다는 잘못된 희망을 사용자에게 제공합니다. 개발자가 구현 방법을 알아낼 수 있는 리소스가 있을 때까지 아이디어를 종료하고 벤치마킹해 보겠습니다.

끌어오기 요청에서 내 게시물 복사:

여기에 해결책이 있지만 상당한 양의 작업이 필요하고 시간이 없습니다. 우리는 이것을 JAVA로 구현했기 때문에 이것이 가능하다는 것을 알고 있습니다.

1) 각 인덱스 매핑은 중첩 필드를 가져와 이해해야 합니다.
2) Elasticsearch를 사용하는 대신 단순화된 쿼리 언어를 제공하는 사용자 지정 AST를 구축합니다.
3) AST를 이해하고 쿼리를 검증하고 적절한 JSON으로 변환할 수 있는 쿼리 어댑터를 빌드합니다.
4) 중첩 필드에 대한 내부 이해를 기반으로 중첩 필드를 올바르게 처리하도록 Kibana의 집계를 업데이트합니다.

이것은 불가능한 것이 아니라 상당한 작업이 필요할 뿐입니다. 위의 구현에 대한 이점에는 쿼리 유효성 검사 및 단순화된 구문이 포함됩니다. 예를 들어 AST를 사용하면 다음과 같은 쿼리를 생성할 수 있습니다.

(owner.user = "/users/00a0/18066271-29f0-40af-83ad-e5a0c8fc5944") AND (druid = "/druids/0060/77dd14b1-b7f0-4851-9ef8-74daa18d AND 메시지 삽입 >= 0) OR (conversationLifecycleState = "RESERVATION_REQUEST")) AND (owner.conversationArchived = false) AND ((units.site IS NULL) OR (units.site IN {"HOMEAWAY_DE"})) AND ((inquiry.inserted >= 0) OR NOT(reservation.availabilityStatus = "DELETE") AND NOT(owner.markedSpam = true) AND(lastMessage.inserted >= 0)

기존 언어로 이 쿼리를 정확히 어떻게 만들 수 있습니까?

IMHO - 행동하기 전에 Elasticsearch의 너바나를 기다리면 Kibana의 채택이 감소하고 사용자가 손실됩니다.

내가 마케팅을 하는 것처럼 들리는 것은 싫지만 이것은 관련이 있습니다. (사람들이 다른 제품을 언급하는 것을 보았습니다.)

우리는 중첩을 많이 사용하는 많은 ppl이 실제로 관계형 데이터를 검색하기를 원했고 대신 단순히 늦게 "결합"했어야 하는 중첩 레코드를 찾았습니다. (Padovani, 이것은 귀하의 경우 일 수 있습니다. "users" "messages" 등을 볼 수 있습니다. 이들은 별도의 기록으로 매우 멋지게 보관될 것입니다)
이것이 우리가 SIREn Join Elasticsearch 플러그인과 이를 위한 필터와 기능을 제공하는 친숙한 Kibana 포크를 만든 이유입니다.

우리는 이제 모두의 이익을 위해 Kibana 4.4(일명 5.0) 호환 플러그인으로 Kibi를 최대한 많이 만들기 위해 노력하고 있습니다.

Join 플러그인이 어제 출시되었으며 오픈 소스이기도 합니다.

한편 http://siren.solutions/kibi 에서 사용 가능한 버전은 솔직히 매력처럼 작동하며 많은 고객이 더 이상 중첩 데이터가 필요하지 않게 했습니다.

jccq: Kibi나 Join 플러그인에 대해 전혀 몰랐습니다. 정보에 대해서 감사드립니다!

+1

+1
이것은 반드시 있어야 할 문제입니다...

@jccq 우리의 사용 사례는 쿼리에 대해서만 조인하는 것이 아니라 고유한 수명 주기가 있는 실제 엔터티 데이터라고 하는 '결합된' 엔터티 또는 '보기'를 사용합니다. 이를 통해 클라이언트는 API를 여러 번 GET 호출하지 않고도 조인된 데이터를 가져올 수 있습니다.

Kibana의 중첩 지원 측면에서 접근 방식을 발전시키고 있으며 리소스와 시간에 따라 2분기 또는 그 이전에 커뮤니티와 공유할 내용이 있을 수 있습니다. 이 새로운 접근 방식은 집계와 쿼리 모두에서 원활하게 중첩을 지원합니다. 아직 구현 초기 단계이기 때문에 더 이상 말하지 않겠습니다.

+1

@ppadovani 당신이 바로 그 사람입니다!

+1

+1

+1
그것은 우리에게 정말 중요합니다.
우리는 이 기능을 위해 거의 1년을 기다리고 있습니다...

+1

업데이트: 작업 부하로 인해 새 분기가 예비 피드백이나 테스트를 위해 최소 한 달 동안 준비되지 않은 것으로 보입니다. 하지만 앞으로 나아가면서 커뮤니티에서 피드백을 수집하기 위해 내가 하고 있는 일을 발표하고 싶었습니다.

기본 디자인은 두 가지를 중심으로 진행됩니다.

1) Kibana 자유 형식 쿼리 필드에 대한 새로운 쿼리 파서. 이 파서는 표준 Bison 구문 정의를 사용합니다(사용 중인 자바스크립트 버전은 Jison 프로젝트 참조). 내가 사용하는 BNF는 Homeaway에서 Elasticsearch에 대한 사용자 지정 쿼리 언어로 사용하는 기존 BNF를 기반으로 합니다. 예를 보려면 위의 내 의견을 참조하십시오. 필요에 따라 커뮤니티에서 향후 개선할 수 있도록 이 접근 방식을 선택했습니다.

Kibana에서 작동하는 쿼리 파서가 있지만 사용자가 Kibana에서 사용하는 기존 쿼리 스타일과 이 새로운 스타일 간에 전환할 수 있도록 하려면 여전히 해야 할 일이 있습니다.:

2) mapper.js의 getFieldMapping 호출을 getMapping으로 변경하고 결과를 다르게 처리하여 필드의 중첩 경로가 캡처되어 Kibana가 저장하는 필드 정보에 추가됩니다.

쿼리가 구문 분석기에 입력되면 필드 이름이 올바르게 지정되었을 뿐만 아니라 제공된 값이 필드 유형에 유효한지 확인합니다. 즉, 날짜 필드가 날짜를 얻거나 부울에 부울이 주어집니다. 또한 중첩 필드는 파서에 의해 자동으로 처리되며 현재 사용되는 간단한 쿼리 언어 대신 적절한 Elasticsearch 쿼리 json이 생성됩니다.

마지막으로 집계의 경우 필드에 중첩 경로에 대한 단서가 포함되어 있으므로 이전 분기에 대해 작업하여 선택한 필드를 기반으로 필요에 따라 중첩 집계를 자동으로 삽입하는 것은 간단합니다.

이정표:
1 - 파서 기능 가져오기 및 쿼리 생성
2 - mapper.js 업데이트 및 중첩 쿼리 지원 구현
3 - 중첩 집계 지원 구현
4 - 테스트/정리

이 접근 방식에 대한 모든 피드백은 대단히 감사하겠습니다. 감사 해요!

위의 업데이트:

• 파서 완료
• 역 파서 완료(elasticsearch json을 가져와 다시 사용자 정의 쿼리 언어로 변환)
• Kibana는 이제 필드에서 nestedPaths를 파악하고 저장합니다.
• 파서는 이제 필드 정보에 액세스할 수 있습니다.

아직 할 일:

• 두 파서 모두에서 중첩 경로 지원
• 사용자가 사용해야 하는 쿼리 스타일을 전환하고 레거시 쿼리를 저장/사용할 수 있도록 하는 UI 구성입니다.
• 파서에서 오류 처리 완료 및 UI가 구문 분석 문제/실수를 표시하는 방법
• 쿼리의 필드 이름에 대한 자동 완성 지원을 제공하는 UI 구성
• 버킷/메트릭의 중첩 지원
• 단위 테스트, 단위 테스트, 단위 테스트.
• ... ?

+1

업데이트:

• 파서는 중첩 정보를 자동으로 처리/주입합니다.
• 이제 집계가 중첩 정보를 자동으로 처리/주입합니다.

할 것:

• 쿼리 스타일 선택에 대한 UI 변경 및 kibana 인덱스에서 쿼리로 스타일 선택 저장.
• 파서 오류에 대한 오류 처리 및 UI가 구문 분석 문제/실수를 표시하는 방법
• 쿼리 작성/작성을 위한 UI 유형 미리 지원
• 단위 테스트, 단위 테스트, 단위 테스트...

계획:
내 강점이 아닌 UI 작업에서 최소한의 진전을 얻고 싶습니다. 그런 다음 피드백/기여를 허용하기 위해 HomeAway github 리포지토리에 분기/포크를 푸시할 것입니다. 이 작업이 완료되면 여기에 다시 게시하여 포크를 당겨서 가지고 노는 여러분을 환영합니다. 충분히 다듬어지면 공식 풀 리퀘스트를 생성하겠습니다.

마지막 참고 사항: 이 작업은 Kibana 4.3.1 분기에 대해 수행되고 있습니다.

"include_in_parent" 및 "include_in_root"를 사용하여 선택한 필드를 중첩 문서에서 집계를 실행할 목적으로 최상위 수준으로 복사하는 것에 대한 이전 의견 에 대한 후속 조치로, ES 2.0에서 다른 기능을 제공하는 "copy_to" 기능이 도입되었습니다. 이런 종류의 옵션: https://www.elastic.co/guide/en/elasticsearch/reference/current/copy-to.html
향후 ES 버전에서 "copy_to"를 위해 "include_in_parent" 및 "include_in_root"를 더 이상 사용하지 않는다는 이야기가 있습니다. https://github.com/elastic/elasticsearch/issues/12461 둘 다 사용해 본 경험이 있다면 언제든지 무게를 재다.

+1

빠도바니, 당신이 하려는 일에 감사드립니다. 이 기능은 우리에게 매우 중요합니다
몇 가지 질문:

1. 이해하는데 시간이 걸릴까요? 이 기능을 사용할 수 있는 예상 시간이 있습니까?
2. 누구든지 대안을 시도 했습니까? 중첩된 json(배열)에서 다른 것으로 로그 형식을 변경하는 것과 같습니까? 그렇다면 ELK와 함께 작동하려면 의도한 형식은 무엇이어야 합니까?
3. 이 기능을 달성하는 데 도움이 될 수 있는 다른 제품이 시중에 있습니까? 저는 ELK가 오픈 소스이기 때문에 모두 찬성하지만 그렇지 않을 때까지 Splunk보다 저렴한 것을 원합니다. Loggly, sumologic, logentries, logscape,graylog(splunk만큼 비싸거나 이 기능이 없음)와 같은 많은 옵션을 탐색했습니다.

감사합니다!

1. 누구든지 대안을 시도 했습니까? 중첩된 json(배열)에서 다른 것으로 로그 형식을 변경하는 것과 같습니까? 그렇다면 ELK와 함께 작동하려면 의도한 형식은 무엇이어야 합니까?

스키마를 평면화하거나 ES 매핑 옵션 "include_in_parent" 또는 "copy_to"를 사용하여 일부 필드를 중첩 문서에서 상위 문서로 복사할 수 있습니다. 모든 사용 사례에서 작동하는 것은 아니지만 어떤 경우에는 이를 통해 Kibana를 즉시 사용할 수 있습니다. Elastic에서는 내부적으로 "include_in_parent" 접근 방식을 사용합니다.

1. '작동'하는 분기가 있지만 UI 작업의 형태로 더 많은 TLC가 필요합니다. 제 본업이 아니라서 시간이 날 때만 할 수 있어요.
2. @tbragin 에서 알 수 있듯이 데이터를 병합할 수 있습니다. 그러나 이로 인해 잘못된 쿼리 결과가 발생할 수 있습니다.
3. 현재로서는 대안이 없습니다.

쿼리 언어가 어떻게 생겼는지 더 명확하게 하기 위해 이전 풀 리퀘스트에서 질문을 받았기 때문에 다음은 BNF 요약입니다.

비교: 필드 [=,<,>,<=,>=,~=] 값
~= .. 이것은 LIKE를 나타내므로 차례로 와일드카드 쿼리가 발생합니다.
IN: 필드 IN {value,value,...} 설정 작업
필드 IN [값, 값] 포함/제외에 따라 [ ] 또는 ( )를 사용한 범위 연산
IS: 필드 IS NULL
표현: IS | 인 | 비교
NOT: NOT 표현식
그리고 | OR: 표현식 AND |
EXISTS: EXISTS 표현식
Exists는 중첩 범위 지정이 발생하는 방식입니다. 일반적으로 EXISTS를 사용하지 않고 서로 인접하고 동일한 중첩 경로를 갖는 모든 표현식은 동일한 중첩 쿼리로 결합됩니다. 그러나 EXISTS를 사용하여 중첩된 쿼리 블록을 분리하여 서로의 특정 중첩 쿼리 범위를 지정할 수 있습니다.

앞서 언급했듯이 언어는 JISON에 상응하는 자바스크립트 BISON을 사용하며 거의 노력 없이 필요에 따라 언어를 확장할 수 있습니다.

업데이트:

테스트하고 피드백을 제공하기 위해 모든 사람과 분기를 공유할 수 있게 되었다고 생각합니다. 나는 파서가 작동하고 적어도 구문 피드백이 파서에 대한 단위 테스트뿐만 아니라 작동하고 있습니다. 일부 스크린샷:

이번 주 후반에 지점을 준비할 수 있기를 바랍니다. 준비가 되면 여기에서 브랜치에 연결되고 구문, 사용법 등에 대한 전체 개요가 있는 블로그 게시물에 링크할 것입니다. 제 계획은 브랜치에 대한 피드백을 수집하고, 문제를 수정하고, 요청한 대로 개선한 다음 풀 리퀘스트를 제출하세요.

테스트하고 싶습니다(여기에 K3 https://discuss.elastic.co/t/nested-aggregation-charts/41523에서 중첩 집계를 사용한 예가 있으며, 이 없이 마이그레이션되지 않습니다).

@Robitx 나는 그것이 문제가 될 것이라고 생각하지 않습니다 ... 우리는 적어도 두 가지 수준의 중첩 객체가있는 문서가 있습니다 ... 예를 들면 다음과 같습니다.

A->B->C

단일 A 문서에 하나 이상의 B가 있을 수 있고 각 문서에는 B에 있는 C 목록이 포함되어 있습니다. 각 중첩 문서에는 다양한 유형의 여러 필드가 있습니다. 가장 안쪽에 중첩된 데이터에 대해 히스토그램 또는 다층 원형 차트를 작성할 수 있도록 이 코드를 테스트했습니다.

명확히 하자면 매핑은 pojo에서 자동 생성되며 매우 복잡해질 수 있습니다.

+1

업데이트:

나는 사람들이 내 공식 블로그 게시물이 나타나기를 기다리지 않고 게임을 시작할 수 있도록 이 소식을 알리고 싶었습니다.

포크/브랜치는 여기에서 찾을 수 있습니다:

https://github.com/homeaway/kibana/tree/fullNestedSupport

읽어보기:

https://github.com/homeaway/kibana/blob/fullNestedSupport/NESTED_README.md

README의 내용은 본질적으로 어느 시점에 나타날 블로그 게시물의 내용입니다.

원하는 경우 fullNestedSupport 분기에 대한 문제/풀 요청을 자유롭게 여십시오. 나는 사람들이 발견한 모든 문제를 해결하려고 노력할 것입니다.

+10000

+100500

+100

안녕하세요 빠도바니입니다.

조언 부탁드려도 될까요, 어떻게 하면 좋을까요?

이 필드는 Elasticsearch 매핑에 있지만 검색 결과의 문서에는 없습니다. 여전히 시각화하거나 검색할 수 있습니다.

감사합니다!

안녕하세요 빠도바니님

중첩된 배열로 필드가 있습니다.
"abc":[["3815222235847451","131712121218083052"]]
또는
"abc":[["3815222235847451","131712121218083052","131712121217783052"]]
또는
"abc":[["3815222235847451"]]

값은 1-10일 수 있습니다.

다른 중첩 필드의 경우 이 필드와 이와 유사한 다른 필드에 대해 필드가 인덱싱되지 않았다는 경고가 표시되지만(매핑을 사용해야 한다고 가정합니까?) 각 세트는 별도의 값으로 처리됩니까? 또한 필드 유형이 숫자 대신 "문자열"로 표시되고 있는데, 이는 그 자체로는 문제가 아니지만 abc..의 개별 값을 검색할 수 없다는 의미입니다.

감사합니다!

테스트를 시작하는 데 몇 분이 걸렸습니다. :) :|

Error: [illegal_argument_exception] Invalid format: "1457354016603" is malformed at "6603"
    at respond (http://elastic.dev:5601/bundles/kibana.bundle.js:76155:16)
    at checkRespForFailure (http://elastic.dev:5601/bundles/kibana.bundle.js:76118:8)
    at http://elastic.dev:5601/bundles/kibana.bundle.js:74736:8
    at processQueue (http://elastic.dev:5601/bundles/commons.bundle.js:42333:29)
    at http://elastic.dev:5601/bundles/commons.bundle.js:42349:28
    at Scope.$eval (http://elastic.dev:5601/bundles/commons.bundle.js:43577:29)
    at Scope.$digest (http://elastic.dev:5601/bundles/commons.bundle.js:43388:32)
    at Scope.$apply (http://elastic.dev:5601/bundles/commons.bundle.js:43685:25)
    at done (http://elastic.dev:5601/bundles/commons.bundle.js:38134:48)
    at completeRequest (http://elastic.dev:5601/bundles/commons.bundle.js:38332:8)

@BigData엔지니어
1) - 내 변경 사항에 의해 생성된 메시지가 아니라고 생각하며 이전에 Kibana에 있었던 것일 수 있습니다.
2) - 예.. 값이 문자열로 저장되는 것처럼 보이지만 중첩되지 않았을 수 있습니다. What/if 문제가 존재하는지 이해하려면 인덱스의 매핑이 어떻게 보이는지 확인해야 합니다. 여기에 매핑을 붙여넣으십시오.

@Robitx
나는 이것이 날짜 필드라고 가정합니다 ... Epoch 시간에 너무 많은 숫자가 있습니다. 13이 아닌 10이어야합니다. 발행 한 쿼리를 업데이트/붙여 넣을 수 있습니까?

@파도바니
방금 설정에서 기본 인덱스 패턴을 선택하고 검색 탭으로 돌아갔습니다.

우리는 사용

      "timestamp": {
        "format": "dateOptionalTime",
        "type": "date"
      }

K 4.4.1+ES 2.2는 잘 작동합니다. K 4.3에만 해당될 수 있습니다(이 버전은 이전에 시도한 적이 없습니다).

@Robitx
사용된 쿼리를 찾고 있습니다... 아니면 전달된 쿼리가 UI의 표준 날짜 창이고 쿼리를 지정하지 않았다는 말씀이신가요? 나중에 Kibana 릴리스에 대해 변경 사항을 리베이스하고 분기가 업데이트되면 다시 게시하겠습니다.

@ppadovani 네 그냥 * 그리고 약간의 시간 범위

시각화 섹션의 중첩된 개체에 대해 +1

@Robitx
당신이 실행한 그 작업은 내 파서 코드에 적중하지 않았습니다... 그래서 그게 내가 한 일 때문인지 의심스럽습니다... 내 설정은 K 4.3.1 + ES 2.1.1입니다. - 내 ES를 2.2로 업그레이드하고 동일한 동작이 발생하는지 확인한 다음 분기를 K 4.4.1로 리베이스하겠습니다.

방금 ES 2.2.1 w/ K 4.3.1 + 내 코드로 업그레이드했습니다... 재현할 수 없습니다.

나는 여전히 4.4.1로 리베이스할 것입니다 - 현재 릴리스는 분기가 준비되면 이 게시물을 업데이트할 것입니다.

업데이트:

새 분기에서 4.4.1로 재기반: https://github.com/homeaway/kibana/tree/nestedSupport-4.4.1

ES 2.2.0 및 K 4.4.1에서 테스트됨

안녕하세요 빠도바니입니다.

이전 질문에 대해서는 생략하겠습니다. 저는 이미 AWS에 (매핑과 함께) 탄력적 검색 인스턴스가 있고 이것을 연결하려고 합니다. 그러나 UI의 kibana 서버 상태는 다음과 같습니다.

plugin:elasticsearch 이 Kibana 버전에는 모든 노드에 Elasticsearch ^2.1.0이 필요합니다. 클러스터에서 다음과 같은 호환되지 않는 노드를 찾았습니다. Elasticsearch v1.5.2 @ undefined (undefined)

나는 여전히 https://github.com/homeaway/kibana/tree/fullNestedSupport를 사용하고 있으며 귀하가 제공한 최신 버전이 아닙니다. 1.5.2와 호환되도록 할 수 있습니까?
사려 깊은 조언.

감사합니다!!

@파도바니
이것이 가능하지 않을 수도 있다는 점을 이해할 수 있지만, 우리는 뒤로 가고 있기 때문에 Amazon Elasticsearch Service는 최신 버전으로의 업그레이드에 그다지 열성적이지 않습니다. 이는 이해할 만합니다. 그래서 나는 우리가 가진 모든 것을 가지고 일해야 합니다. 우리는 AWS 인스턴스 설정(여러 노드의 로그 전달, 스트리밍 이벤트 및 기타 세부 정보 포함)에 많은 노력을 투자했으며 별도의 플랫폼에서 모든 것을 처음부터 다시 발명하는 것은 선택 사항이 아닙니다. 이것을 추가 프론트엔드로 연결할 수 있으면 좋을 것입니다. 라인 아래에 또 다른 장애물이 있을지 확신이 서지 않습니까?

감사 해요!!

@BigData엔지니어
이전 버전의 Kibana 코드를 살펴본 후 변경 사항을 시도하고 적용할 수 있는 첫 번째 버전은 4.1.6입니다. 그러나 코드의 상당한 재작성/리팩터링/재구성이 있었고 단순히 해당 분기를 패치할 수 없습니다. 내 코드를 입력하고 작동시키려면 상당한 양의 작업이 필요합니다.

솔직히 Kibana 팀이 각 릴리스와 같이 필요한 탄력적 버전을 구성하는 이유를 모르겠습니다. REST 인터페이스는 자주 변경되지 않습니다. 나는 그들이 사용자가 탄력적 클러스터를 업그레이드하도록 강요하기 위해 그렇게한다고 추측합니다.

한 가지 생각으로 src/plugins/elasticsearch/index.js의 버전을 27행 부근에서 변경해 볼 수 있습니다.

@파도바니
그것은 효과가 있었다. 감사 해요.

+1

@ppadovani 안녕하세요, 4.4.1 버전으로 업그레이드해주셔서 감사합니다. 더 빨리 응답하지 못해 죄송합니다(이전 의견 중 하나에서 업데이트를 놓쳤습니다).

지금은 작동하고 있지만 가장 먼저 확인한 것은 성능 문제와 때때로 kibana가 완전히 멈춘다는 것입니다(더 복잡한 쿼리는 테스트할 수 없었습니다).

이 문제에 기여할 수 있는 몇 가지 사항이 있으며, 그 중 하나는 일일 색인의 여러 필드입니다(수백 개 http://pastebin.com/fktN0dR5).

@Robitx 내 변경 사항 없이 기본 4.4.1 K 코드와 동일한 문제가 있습니까? 아니면 내 변경 사항으로만 적용됩니까? 매우 큰 인덱스 패턴이 K에게 심각한 성능 문제를 일으킨다는 것을 알고 있습니다. 제 코드에만 해당된다면 그것이 무엇인지 알 것 같습니다. 하루 정도 공기를 마시러 올 때 살펴보겠습니다.

@ppadovani base K 4.4.1에는 이 문제가 없습니다.

이 문제 가 해결 1년 ...

젠장, elasticsearch에는 "중첩된 개체" 기능이 꽤 필요했으며 동일한 개발자의 Kibana는 여전히 이 기능을 지원하지 않습니다.

이 기능을 이미 구현했지만 적절한 지원과 함께 기본 소스 코드에 병합되지 않은 포크가 있습니다.

그리고 우리는 여전히 "중첩된 개체"를 지원하는 KIbana의 프로젝트 스톡 버전에서 사용할 수 없습니다.

젠장 굉장해!!!

@ppadovani fork에 대한 작업에 큰 감사를 드립니다=)

@Robitx Kibana 가 언제 멈추는지 알려

검색/시각화 탭을 표시할 때 기여했을 수 있는 한 가지 문제를 수정했습니다... 수정 사항을 푸시했습니다. 다시 테스트하십시오.

@rashidkpc 이 작업을 기반으로 pull 요청을 생성할 준비가 되었습니다. 어떤 브랜치를 기준으로 작업을 리베이스해야 하는지 알려주실 수 있나요? 나는 현재 4.3.1, 4.4.1 및 4.x에 대해 그것을 가지고 있습니다. (4.x가 가깝지만 단위 테스트를 실행하는 데 문제가 있습니다. 테스트 클러스터가 시작되지 않습니다...)

헤이 갱 (cc @ppadovani)

https://github.com/elastic/kibana/pull/5411 에서 언급했듯이 Elasticsearch 자체에는 여러 제한 사항이 있습니다. 특히 중첩된 aggs/filters가 자동이 아니고 lucene 쿼리 구문이 중첩 검색을 지원하지 않는다는 점입니다. 여기에서 취한 접근 방식은 문제를 해결하기 위한 다른 경로를 도표화하지만 우리가 가고자 하는 방향은 아닙니다. 이것은 좁은 문제에 대한 해결책이지만 Kibana가 광범위한 문제를 해결하기를 바랍니다. 이 경우 더 큰 승리를 위해 작은 승리를 희생하는 것을 의미합니다.

Kibana용 언어에 대한 가능성을 고려하고 있지만 기능 세트가 무엇인지 정확히 결정하지 않았으며 중간 또는 단일 목표를 염두에 두고 수행하고 싶지 않습니다. Elasticsearch와 Kibana 모두에서 몇 가지 전술과 기능 세트를 고려하고 있지만 아직 형성 단계에 있습니다. 시간이 지남에 따라 timelion과 같은 검색, 변환 및 시각화가 포함되기를 원하며 그렇게 할 때 중첩 문서를 쿼리한다는 아이디어를 확실히 염두에 둘 것입니다.

나는 이것이 중첩된 경로를 저장하지만 우리는 캐시된 매핑 https://github.com/elastic/kibana/pull/6648을 제거하고 Elasticsearch: https://github.com/elastic 에서 새로운 API로 대체하고 있다는 점에 주목했습니다.

지금은 include_in_parent 또는 copy_to 사용하는 @tbragin의 접근 방식을 사용하는 것이 좋습니다. 집계의 90%에 대해 이 접근 방식은 완벽하게 작동합니다.

이 솔루션이 include_in_parent 또는 copy_to 사용할 수 없는 사람들을 위해 작동하고 있어 기쁩니다. @ppadovani 가 성취한 것에 깊은 인상을 받았습니다. 플러그인으로 구현된 이와 같은 것을 보고 싶습니다. 현재 쿼리 입력은 기본적으로 어쨌든 2가지 종류의 쿼리를 필요로 합니다. 아마도 이를 플러그형으로 만드는 방법을 찾을 수 있을 것입니다.

안녕하세요. 저는 이에 대해 Rashid와 이야기를 나눴고, 중첩 매핑에 Kibana를 사용하려는 사용자의 고통을 느끼지만 보다 일반적인 방식으로 지원하는 것(Elasticsearch 레벨 자체의 추가 기능을 의미할 수 있음)이 앞으로 나아갈 길입니다. 이는 Kibana에 필요한 유연성을 유지합니다. 이 제안된 변경 사항을 가져오면 중첩을 지원하지 않는 단기적인 문제를 해결할 수 있지만 향후에는 문제가 될 것입니다.

저는 여기에서 Kibana가 중첩을 지원해야 할 필요성을 느끼고 있습니다. 그러나 이것은 해결 방법이 명확하지 않은 경우 자연스럽게 느껴지는 솔루션이 나올 때까지 미해결 상태로 두는 것이 더 나은 경우 중 하나입니다. 우리는 계속해서 다른 곳에서 채팅한 것 중 하나가 ES 자체에서 중첩(래핑 등)을 자동으로 지원한다는 사실을 계속 탐구해야 합니다.

이 문제가 우아하게 해결되는 것을 보니 흥분이 됩니다.

+1

+1

IMHO 저는 Kibana 유지 관리자의 입장에 정중하게 동의하지 않을 수 없습니다. 그러나 우리가 이 라인을 따라 무언가를 Kibana에 연결할 수 있는 방법을 찾을 수 있다면 나는 그것을 위해 최선을 다할 것입니다.

그동안 내가 만든 버전을 계속 사용하려는 사람들을 위해 포크/브랜치의 버그를 계속 유지하고 수정할 것입니다. 향후 라이브 BI 분석 대시보드에 이 기능을 광범위하게 사용할 것임을 알고 있습니다.

가축. 애완 동물이 아닙니다.

+1 :)
Kibana에서 Nested 객체를 사용하는 것이 좋을 수 있습니다!! (누군가 플러그인이 있는지 없는지?...)

+1

+1

+1

@tbragin 언급한 접근 방식은 중첩 유형에서 작동하지 않습니다. 유형에 관계없이 모든 데이터를 집계합니다.

+1

+1

+1

+1

이 기능은 정말 간단합니다. 지원되지 않을 뿐만 아니라 개발자가 지원할 계획이 없다는 사실에 실제로 충격을 받았습니다. 젠장, 프로젝트 관리자와 이야기하고 @ppadovani 를 고용하여 플러그인을 직접 만들지 않을 경우 플러그인을 만드십시오.

중첩된 개체가 없으면 내 프로젝트가 상당히 방해되므로 +1

이 문제를 우회하는 방법으로 비정규화에 대한 토론을 찾는 사람: 중첩 개체 및 상위/자식에 대한 Kibana의 누락된 지원 해결

Elastic 사용자가 지원되지 않는 기능을 구현하는 데 시간을 낭비하지 않도록 이 문제와 관련하여 사이트에 면책 조항이 있으면 좋을 것입니다. 왜요? Kibana 제품 페이지에 "ElasticSearch와의 원활한 통합"이라고 표시 되어 있는데 여기에서는 사실이 아닙니다. :)

참고로 위의 토론에서 참조한 내 코드의 분기는 오래되었습니다. 현재 분기는 다음과 같습니다.

https://github.com/homeaway/kibana/tree/nestedSupport-4.x

내부적으로 적극적으로 사용하고 있으며 내부 버전을 계속 업데이트하고 있습니다. 관심이 있는 경우 github 버전을 업데이트할 수 있습니다.

피에르

+1

+1

+1

+1

+1

+1

나는 1년 전에 이것을 +1한 것을 기억합니다. 그리고 그 이후로 Kibana 개발 팀은 치유를 파헤치는 것 외에는 아무 것도 하지 않았고 대부분 사용자를 무시했으며 마침내 발이 불에 닿았을 때 더-또는- 덜 "NO", "자연스럽지 않다".

또한 다음과 같이 요청된 여러 기능에서 이 패턴을 볼 수 있습니다.

• OS 측 그루비 스크립트 호출 지원.
• ES Scripted Metric Aggregations(가중 평균 계산에 특히 유용)를 사용할 수 있도록 지원합니다.
• 등등...

이 모든 것은 (Elastic)이 Kibana의 Elasticsearch에서 더 많은 기본 기능을 지원할 것이라고 명시된 전체 Elastic Stack 5 비전에 대한 입장과 반대입니다. 그러나 나는 이러한 주장을 뒷받침하는 것을 거의 보지 못했습니다.

결과적으로 나는 Kibana가 Siren's Kibi와 같은 포크에 기반을 잃고 있는 것을 보고 있습니다. Siren's Kibi는 이 주제와 같은 항목에 대해 횃불을 들고 해결책을 내놓기로 결정했습니다.

훌륭한 시각화 도구를 제공한 Kibana 개발자들에게 감사드립니다. 그러나 Elastic은 Kibana가 단순한 시각화 도구로 남을지 아니면 커뮤니티의 의견을 듣고 유용성을 확장할지 결정해야 합니다. 결정이 전자라면 다른 사람들이 이러한 단점을 이용하기로 결정할 때 사용자가 떠날 것으로 예상합니다.

+1

@cslinuxboy

OS 측 그루비 스크립트 호출 지원.

여기에서 다루는 대부분의 사용 사례는 https://github.com/elastic/kibana/pull/7700에서 해결됩니다

ES Scripted Metric Aggregations 사용 가능 지원

나는 이에 반대하는 사람이 없다고 생각합니다(적어도 여기 https://github.com/elastic/kibana/issues/2646에서는 반대가 없습니다). 사실 Elasticsearch가 추가했기 때문에 지금이 추가해야 할 때입니다. 고통 없는 스크립팅 언어. 정말 시간을 찾는 사람의 문제입니다.

+1

+1

+1

다시 포크 작업을 시작합니다. 커뮤니티에 사과하고 싶습니다. 저는 한 달 정도 전까지 포크에 대한 문제를 설정하지 않았으므로 아무도 버그가 있다는 것을 표시할 수 없었을 것입니다. 수정되었습니다.

현재 분기: https://github.com/homeaway/kibana/tree/nestedSupport-4.5.4

구현하려는 순서대로 업데이트:

• 쿼리 파서에 날짜 오프셋 지원 추가
• 결과를 볼 때 중첩 필드에 대한 검색 지원 추가 - 완료
• 상위/하위 쿼리 및 집계에 대한 지원 추가
• 쿼리에 대한 지리적 모양 유형 지원 추가(예: 포인트, 상자 등) 이것은 내부 언어에 대한 최근 개선 사항의 포트입니다.
• 쿼리 필드의 필드 이름에 자동 완성 추가
• 나는 시도하고 Elasticsearch에서 반환하는 중 스택 트레이스를 일으키는 잘못된 쿼리의 두통을 해결하기 위해 기존의 Elasticsearch 간단한 쿼리 언어에 대한 파서를 만들거나 결과가 왜 표시와 함께 반환 될 수 있습니다. 이 작업을 수행하면 위의 작업을 완료한 후 작업이 수행됩니다. 이렇게 하면 Kibana 측의 언어에 중첩 및 부모/자식 지원을 추가하는 방법을 살펴보겠습니다.

Kibana 팀이 커뮤니티에 귀를 기울이지 않고 있다고 지적한 사람들에게 제 목소리를 더하고 싶습니다. Kibana 팀은 Kibana를 "순수"하게 유지하기 위해 공백이 있는 경우 필요한 기능을 제공하기 위해 Elasticsearch에 단순히 의존할 수 없습니다 . 시장 점유율은 그런 식으로 얻는 것이 아니라 잃는 것입니다.

+1

+1
@Bargs : 이 문제에 진전이 있습니까? 이 문제가 언제 해결/우선순위 지정됩니까?
실이 엄청 길어요....키바나같은 제품에는 안맞아요..
귀하의 노력에 감사드립니다.

짜증난다 :-(

homeway는 Kibana 4.3.1에서 aggs 및 쿼리 지원 빌드를 중첩했습니다. 확인해 보세요. 도움이 되기를 바랍니다.

https://github.com/homeaway/kibana/tree/nestedSupport-4.x

@ankitchheda 나도 알고 있지만 메인 프로젝트의 철학에 반하는 소수의 사람들이 유지 관리하는 포크(무거운 개발 중)는 해결책이 아니며 아무에게도 도움이 되지 않는 척합니다..

그것에 대해 뭔가를 하고 싶지만 시간이 없기 때문에 지금은 최소한 압력을 가하려고 노력하고 개발자가 이 문제를 무시하지 않기를 바랍니다.

+1

참고 - 중첩 지원을 위해 유지 관리하는 포크는 이제 다음 버전을 지원합니다.

4.5.X
4.6
4.7
5.X

주요 개발자의 '철학'을 따르지 않을 수도 있지만 잘 작동하고 작동합니다.

나는 이것에 대해 막 달려왔다. 그것은 약간의 단점이며 실행 가능한 솔루션이 있으면 정말 유용할 것입니다.

@tbragin , @rashidkpc - 제안된 해결 방법이 요점을 놓치고 있습니다.
중첩된 개체와 함께 뭔가를 - 하지만 잘못된 결과를 얻습니다! 중첩
집계는 다른 결과를 제공합니다(약간의 작업 예제를 수행하고 나중에 여기에 게시할 것입니다).

@ppadovani의 포크를 테스트하겠습니다.

+1

:거북이::대시:

@Bargs Hey는 포크 손상에서 기본 기능의 성능으로의 변경 사항입니까?

+1

+1

+1

+10086

+1

+1

+1

include_in_parent는 여전히 ES 및 Kibana 5.2에서 작동합니까? 나는 성공하지 않고 대안으로 사용하려고했습니다.

@gustavomr 작동할 것이라고 생각하지만 특정 사용 사례에만 해당됩니다. 중첩 쿼리/집계가 제공할 수 있는 모든 가능한 쿼리 사용 사례에는 작동하지 않습니다.

참고: Kibana의 5.1 포크는 이제 검색 아이콘 옆에 있는 토글을 사용하여 기본 탄력적 단순 쿼리 언어와 내가 포함시킨 중첩 쿼리 언어 간에 전환합니다. 또한 중첩 필드에 대한 메트릭과 관련된 다양한 문제를 수정했습니다.
https://github.com/homeaway/kibana/tree/nestedSupport-5.1

@ppadovani 이렇게 해주셔서 정말 감사합니다. 새 쿼리 언어를 만드는 작업과 kibana에서 중첩 개체를 활성화하는 작업을 분리할 수 있습니까? 이들이 별도의 분기가 될 수 있는 경우 전자를 사용하고 두 기능을 병합할 필요 없이 새로운 kibana 릴리스가 나올 때 이를 병합할 수 있습니다.

또한 이 포크에 대해 이미 도커가 생성되어 있습니까?

포크용 도커 컨테이너의 경우 @ppadovani +1입니다.

@gkozyryatskyy - 포크에서 이슈를 열어주세요. 제가 살펴보겠습니다.

@imranq2 - 이 작업을 수행할 수 있지만 간단한 탄력적 쿼리 언어는 중첩 쿼리를 지원하지 않습니다. 중첩 데이터가 있고 쿼리하려는 경우 쿼리를 Elasticsearch json blob으로 직접 빌드하고 쿼리 상자에 붙여넣어야 합니다.

+1

내 포크는 이제 nestedSupport-5.2 분기에서 5.2를 지원합니다.

@ppadovani 멋지네요 ! 이를 위한 도커 컨테이너를 만드는 데 도움이 필요하면 알려주십시오.

도커 컨테이너를 완료하지 않았지만 검색 탭과 중첩된 데이터를 표시하는 방법을 가지고 놀 시간이 있었습니다... 중첩된 지원 문제를 모니터링하는 사람들로부터 피드백을 찾고 있습니다. 테이블은 재귀적이며 중첩 필드에 대한 필터는 잘 작동하는 것 같습니다. 그러나 열의 토글 필드는 아직 작동하지 않습니다... 나는 여전히 그것이 작동해야 하는 방법/경우에 대해 생각해야 합니다.

참고 - 이 작업은 기본적으로 완료되었으며 지원되는 모든 포크/분기에는 nestedSupport-4.5.4부터 nestedSupport-5.2까지 변경 사항이 있습니다.

@Bargs - 내가 한 중첩 작업 중 어느 것도 여러분이 끌어들이
https://github.com/homeaway/kibana/issues/12

이것이 여러분이 원하는 것이라면 알려주시면 문제를 열고 패치를 포함하겠습니다.

@ppadovani 재미

@ppadovani 저는 이것을 사용할 수 있도록 지금 도커 컨테이너를 만들고 있습니다. http://staging.elastic.co/ $(VERSION_TAG)/downloads/kibana/kibana-${ELASTIC_VERSION}-linux-x86_64.tar.gz와 같이 생성된 타르 볼이 이미 있습니까? 그렇다면 도커 컨테이너로 가져올 수 있습니다. 그렇지 않으면 분기를 만들고 tarball을 만들어야 합니다.

@imranq2 내 포크의 배포판을 제공하지 않으므로 직접 빌드해야 합니다.

참고 - 관심 있는 사람들을 위해 검색 탭에서 중첩 데이터를 지원하기 위한 풀 요청을 만들었습니다.
https://github.com/elastic/kibana/pull/10814

+1

나를 위해 +1
동료를 위해 +10

+1

+1

+1

+1

+1

+1

+1. ELK5에서 지원되나요?

+1

중첩된 객체를 지원하지 않는 것이 실제로 우리 회사에서 kibana의 광범위한 채택에 장애물이 되기 때문에 이것은 실제로 요구 사항입니다. 일반 API를 통해 보다 영리한 검색을 위해 중첩 문서가 있는 kibana 및 중첩 문서가 있는 또 다른 색인을 생성해야 하기 때문입니다.

+1
내 매핑에서는 인덱스 속성의 "폭발" 가능성을 방지할 수 있습니다.

+1

+1

+1

이 스레드를 구독하는 모든 사람들에게만 스팸을 보내는 +1 댓글 게시를 중지하세요. 대신, 이 호의 상단에 있는 큰 노란색 "좋아요" 버튼을 클릭하여 찬성하십시오.

+1

Kibana 개발자 여러분, 제발 뭔가를 하십시오. 대부분의 경우 중첩된 객체 없이 Kibana를 사용하는 것은 쓸모가 없습니다. 중첩된 개체 없이 버전 6.x를 준비 중입니다...

우리 시스템은 주택에 대한 텍스트를 스캔한 다음 결과를 ES에 저장합니다. 따라서 ES에는 주택 배열이 있는 주요 문서가 포함되어 있습니다. 집은 중첩된 개체입니다.

시각화를 사용하여 텍스트에서 찾은 주택 분석이 포함된 대시보드를 만들 수 없습니다.
제발 좀 해주세요. 집들이 불타고 있습니다.

필사적으로 kibana에서 중첩 개체를 사용해야 합니다. 이것이 내장형으로 제공되지 않는 것이 아쉽습니다.

███████╗████████╗██╗██╗     ██╗         ██╗    ██╗ █████╗ ██╗████████╗
██╔════╝╚══██╔══╝██║██║     ██║         ██║    ██║██╔══██╗██║╚══██╔══╝
███████╗   ██║   ██║██║     ██║         ██║ █╗ ██║███████║██║   ██║   
╚════██║   ██║   ██║██║     ██║         ██║███╗██║██╔══██║██║   ██║   
███████║   ██║   ██║███████╗███████╗    ╚███╔███╔╝██║  ██║██║   ██║   
╚══════╝   ╚═╝   ╚═╝╚══════╝╚══════╝     ╚══╝╚══╝ ╚═╝  ╚═╝╚═╝   ╚═╝   

+1

+1

+1

+1

+1

+1

+1

+1

+1

+1

여기 또 하나!

내 Kibana 포크를 중첩 지원과 함께 사용했을 수 있는 사용자를 위해 Kibana 릴리스 5.4.x 이후 해당 포크에 대한 지원을 중단합니다. 대신 모든 기능은 아니더라도 대부분의 기능을 Kibana 플러그인으로 이동할 것입니다. 올해 말까지 최신 5.x 릴리스에 대한 플러그인을 준비할 수 있기를 바랍니다. 여기에서 진행 상황을 확인할 수 있습니다. https://github.com/ppadovani/KibanaNestedSupportPlugin

이제 막 작업을 시작했기 때문에 몇 주 동안 중요한 것이 나타날 것이라고 기대하지 마십시오.

+1

+1

+1

+1

+1

중첩 지원 플러그인에서 수행 중인 작업에 대한 스크린샷과 상태 업데이트가 게시되었습니다. 상태 업데이트를 받으려면 문제를 시청하세요.

스크린샷 및 업데이트

저는 Kibana 5.6.5를 지원하는 1.0.0 시험판을 출시했습니다.

초기 시험판에 있는 내용에 대한 자세한 내용은 이 문제를 참조하십시오. 스크린샷 및 업데이트

V1.0.0-베타1

내 플러그인은 Kibana 버전 5.6.5에 대한 완전한 기능입니다. 몇 가지 정리 작업이 있습니다. 그런 다음 5.6.5 버전을 잘라내고 6.1.X로 포팅을 시작하겠습니다.

특징:

• 중첩 쿼리 지원
• 중첩 집계 지원
• 검색 결과 중첩 지원
• 요약 필드 표시 우선 순위 검색(실제로는 새로운 기능입니다)

자세한 내용은 README 를 참조하십시오.

내 플러그인이 출시되었습니다! 5.5.3, 5.6.5 및 5.6.6을 지원합니다. 이번 주말에 6.0.X로 포팅할 예정입니다.

더 이상 이 문제에 대한 상태를 업데이트하지 않을 것입니다. 릴리스, 문제 등을 보려면 내 GitHub 페이지를 방문하십시오.

감사 해요!

@ppadovani 덕분에 5.4.0 지원 버전을 출시할 수 있습니다.

@ppadovani 6.0.x 포트를 지켜보겠습니다!

@SolomonShorser-OICR
6.0.1 베타 1 빌드를 출시했습니다.

유일하게 알려진 제한 사항은 lucene 쿼리 언어에서만 작동하도록 하드 코딩되어 있기 때문에 필터 막대가 작동하지 않는다는 것입니다. 나는 그 문제를 해결하기 위해 노력하고 있지만 다음 주말까지 해결책이 없을 수도 있습니다.

이제 6.0.1용 플러그인 빌드를 릴리스했으며 다음은 6.1.x입니다.

@파도바니
귀하의 작업과 6.0.1 릴리스에 감사드립니다!

kibana 6.0.1을 기반으로 이 플러그인을 설치한 후 일부 kibana 기능이 제대로 작동하지 않습니다.

timelion을 클릭하면 오류 메시지가 표시됩니다.

x-pack이 설치된 경우 일부 x-pack 기능 "discover"에는 "Foreach"에 다른 오류 메시지가 있습니다.

안녕하세요 Kibana 팀, 왜 아직 하지 않았습니까?

@sccds - 이 버그 보고서를 내 GitHub

https://github.com/ppadovani/KibanaNestedSupportPlugin/issues/27

누군가 내 플러그인에 문제가 있으면 내 저장소에서 문제를 열고 여기에서 대화를 시작하지 마십시오. 이 문제는 구독자가 너무 많습니다.

@Hronom - 생각에 감사하지만 내 강점은 Javascript가 아닙니다.... 비록 이 플러그인을 구축하고 Kibana를 해킹한 것이 그 분야에서 제 능력에 확실히 도움이 되었지만.

참고로 내 플러그인은 이제 Kibana 릴리스와 함께 최신 상태입니다. 6.1.2 지원을 출시했습니다.

@ppadovani 감사합니다, 계속

+1

+1

+1 안녕하세요, Tomitribe는 이 기능에 매우 관심이 있습니다. 이 기능이 언제 구현되는지 아십니까?

@ppadovani 기능에 대해 어디에서 물어볼 수 있습니까? 데이터 테이블의 중첩 집계로 어려움을 겪고 있습니다.

@bumerankkk 여기로 이동하여 문제를 엽니다. https://github.com/ppadovani/KibanaNestedSupportPlugin

또는 질문과 일치하는 문서 페이지 중 하나로 이동하여 페이지 하단에 설명을 추가할 수 있습니다.

https://ppadovani.github.io/knql_plugin/overview/

이 작업이 활발히 진행되고 있습니까? 그러한 기능이 언제 프로덕션 릴리스를 경험할 것인지에 대한 일정이 있습니까?

생일 축하합니다 🎂 '중첩 유형 집계', 🎁

이제 당신은 이미 네 살이 되었습니다. 얼마 전까지만 해도 당신은 너무 작고 귀여웠습니다.
당신이 성장하기를 희망하고 우리는 미래에 공동의 좋은 해를 갖기를 바랍니다.

최고의 말루

+1

+1

+1

+1

+1

+1

+1

이것이 아직 구현되지 않은 이유

이유는 이 기능을 사용하면 유청에 디스크 스레드가 없고 재미도 없고 아무도 키바나의 github에 가지 않을 것입니다. 이것은 일종의 신호입니다.

최신 엘크 버전은 중첩 데이터를 올바르게 지원합니다.

El El mié, 2018년 6월 6일 오전 22시 8분, Eugene [email protected]
기록:

이유를 말하자면, 이 기능을 사용하면 유청에 디스 스레드가 없고 재미도 없고
아무도 키바나의 github에 가지 않을 것입니다. 이것은 일종의 비콘입니다.

—
당신이 댓글을 달았기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/elastic/kibana/issues/1084#issuecomment-395214259 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AMK55lokgriJHhPF5EuBN6yREr5-dT4-ks5t6ETAgaJpZM4Bru7J
.

@javixeneize 여기 6.2.4 버전에 앉아 있습니다. 중첩된 개체 지원을 찾을 수 없습니다. 잘못된 경우 수정해 주세요.

해당 버전이 있고 ab에 액세스할 수 있습니다. 여기서 내 구조는 {Id:xx,
a: {b:xx}}

El El mié, 2018년 6월 6일 오전 22시 18분, Eugene [email protected]
기록:

@javixeneize https://github.com/javixeneize 저는 여기 6.2.4에 앉아 있습니다.
버전, 중첩 개체 지원을 찾을 수 없습니다. 잘못된 경우 수정해 주세요.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.

이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/elastic/kibana/issues/1084#issuecomment-395216828 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AMK55tPrh5Qi8m7PyHbQatkRAw8qj4RGks5t6EcKgaJpZM4Bru7J
.

@javixeneize 다음 매핑이 type : nested 입니까?
GET /index-name 매핑을 얻을 수 있습니다.

{
  "document": {
    "properties": {
      "locations": {
        "type": "nested",
        "properties": {
          "name": {
            "type": "keyword"
          },
          "popularity": {
            "type": "long"
          }
        }
      }
    }
  }
}

내일 확인하겠지만 기본 구성이 있습니다.

El El mié, 2018년 6월 6일 오전 22시 24분, Eugene [email protected]
기록:

@javixeneize https://github.com/javixeneize 다음 매핑이 있습니까
유형: 중첩?
GET /index-name으로 매핑을 얻을 수 있습니다.

{
"문서": {
"속성": {
"위치": {
"유형": "중첩",
"속성": {
"시작하다": {
"유형": "긴"
},
"끝": {
"유형": "긴"
},
"정규화": {
"유형": "키워드"
},
"원래의": {
"유형": "키워드"
}
}
}
}
}
}
}

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/elastic/kibana/issues/1084#issuecomment-395218644 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AMK55npNY8uTVUPgVIbjXfAXSB5tPwDwks5t6EikgaJpZM4Bru7J
.

@javixeneize 미리 감사드립니다!
기본 문서에 병합된 하위 json 개체가 있을 수 있지만 이것은 중첩 개체가 아닙니다.

예, @javixeneize 해당 필드에 대한 매핑을 ES에서 중첩으로 구체적으로 설정하지 않는 한 데이터가 예상대로 상관 관계가 없습니다.

https://www.elastic.co/guide/en/elasticsearch/reference/current/nested.html

주요 문제 중첩 개체의 각 필드는 배열이 되고 속성 간의 상관 관계가 손실됩니다.

지금은 es에 덤프하기 전에 데이터를 평면화했습니다.

Elastic이 이를 구현할 때까지 기다릴 수 없다면 내 Kibana 플러그인을 사용할 수 있습니다.

개요:
https://ppadovani.github.io/knql_plugin/overview/
설치:
https://ppadovani.github.io/knql_plugin/installation/
쿼리 언어(SQL 유사):
https://ppadovani.github.io/knql_plugin/knql/

5.5.3부터 6.2.4까지 지원, 버전이 없는 경우 5.5 이후에는 문제를 여십시오.
https://github.com/ppadovani/KibanaNestedSupportPlugin

기여, 기능 요청 및 버그 보고서를 환영합니다.

알았어 그럼 기다려야지...

El El jue, 2018년 6월 7일 오전 0시 38분, 피에르 파도바니 알림 @github.com
기록:

Elastic이 이를 구현할 때까지 기다릴 수 없다면 내 Kibana를 사용할 수 있습니다.
플러그인:

개요:
https://ppadovani.github.io/knql_plugin/overview/
설치:
https://ppadovani.github.io/knql_plugin/installation/
쿼리 언어(SQL 유사):
https://ppadovani.github.io/knql_plugin/knql/

5.5.3 ~ 6.2.4 지원, 버전이 없는 경우 5.5 이후
문제 열기:
https://github.com/ppadovani/KibanaNestedSupportPlugin

기여, 기능 요청 및 버그 보고서를 환영합니다.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/elastic/kibana/issues/1084#issuecomment-395246977 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/AMK55q36DWICC4QoNald5fO7rCBnLdTgks5t6GgJgaJpZM4Bru7J
.

+1

+1

+1

+1

+1

+1

매우 유용한 기능... +1

Kibana는 이 지원이 없으면 내 사용 사례에 전혀 쓸모가 없습니다. 내 데이터를 병합하거나 재구성할 필요가 없습니다. 데이터를 입력하고 시각화 또는 집계를 가져올 수 있어야 합니다. 4년이 지난 후에도 여전히 중첩 개체 지원이 없습니까?

이 기능을 사용할 수 있을 때 예상할 수 있습니까?

Elastic의 누군가가 이 기능이 Kibana에 추가되는지 여부를 알려주시겠습니까? 이 티켓은 이제 거의 5년 동안 열려 있습니다.

또한 Kibana에서 사용할 수 없는 경우 이러한 기능을 출시하는 의미가 무엇입니까?

오해는 하지마세요 근데 기분이 좀 이상해요.

+1

+1

@dayotoro @berkoaviv @yechanpark @mackermann2 @mahnejo @bphenriques

+1 댓글과 같은 댓글을 추가하지 마세요. 특히 당신이 진정으로 걱정하는 문제에 대해! 알림이 켜져 있는 사람은 누구나 쉽게 짜증을 내며 스레드에서 구독을 취소할 수 있습니다. 즉, 기여자는 참여하는 참가자 수에 따라 이것을 중요한 문제로 보지 않을 것입니다. 사람들이 구독을 취소하면 이 숫자가 줄어듭니다.

대신 오른쪽 상단 모서리에 있는 상자를 통해 스레드를 구독하고 초기 Github 문제에 엄지손가락을 올려 지원을 표시해야 합니다.

@bugs181 이것은 여기에서 작동하지 않습니다. 이 문제는 변칙적이며 들어오는 모든 파도를 흡수합니다. 이제 5년 동안입니다!

나는 과학자들이 이 블랙홀을 탐험해야 한다고 생각합니다!

Kibana의 개발자들은 비정상적인 힘을 가지고 있는 것 같습니다!!!

@bugs181 이것은 여기에서 작동하지 않습니다. 이 문제는 변칙적이며 들어오는 모든 파도를 흡수합니다. 이제 5년 동안입니다!

그들에게 가치 있는 정보를 찾기 위해 수많은 "나도 +1" 댓글이 달린 전체 문제를 읽고 싶지 않다고 생각한 적이 있습니까?

@ppadovani 에는 사용할 수 있는 오픈 소스 플러그인이 있습니다(위의 주석 참조).

@mika76
이것을 사용하고 있습니다.

간단한 경우에 매우 유용

@mika76 은 시간 제약으로 인해 현재 적극적으로 유지 관리되지 않는다는 점에 유의하십시오.

ppadovani가 28일 전에 댓글을 남겼습니다.
안녕하세요 여러분... 저는 일과 삶으로 인해 시간이 심하게 제한되어 있음을 발견했습니다. 또한 부분적으로 개선할 수 있었음에도 불구하고 Kibana 팀이 React로 이전하면서 변경한 사항은 대부분 제가 수행한 작업의 많은 부분을 다시 작성해야 합니다.

@mika76 예, 이 플러그인은 현재 작동하는 중첩 개체를 가져오는 유일한 방법입니다.
하지만 나에게 이상한 점은 Elasticsearch는 중첩 객체에 대한 공식 지원이 있지만 Kibana는 지원하지 않는다는 것입니다.

@bugs181에서 언급했듯이 현재 적극적으로 유지 관리되지 않으며 이는 최신 버전의 ELK 스택으로 업그레이드할 수 없음을 의미합니다.

따라서 공식적인 지원은 적절한 유지 관리도 의미합니다. 그러나 개발자가 이 문제에 대해 침을 뱉고 있기 때문에 이에 대한 공식적인 지원이 없습니다.

여기서 @bugs181을 두 번째로 해야 합니다. 이 문제를 '+1'하고 스팸 메일을 보내는 것은 이에 대한 인식을 높이는 데 큰 도움이 되지 않지만 사람들이 문제를 음소거하거나 잠금을 해제해야 하는 지점에 더 가까워지게 할 뿐입니다. 나는 열린 의사 소통을 믿기 때문에 모든 문제를 모든 사람이 토론할 수 있도록 공개하고 싶기 때문에 원하지 않습니다.

지금까지 나는 항상 그 플러그인을 사용하는 것이 좋습니다. 나는 이것이 더 이상 적극적으로 유지되고 있지 않다는 것을 몰랐고 그 소식을 듣게 되어 안타깝습니다. 우리는 또한 이 문제가 5년 동안 공개되었다는 것을 알고 있으며 문제에 대한 분석을 실행하고 있으며(Kibana에서 분명히 - 첨부된 스크린샷 참조) 이것이 가장 반응이 좋은 문제라는 것을 알고 있습니다.

그러나 (말 그대로) 수천 개의 다른 문제가 열려 있음을 거의 알고 계시므로 우리는 항상 기능, 버그 수정 등 사이에서 균형을 유지하여 좋은 우선 순위를 찾아야 합니다. 또한 그 기능은 항상 꽤 견고한 커뮤니티 플러그인을 가지고 있었기 때문에 (다른 문제를 능가할 만큼) 충분한 우선 순위를 얻지 못했습니다. 또한 종종 서로 다른 것들 사이에 기술적인 관계가 있으며, 예를 들어 중첩된 필드 지원의 경우 현재 먼저 전체 시각화 렌더링 파이프라인(#19813)에 대한 정밀 검사를 완료하고 싶습니다. 함께. 그럼에도 불구하고 현재 7.x 로드맵에 이 문제가 있으며 다른 기술 변경으로 인해 차단되지 않기를 바랍니다. 따라서 곧 해당 기능을 Kibana 코어로 옮겨 커뮤니티 플러그인 없이 사용할 수 있도록 할 수 있습니다.

중첩된 개체 시각화 지원 요청에 상위-하위 관계에 대한 지원이 포함됩니까? 부모-자식 시각화에 대해 문의하는 고객이 있습니다.

@MorrieAtElastic 아니요, 부모-자식은 별도의 문제입니다.

https://github.com/elastic/kibana/issues/3730
https://github.com/elastic/kibana/issues/20255

ElasticSearch가 Nested Object를 지원하므로 데이터를 로드할 수 있지만 제대로 볼 수 없기 때문에 Kibana에서 1:M 관계를 제대로 표시할 수 없다는 것은 정말 큰 문제입니다. 이 문제는 곧 수정되어야 합니다.

감사 해요,
라케시

오늘 KQL에서 중첩 필드 지원 작업을 시작했습니다. Kibana의 전체 중첩 필드 지원에는 KQL 이외의 많은 변경 사항이 포함되므로 추적할 별도의 문제를 만들었습니다.

https://github.com/elastic/kibana/issues/44554

어머 이거 진짜야? 5년 후...

새로운 데이터 유형: flattened는 어떻습니까? 향후 해당 새로운 유형에 대한 시각화가 지원됩니까? 많은 서비스 클라이언트가 이 새로운 유형으로 안내되고 있으며 시각화가 작동할 수 있는지/언제 사용할 수 있는지 묻고 있습니다.

@Barrybigbuddy 평면화 계획이 무엇인지 잘 모르겠습니다. 별도의 티켓을 만들 수 있습니까?

Kibana에서 부모와 자식 관계를 표현하고 싶습니다. 따라서 이 기능을 우선적으로 사용하도록 요청하십시오. 감사 해요. 엠제이

+1

엄청난! 여기에 +1! 이 기능에 대한 특정 기간이 있습니까?

여기에서 제가 파티 깡패가 되어 잠시 알림을 드리겠습니다. 이 호를 구독하는 사람들이 많이 있습니다(커뮤니티 사람 228명 + Elastic 팀 몇 개). 따라서 +1 를 최소. GitHub의 좋은 반응 기능 덕분에 모든 구독자에게 알림을 보내지 않고도 @Bargs 에 대한 승인과 사랑을 그의 댓글에 추가할 수도 있습니다(또는 사용자가 거부하면 그는 중첩 필드 지원 작업을 다시 중단할 수 있습니다 :wink:). 또한 특히 이것은 매우 큰 티켓이므로 다른 필드 유형에 대한 관련 없는 질문에 사용하지 마십시오.

다른 필드 유형에 대한 몇 가지 참조를 여기에 남겨 둡니다.

• flattened 필드 유형 지원 - 현재 단기 로드맵에 없음
• 부모/자녀 지원 - 현재 단기 로드맵에 없음

이 기능은 언제 제공되나요? 우리는 이에 대해 적극적으로 노력하고 있으며 다른 버전으로 도착할 수 있는 다양한 단계(KQL, 필터링 지원, 시각화 등)가 있을 것이며 개발 프로세스가 어떻게 진행되는지에 달려 있습니다. 이 기능과 관련된 풀 리퀘스트를 여기에 댓글로 게시할 예정이므로 PR에서 지원의 특정 단계/부분이 포함되는 버전을 확인할 수 있습니다.

이것이 동일한 문제인지 확실하지 않지만 객체 목록이 있는 색인이 있지만 "중첩된" 데이터 유형을 사용 하지 않습니다 . 그러나 "사용 가능한 필드" 아래의 Kibana에서 목록에 있는 개체 내부에 필드가 표시되지 않습니다. 이것이 알려진 제한 사항입니까?

@ppadovani 는 kibana-7.3.1에서 사용할 수 있는 플러그인입니까?

안녕하세요 여러분, 저는 이 문제에 대한 일종의 해결책을 찾은 것 같습니다. 매핑의 소스 코드를 읽고 중첩 매핑 유형에 대한 include_in_parent 옵션이 있음을 발견했습니다. 이 옵션을 사용하면 문제 없이 Kibana에서 객체 배열을 시각화할 수 있습니다!!! 어떤 이유로 이 옵션은 ES 설명서에 나타나지 않습니다. 어쩌면 내가 뭔가 잘못하고 있지만 분명히 모든 것이 작동합니다. 나는 키워드와 전체 텍스트로 모두 검색할 수 있도록 필드 옵션을 사용합니다.

매핑

PUT /test_index
```json
{
"매핑": {
"동적": "엄격한",
"속성": {
"상태": {
"유형": "키워드"
},
"created_by": {
"유형": "중첩",
"include_in_parent": 참,
"속성": {
"이름": {
"유형": "텍스트",
"필드": {
"날것의": {
"유형": "키워드"
}
}
},
"성": {
"유형": "텍스트",
"필드": {
"날것의": {
"유형": "키워드"
}
}
}
},
"동적": "엄격한"
},
"사람들": {
"유형": "중첩",
"include_in_parent": 참,
"속성": {
"이름": {
"유형": "텍스트",
"필드": {
"날것의": {
"유형": "키워드"
}
}
},
"성": {
"유형": "텍스트",
"필드": {
"날것의": {
"유형": "키워드"
}
}
}
},
"동적": "엄격한"
}
}
}
}

### Documents
POST test_index/_doc
```json
{
  "state": "done",
  "created_by": {
    "first_name": "Patricio",
    "last_name": "de Villa"
  },
  "people": [
    {
      "first_name": "Patricio",
      "last_name": "de Villa"
    },
    {
      "first_name": "Test",
      "last_name": "Test"
    }
  ]
}

@patodevilla

해결 방법으로 include_in_parent 또는 copy_to를 사용하는 것은 지원되지 않으며 향후 릴리스에서 작동이 중지될 수 있습니다.

https://www.elastic.co/guide/en/kibana/7.x/nested-objects.html

7.6.0에서 릴리스된 중첩 필드 지원 1단계

이 문제에 대한 작은 업데이트: 중첩 필드에 대한 초기 지원이 포함된 Kibana 7.6.0 을 방금

• 인덱스 패턴은 중첩 필드를 올바르게 감지합니다.
• Discover에서 중첩 필드를 볼 수 있습니다.
• 필터 막대를 통한 중첩 필드 필터링이 작동합니다.
• KQL은 중첩 필드 검색을 허용합니다(중첩 필드 쿼리에 대한 구문 설명은 KQL 설명서 참조).

현재 시각화에서 중첩 필드를 활성화하기 위해 노력하고 있으며 관련 정보로 이 문제를 계속 업데이트할 것입니다.

안녕하세요! 우리는 NESTED 함수를 기다리고 있습니다. 언제 볼 수 있나요? Kibana로 완전히 전환되지 않는 유일한 순간입니다(Elastic이 최고입니다). 전 세계가 당신을 지켜보고 있습니다.

중첩 필드 쿼리는 여전히 KQL에서 버그가 있습니다.
예시:
다음과 같이 정의된 인덱스 매핑을 고려하십시오.
"first": { "type": "nested", "properties": { "second": { "type": "nested", "properties": { "field": { "type": "text" } } } } }
이 인덱스를 기반으로 인덱스 패턴을 만들고 first.second.field : "test" 를 쿼리하려고 합니다.
검사 탭의 이 쿼리는 다음을 생성합니다.
"filter": [ { "bool": { "should": [ { "match": { "first.second.field": "test" } } ], "minimum_should_match": 1 } } ],
잘못된 것입니다.
올바른 버전에는 중첩 구문 "nested": {"path": "first.second",...} 도 포함되어야 합니다.

@elastic/kibana-app-arch 핑(팀:AppArch)

@IlyaHalsky 중첩 필드에 대한 KQL 문서 를 확인하십시오. 중첩 필드는 쿼리할 수 있는 여러 가지 방법이 있으므로 쿼리할 특정 구문이 필요합니다(귀하의 경우 first.second:{ field: "test" } 하고 싶을 가능성이 가장 높음).

또한 해당 설명으로 연결되는 KQL 쿼리에서 처음으로 중첩 필드를 사용하려고 할 때 알림 메시지가 표시되어야 합니다.

시각화에서 중첩 필드를 지원하는 새로운 kibana 릴리스가 있는지 묻습니다.
내 데이터 예:
{
"필드X": "x",
"fiedY": "Y",
"변칙": [
{
"카테고리": "시스템",
"이름": "CPU",
"날짜": "2020-03-11T13:33:40.000Z"
},
{
"카테고리": "재부팅",
"이름": "재설정",
"날짜": "2020-03-11T13:33:40.000Z"
},
{
"카테고리": "시스템",
"이름": "기억",
"날짜": "2020-03-11T13:33:40.000Z"
}
]
}

kibana에서 파이 차트를 시각화하고 싶습니다.
슬라이스 크기 개수 = 변칙 배열 객체의 총 개수(문서 개수 x 변칙 배열별 객체 개수)
첫 번째 버킷 = anomalies.category
두 번째 버킷 = anomalies.name

즉, 변칙 범주별로 변칙 이름의 분포를 시각화하고 싶습니까?

+1

이것에 대한 소식이 있습니까? 7.6 릴리스는 이미 몇 개월이 지났고 7.7 및 7.8은 릴리스 정보에 이에 대한 언급이 없었으며 7.9, 7.x 및 마스터 문서에도 이 기능에 대한 새로운 정보가 포함되어 있지 않습니다.

Visualizations에서 중첩 집계 지원을 받고자 하는 우리의 높은 희망을 표현하는 것만으로도 충분합니다. 놀랍습니다!