+1 für die Aggregation verschachtelter Objekte.

+1

+1

+1

+1

+1

+1

+1

+1

+1

+100.000

+1

Um es klar zu sagen, es gibt derzeit keine Möglichkeit, in Kibana 4 einen verschachtelten Filter / eine Abfrage / ein Agg durchzuführen, oder?

+1

+11111

+1

+1

+1

+1

+1

+1

+1

+2

+1

+1 Weil das Denormalisieren verschachtelter Objekte nicht immer eine Option ist, da dies zu einer Mapping-Explosion führen kann.

Kartierung:

{ 
 "timestamp":{ "type":"date"},
 "cluster_id": { "type":"string"},
 "pools":{
    "type":"nested",
    "properties":{
      "size":{
        "type":"long"
      },
      "name":{
        "type":"string",
        "index":"not_analyzed"
      }
    }
  }
}

Zunächst möchte ich im Liniendiagramm die durchschnittliche Größe über die Zeit für jeden Poolnamen anzeigen können. Unter der Annahme, dass es so viele Namen gibt, dass eine Denormalisierung keine gute Idee ist, kann dies zu vielen Diagrammen im Diagramm führen. Um mit solchen Fällen zu arbeiten, wäre es auch von Vorteil, die Filteraggregation innerhalb einer verschachtelten Aggregation verwenden zu können. Es wäre auch großartig, in der Top-Suche nach verschachtelten Feldern filtern zu können.

Um die Sache noch interessanter zu machen, wäre es wirklich toll, eine Aggregation wie diese visualisieren zu können:

"aggs": {
        "poolagg": {
            "nested": {
                "path": "pools"
            },
            "aggs": {
                "old": {
                    "filter": {
                        "term": {
                            "name": "some pool name"
                        }
                    },
                    "aggs": {
                        "avg_size": {
                            "avg": {
                                "field": "size"
                            }
                        },
                        "distribution": {
                            "histogram": {
                                "field": "size",
                                "interval": 5
                            },
                            "aggs": {
                                "pool_to_cluster": {
                                    "reverse_nested": {},
                                    "aggs": {
                                        "clusters": {
                                            "cardinality": {
                                                "field": "cluster_id"
                                            }
                                        }
                                    }
                                }
                            }
                        }
                    }
                }
            }
        }
    }

+1

+2

+1

+1

+1

+1

+10 !

Es wäre mächtig damit!

Kann das jemand klären; In diesem Beitrag (https://www.elastic.co/blog/kibana-4-beta-1-released) für Kibana4beta1 heißt es, dass „Kibana 4 die Leistungsfähigkeit der verschachtelten Aggregationen von Elasticsearch auf einen Mausklick bringt“. Ich kann keine Visualisierungen für Dokumente mit verschachtelten Objekten erstellen. Ich habe auch sichergestellt, dass die verschachtelten Objekte in meiner Indexvorlage als "verschachtelt" gekennzeichnet sind. Ist die Unterstützung von Kibana für verschachtelte Aggregationen also nicht dieselbe wie die von ES für verschachtelte Objekte? Was vermisse ich? Vielen Dank.

@cslinuxboy - Ich denke, sie verwenden hier "nested", um sich auf die Gruppierung über mehrere Felder zu beziehen, z.

@Alex-Ikanow - Danke für die Antwort. Schade, dass dies derzeit nicht möglich ist. Ich habe mir Hoffnungen gemacht, als ich die irreführende Beschreibung in ihrem Beta-1-Post gelesen habe.

+1 für die Unterstützung verschachtelter Objekte innerhalb der Visualisierungsaggregation.

+1

Ich verwende derzeit Eltern-Kind-Beziehungen als Problemumgehung, die gut zu funktionieren scheint.

@calvdee Haben Sie has_parent- oder has_child-Abfragen in der Kibana-Suchleiste? Das funktioniert bei uns nicht und es ist ein riesiges Problem, ich wäre EWIG dankbar, wenn Sie dies haben und mich wissen lassen können ... danke!!!

Nein, für unseren Anwendungsfall haben alle Eltern Kinder und alle Kinder haben zwangsläufig Eltern, da wir Rechnungsdaten indizieren, so dass regelmäßige Abfragen funktionieren (siehe Bild).

@calvdee Vielen Dank für die Antwort! Wir haben ein ähnliches Datenmodell, möchten aber in der Lage sein, Eltern von ihren Kindern in Kibana zu finden, es funktioniert nicht :0(

Keine Sorge, viel Glück!

Am Do, 26. März 2015, 11:36 Uhr schrieb ajrasch [email protected] :

@calvdee https://github.com/calvdee Vielen Dank für die Antwort! Wir
haben ein ähnliches Datenmodell, möchten aber Eltern anhand ihrer
Kinder in Kibana, es funktioniert nicht :0(

—
Antworten Sie direkt auf diese E-Mail oder zeigen Sie sie auf GitHub an
https://github.com/elastic/kibana/issues/1084#issuecomment -86575796.

+1

+1

Sie lesen das Feld _mapping, daher sollten Sie wissen, wann ein bestimmtes Feld verschachtelt ist. Kann es also nicht automatisch die richtige verschachtelte Facette/Abfrage anwenden, wenn ein solches Feld in Abfragen oder Facetten ausgewählt wird?

Ja, :+1: in diesem Fall. Obwohl es mir gelungen ist, die richtige verschachtelte Aggregation auf der CLI zu schreiben und Daten mit curl abzurufen, habe ich keine Möglichkeit gefunden, sie auf der Registerkarte "Visualisieren" von Kibana zum Laufen zu bringen, nicht einmal mit dem JSON-Bearbeitungsfeld. Zugegeben, ich benutze diese Funktion (die Box) nie, aber es scheint, dass es nur möglich ist, einer bestehenden Aggregation Dinge hinzuzufügen, nicht um eine neue Aggregation von Grund auf neu zu erstellen ... (wird gerne korrigiert wenn ich da falsch liege!).

Ja, verschachtelte Typaggregationen sind der Schlüssel und werden immer häufiger verwendet, da sie ein bestimmtes Problem mit flachen Daten lösen.

Wenn Kibana4 das Visualisierungsprodukt für ES ist, sollte es alle ES-Aggregationen unterstützen.

Es wäre schön, dies zumindest auf der Roadmap für Kibana4 zu sehen .

+1

+1

+1

+1

+1

Ab #3729 :-)

Ich möchte eine Aggregatoption "Untergeordnete Dokumente" sehen
(Nach Datumshistogramm, Histogramm usw.), das den
Parameter für eine Abfrage DSL für Kinder Aggregat, wie
"Kindtyp", "Felder" usw.

Auf diese Weise können verschachtelte Aggregate für untergeordnete Elemente erstellt werden
Unterlagen.

Ich scheine nicht in der Lage zu sein, eine solche Abfrage mit zu erstellen
die erweiterte Bearbeitungsfunktion. Vielleicht kann jemand
kläre mich auf.

Vielen Dank

+1

+1

+1

+1 brauchen diese Fähigkeit wirklich. Ich könnte alle Eltern mit Logstash als Workaound entfernen, aber das würde eine riesige Konfigurationsdatei erfordern, da ich Hunderte von Feldern habe.

+1 weiß jemand ob das geplant ist?

+1

Im Moment überlege ich, einige meiner Zuordnungen so zu ändern, dass sie keine Objekte vom Typ "verschachtelt" verwenden, da ich keine Kibana-Visualisierungen für diese Felder erstellen kann. Wenn ich wüsste, dass das Problem zumindest auf der Roadmap steht, wäre es eine wirklich große Hilfe bei dieser Entscheidung.

@benjismith - Ich habe auch in den untergeordnete Dokumente umgestellt. Bisher funktioniert es gut, aber ich stimme Ihnen zu; Es wäre schön zu wissen, ob dies jemals ein Feature in Kibana wird, damit wir alle entweder darauf warten oder weitermachen können.

Viel Glück.

+1

+1

+1 für die Unterstützung der verschachtelten Typaggregation

+1

+1

+1

+1

+1

+1

Für diejenigen, die einfache Aggregationen über bestimmte Felder innerhalb der verschachtelten Dokumente durchführen möchten (z. B. eine "terms"-Aggregation für ein Feld, um die Top-Werte zu finden), können Sie in Betracht ziehen, die Einstellung "include_in_parent" zu Ihrem Elasticsearch-Mapping hinzuzufügen. Dadurch wird eine vereinfachte Version eines Felds im verschachtelten Dokument auf übergeordneter Ebene erstellt.

https://www.elastic.co/guide/en/elasticsearch/reference/1.7/mapping-nested-type.html

Diese Felder werden nicht in der Discover-Feldliste auf der linken Seite angezeigt, obwohl Sie sie in der Dokumentdetailansicht als Array-Feld sehen. Sie haben jedoch Zugriff auf die einzelnen Felder in der Metrikliste in Visualize und können Aggregationen für sie ausführen.

Dies ist, was wir tun, um den Überwachungsverlauf zu visualisieren, der auf einer verschachtelten Dokumentstruktur basiert (siehe "results.actions"):

{
   ".watch_history-2015.06.12": {
      "mappings": {
         "watch_record": {
            "dynamic": "strict",
               "result": {
                  "dynamic": "true",
                  "properties": {
                     "actions": {
                        "type": "nested",
                        "include_in_parent": true,
                         …
}

+1

+1

+1

+1

+1

Anstelle eines weiteren +1... Vielleicht würde eine Zusammenfassung der Position von Nested Type Aggregations helfen.

Ich lerne seit 5 Tagen, wie man hübsche Grafiken erstellt, also verzeiht mir, wenn etwas davon offensichtlich ist.

Was ist das Problem?

Handelt es sich immer noch um ein ElasticSearch- oder Lucene-Abfrageproblem?

Es wird nicht durch Aggregationen gelöst, aber es wird dadurch gelöst, dass wir Ihnen erlauben, elasticsearch JSON in das Eingabefeld einzugeben. Es ist nicht ideal, aber es sei denn, elastische Suche erweitert die Syntax von Lucene-Abfragezeichenfolgen, um verschachtelte Felder anzugeben, ist es das Beste, was wir tun können. -- rashidkpc's einjähriger Kommentar

Kibana-Fix möglich?

Wenn ES/Lucene, könnte Kibana in der Zwischenzeit einen Zwischenhack/eine Lösung bereitstellen? Denken Sie an ES6-Shims und Anbieterpräfix-CSS.

Für verschachtelte Zuordnung: Möglichkeit, im Editor verschachtelt auszuwählen (und einen Pfad zu konfigurieren...) für die Panels von Kibana. bobmercer

Oder:

Sie lesen das Feld _mapping, daher sollten Sie wissen, wann ein bestimmtes Feld verschachtelt ist. Kann es also nicht automatisch die richtige verschachtelte Facette/Abfrage anwenden, wenn ein solches Feld in Abfragen oder Facetten ausgewählt wird?
Alex-Ikanow, OP

Hackt jemand an einer Lösung? Hat jemand eine Idee/Anleitung, wo man hacken kann?

Umgehungen?

Hat jemand mit nested/include_in_parent Erfolg gehabt? Benötigt es dynamic: static , dynamic: true . Meine Versuche schlugen mit 0 Ergebnissen fehl. tbragin

Hat jemand Beispiele für das oben von rashidkpc erwähnte JSON-Eingabefeld?

Elternteil/Kind

Dies ist mein nächster Schritt. Ich bin sicher, dass es dafür online viel Referenzmaterial gibt, aber es würde nicht schaden, auf Beispiele / Tutorials für diese Alternative zu verweisen.

Da ich keine Kenntnisse über die Interna von Kibana habe, erwäge ich, einen REST-Proxy zu schreiben, der zwischen Elastic und Kibana sitzt. Bei der Abfrage von Kibana nach einem bestimmten Typ mit einigen begriffsbasierten Suchkriterien fragt dieser Proxy zuerst den Elterntyp ab, um die Menge der Eltern zu finden, die die Suchkriterien erfüllen (sie passen in den Speicher). Dann findet es alle Kinder für diese Eltern und gibt diese denormalisiert mit allen hinzugefügten Elternfeldern an Kibana zurück. Dies wird es uns ermöglichen, in Elastic Search ein Eltern-Kind-Modell zu haben, das die Speicherexplosion durch die Denormalisierung von allem auf Milliarden von Kindobjekten vermeidet und gleichzeitig die Daten basierend auf Elternfeldern grafisch darstellt.

Im Idealfall war dies Teil von Kibana. Die Welt ist nicht flach!

+1

+1. Früher haben wir den Funktionsstapel oder url_args in verschiedene Felder aufgeteilt. Dies war jedoch mit einem zu großen Clusterstatus und zu vielen Mapping-Aktualisierungsaktionen verbunden. Also ändern wir dies in ein verschachteltes Objekt. Jetzt brauchen wir Aggs in K4....

+1

+1 benötigt eine Eltern-Kind-Aggregationsvisualisierung.

+1

Bitte glauben Sie nicht, dass alle Elastic-Benutzer, die Kibana verwenden möchten, es für die Protokollanalyse verwenden. Wir haben umfangreiche Daten mit verschachtelten Objekten in unserem Cluster, für die wir gerne Analysen durchführen würden, ohne die Daten abrufen und in ein weiteres System umwandeln zu müssen.

Die Möglichkeit, verschachtelte Aggregationen, verschachtelte Abfragen und sogar reverse_nested-Aggregationen zu erstellen, ist ein Muss. Je länger Kibana ohne diese Funktion auskommt, desto eher müssen wir eine Alternative finden, ohne Elastic/Kibana zu verwenden. Wenn die Bereitstellung einer benutzerfreundlichen Benutzeroberfläche für diese Art von Funktion der schwierige Teil ist, beginnen Sie damit, Ihren Benutzern die Möglichkeit zu geben, die vollständige Json-Abfrage für Elastic bereitzustellen, die die erforderlichen Daten zurückgibt.

+1

Einverstanden mit @ppadovani . Wir evaluierten BI-Tools und hätten gerne Kibana verwendet, aber es unterstützte nicht die Beziehungen in unseren Geschäftseinheiten, über die wir berichten müssen, und war nicht benutzerfreundlich genug, um von einem Nicht-Tech-Benutzer zu erkunden. Am Ende haben wir uns für Looker entschieden (im Wesentlichen eine GUI für SQL). Ein Blick auf looker könnte einige Ideen bieten, wie Kibana in Zukunft für vielfältigere Anwendungsfälle erweitert werden könnte.

Ich beschloss, mir den Kibana 4.1-Code anzusehen. (Ich kann Master nicht verwenden, da er nur mit 2.x Elastic funktioniert). diese Zeilen:

1) Fügen Sie unter dem zusammenklappbaren Bereich „erweitert“ einer Aggregation ein Textfeld mit der Bezeichnung „verschachtelter Pfad“ hinzu.
2) Wenn der Benutzer eine Zeichenfolge in dieses Feld eingibt, wird der Aggregation, auf die dies eingestellt ist, eine verschachtelte Aggregation wie folgt vorangestellt:
"agg":{
"2":{
"verschachtelt":{ "path":"foo" },
"agg":{
"3":{
"date_histogram":{

Um den Fall von mehreren Ebenen von verschachtelten Objekten zu behandeln, können Sie ein + hinzufügen, das es dem Benutzer ermöglicht, zusätzliche verschachtelte Pfade hinzuzufügen. Um die umgekehrte Verschachtelung zu handhaben, fügen Sie einfach ein Kontrollkästchen mit der Bezeichnung 'umgekehrt' hinzu.

Dies würde zumindest eine begrenzte Unterstützung der „verschachtelten“ Aggregation bieten.

Für die Unterstützung verschachtelter Abfragen wäre die einzige Lösung, die ich mir kurzfristig vorstellen kann, dem Benutzer zu erlauben, handcodierte elastische Suche json einzugeben.

+1

+1 auf all dies und ermöglicht dem Benutzer, hartcodierte elastische Suche json einzugeben

+1

+1

+1. Ich war sehr aufgeregt, Kibana für unsere Umgebungsvisualisierungsanforderungen zu verwenden, aber ohne Unterstützung für die Visualisierung verschachtelter Objekte ist es ziemlich mühsam, Kibana für unsere Zwecke dort zu verwenden.

+1, bin gerade darauf gestoßen.

+1

+1

+1

+1

+1

Mindestens 82 Personen erhalten Ihr "+1" und dies ist NICHT hilfreich.

Ich widerspreche stark. Mehr Daten sind nie schlecht.

Mein Team und ich arbeiten daran und hoffen, dass wir bis Ende der Woche vielleicht etwas zeigen können.

BEARBEITEN: Siehe meine Kommentare in: https://github.com/elastic/kibana/pull/4645#issuecomment -132908544

+1

+1

+1

Fertig und hier ein Pull Request erstellt:
https://github.com/elastic/kibana/pull/4806

Kurzes Update für die Zuschauer... wartet auf Elasticsearch co. den CLA zu bestätigen, ansonsten finde ich es gut zu gehen.

+1

+1 auch

+1

+1

+1

+1

+1

+1

+10

+1

+1

+1

+1

Ja bitte.

+1

+1

+1

+1

Der Pull Request gegen 4.1 wird zu Gunsten dieses gegen Master geschlossen.

https://github.com/elastic/kibana/pull/5411

Wenn eine 4.1-Version davon gefragt ist, kann ich den Pull-Request mit dem richtigen Code erneut öffnen.

+1

+1

+1

+1

Ich verstehe nicht, was bei diesem Problem blockiert.
Es wartet eine Pull-Anfrage https://github.com/elastic/kibana/pull/5411

Hier gibt es Leute, die bereit sind, einen Beitrag zu leisten. Was muss getan werden, um diese PR zusammenzuführen?

Es werden definitiv mehr +1 benötigt

@Filirom1 Ein paar von uns waren unterwegs, daher hatten wir noch keine Gelegenheit, die PR zu überprüfen :( Wir werden versuchen, diese Woche dazu zu kommen. Es ist definitiv eine dringend benötigte Verbesserung und wir sind sehr aufgeregt zum Community-Beitrag hier!

Groß :-)
Vielen Dank !

Ich habe mir #5411 angeschaut und leider ist das nicht die Richtung, die wir jetzt einschlagen wollen. #5411 implementierte eine Stop-Lücke, führte jedoch dazu, dass wichtige Funktionen wie Filterung und Suche unterbrochen wurden. Es hat auch dazu geführt, dass der Agg-Builder selbst für diejenigen, die die zugrunde liegende Implementierung von verschachtelten Aggregationen nicht verstehen, defekt wirkt. Nachdem wir uns hingesetzt und genauer hingesehen hatten, stellten wir fest, dass der Arbeitsaufwand für die zusammenhängende Unterstützung verschachtelter Dokumente enorm war.

Es ist nicht so, dass wir dies nicht tun wollen, sondern dass wir, wenn wir es tun, es richtig machen und nicht nur daran arbeiten wollen.

Wir sind uns bewusst, dass viele an der Visualisierung relationaler Daten interessiert sind, aber angesichts anderer Prioritäten und Bedenken haben wir derzeit keine Ressourcen, um dieses Projekt zu widmen, und können uns nicht verpflichten, es auf absehbare Zeit in die Roadmap aufzunehmen.

Zu Ihrer Information, wir hatten gehofft, Kibana mit verschachtelten Aggregationen für interne Analysen zu verwenden, haben uns jedoch für ein kommerzielles Produkt namens „Looker“ entschieden, das direkt auf unseren rdbms sitzt. Ich würde den Elastic-Entwicklern dringend empfehlen, einen Blick darauf zu werfen, was sie getan haben, um das Erkunden eines relationalen Modells einfach zu machen, da viele Nicht-Techniker jetzt in der Lage sind, unsere Live-Datenbank nach ihren täglichen Fragen zum Produkt zu durchsuchen. Ich habe eine Reihe von Produkten bewertet und Looker hat sich als Sieger herausgestellt, und ich würde gerne eines Tages eine ähnliche Funktionalität in Kibana sehen.

Angesichts des neuesten Kommentars von Rashid und des langen Wartens auf dieses Feature empfehle ich, dieses Problem zu schließen. Wenn dieses Problem weiterhin besteht, gibt es den Benutzern nur die falsche Hoffnung, dass dies in naher Zukunft möglich sein wird. Schließen wir es und stellen wir die Idee auf den Prüfstand, bis die Entwickler Ressourcen haben, um herauszufinden, wie sie implementiert werden können.

Kopiere meinen Beitrag aus dem Pull-Request:

Es GIBT hier eine Lösung, aber es würde einen erheblichen Arbeitsaufwand erfordern und ich habe einfach nicht die Zeit. Wir haben dies in JAVA implementiert, damit ich weiß, dass dies möglich ist.

1) Jede Indexzuordnung muss verschachtelte Felder abrufen und verstehen.
2) Erstellen Sie ein benutzerdefiniertes AST, das eine vereinfachte Abfragesprache bietet, anstatt zu versuchen, nur die von Elasticsearch zu verwenden.
3) Erstellen Sie einen Abfrageadapter, der AST versteht und die Abfrage validieren und in das richtige JSON konvertieren kann.
4) Aktualisieren Sie die Aggregationen in Kibana, um verschachtelte Felder basierend auf dem internen Verständnis verschachtelter Felder richtig zu behandeln.

Dies ist nicht unmöglich, erfordert nur erhebliche Arbeit. Zu den Vorteilen der Implementierung des oben Genannten zählen die Abfragevalidierung und eine vereinfachte Syntax. Mit unserem AST können wir beispielsweise eine Abfrage wie diese erstellen:

(owner.user = "/users/00a0/18066271-29f0-40af-83ad-e5a0c8fc5944") UND (druid = "/druids/0060/77dd14b1-b7f0-4851-9ef8-74daa18d9d4d") UND ((owner.lastMessageReceived. eingefügt >= 0) ODER (conversationLifecycleState = "RESERVATION_REQUEST")) UND (owner.conversationArchived = false) UND ((units.site IS NULL) ODER (units.site IN {"HOMEAWAY_DE"})) UND ((inquiry.inserted >= 0) ODER NICHT (reservation.availabilityStatus = "DELETE")) UND NICHT (owner.markedSpam = true) UND (lastMessage.inserted >= 0)

Wie genau könnte ich diese Abfrage mit der vorhandenen Sprache durchführen?

IMHO - das Warten auf das Nirvana von Elasticsearch vor dem Handeln wird zu einem Rückgang der Akzeptanz und dem Verlust von Kibana-Benutzern führen.

Ich hasse es, so zu klingen, als ob ich Marketing mache, aber das ist relevant. (habe gesehen, wie Leute andere Produkte erwähnt haben..)

Wir fanden heraus, dass viele Personen, die stark verschachtelt waren, tatsächlich nach relationalen Daten suchen wollten und am Ende Datensätze verschachtelten, die stattdessen einfach zu spät "zusammengefügt" hätten werden sollen. (Padovani, dies könnte Ihr Fall sein, ich sehe "Benutzer", "Nachrichten" usw.. Diese würden sehr schön als separate Aufzeichnungen aufbewahrt)
Aus diesem Grund haben wir das SIREn Join elasticsearch Plugin und den Kibi our -friendly - Kibana Fork entwickelt, der Filter und Funktionalitäten dafür bietet.

Wir arbeiten jetzt daran, so viel wie möglich von Kibi in Kibana 4.4 (auch bekannt als 5.0) kompatible Plugins zum Nutzen aller zu integrieren.

Das Join-Plugin wurde gestern veröffentlicht und ist ebenfalls Open Source.

Inzwischen funktioniert die verfügbare Version http://siren.solutions/kibi ehrlich gesagt wunderbar und hat dazu geführt, dass viele unserer Kunden keine verschachtelten Daten mehr benötigen.

jccq: Ich habe noch nie von Kibi oder dem Join-Plugin gewusst. Danke für die Information!

+1

+1
das ist ein Must-have-Problem...

@jccq In unserem Anwendungsfall geht es nicht nur um das Zusammenführen nur für Abfragen, wir verwenden die "

In Bezug auf den verschachtelten Support in Kibana entwickeln wir unseren Ansatz weiter und können je nach Ressourcen und Zeit irgendwann im zweiten Quartal oder früher etwas mit der Community teilen. Dieser neue Ansatz würde eine nahtlose Verschachtelung sowohl in den Aggregationen als auch in den Abfragen unterstützen. Ich werde nicht mehr sagen, da es sich noch in einem sehr frühen Stadium der Umsetzung befindet.

+1

@ppadovani du bist derjenige!

+1

+1

+1
Es ist wirklich wichtig für uns.
Wir warten seit fast einem Jahr auf dieses Feature...

+1

Update: Ich sehe, dass mein neuer Zweig aufgrund meiner Arbeitsbelastung mindestens einen Monat lang nicht bereit für vorläufiges Feedback oder Testen ist. Ich wollte jedoch vortragen, was ich tue, um Feedback von der Community zu sammeln, während ich voranschreite.

Das grundlegende Design dreht sich um zwei Dinge:

1) Ein neuer Abfrageparser für das Kibana-Freiform-Abfragefeld. Dieser Parser verwendet die Standard-Syntaxdefinition von Bison (siehe das Jison-Projekt für die von mir verwendete Javascript-Version). Die von mir verwendete BNF basiert auf der bestehenden BNF, die wir bei Homeaway für unsere benutzerdefinierte Abfragesprache gegen Elasticsearch verwenden. Siehe mein Kommentar oben für ein Beispiel. Ich habe diesen Ansatz gewählt, um zukünftige Verbesserungen durch die Community nach Bedarf zu ermöglichen.

Ich habe den Abfrageparser in Kibana, muss aber noch arbeiten, damit der Benutzer zwischen dem vorhandenen Abfragestil, der von Kibana verwendet wird, und diesem neuen Stil wechseln kann:

2) Ändern Sie den getFieldMapping-Aufruf in mapper.js in getMapping und verarbeiten Sie die Ergebnisse anders, sodass der verschachtelte Pfad auf Feldern erfasst und zu den Feldinformationen hinzugefügt wird, die Kibana speichert.

Wenn eine Abfrage eingegeben wird, überprüft der Parser, dass nicht nur Felder richtig benannt wurden, sondern dass die angegebenen Werte für die Feldtypen gültig sind. Dh ein Datumsfeld bekommt ein Datum, oder einem booleschen Wert wurde ein boolescher Wert gegeben. Darüber hinaus werden verschachtelte Felder automatisch vom Parser verarbeitet und der richtige Elasticsearch-Abfrage-Json anstelle der jetzt verwendeten einfachen Abfragesprache generiert.

Schließlich ist es bei Aggregationen, da die Felder jetzt die Hinweise auf verschachtelte Pfade enthalten, trivial, gegen meinen vorherigen Zweig zu arbeiten, um die verschachtelten Aggregationen nach Bedarf basierend auf den ausgewählten Feldern automatisch einzufügen.

Meilensteine:
1 - Holen Sie sich die Parserfunktion und generieren Sie Abfragen
2 – Aktualisieren Sie mapper.js und implementieren Sie die Unterstützung für verschachtelte Abfragen
3 - Implementieren Sie die Unterstützung für verschachtelte Aggregation
4 - Testen/Bereinigen

Jedes Feedback zu diesem Ansatz wäre sehr dankbar. Vielen Dank!

Update zu oben:

• Parser fertig
• Reverse-Parser abgeschlossen (nimmt ein Elasticsearch-Json und konvertiert es zurück in die benutzerdefinierte Abfragesprache)
• Kibana ermittelt jetzt verschachtelte Pfade und speichert sie auf Feldern
• Parser haben jetzt Zugriff auf die Feldinformationen

Noch zu tun:

• Unterstützung verschachtelter Pfade in beiden Parsern
• UI-Konstrukt, um dem Benutzer zu ermöglichen, den zu verwendenden Abfragestil zu ändern, und ermöglicht das Speichern/Verwenden von Legacy-Abfragen.
• Beenden der Fehlerbehandlung in Parsern und wie die Benutzeroberfläche Probleme/Fehler beim Parsen anzeigt
• UI-Konstrukt zur Bereitstellung von Type-Ahead-Unterstützung für Feldnamen in der Abfrage
• verschachtelte Unterstützung in Buckets/Metriken
• Unit-Tests, Unit-Tests, Unit-Tests.
• ... ?

+1

Aktualisieren:

• Parser verarbeitet/injiziert automatisch verschachtelte Informationen
• Aggregationen verarbeiten/injizieren nun automatisch verschachtelte Informationen

MACHEN:

• UI-Änderungen für die Auswahl des Abfragestils und das Speichern der Stilauswahl mit Abfrage im Kibana-Index.
• Fehlerbehandlung bei Parser-Fehlern und wie die Benutzeroberfläche Parsing-Probleme/-Fehler anzeigt
• UI Type-Ahead-Unterstützung für das Erstellen/Schreiben von Abfragen
• Unit-Tests, Unit-Tests, Unit-Tests...

Planen:
Ich möchte zumindest einige Fortschritte bei der UI-Arbeit erzielen, nicht meine Stärke, dann werden wir einen Branch/Fork in das HomeAway-Github-Repository verschieben, um Feedback/Beiträge zu ermöglichen. Ich werde hier wieder posten, wenn das fertig ist, damit jeder von euch, der die Gabel ziehen und damit spielen möchte, mehr als willkommen ist. Sobald es genug poliert ist, erstelle ich den offiziellen Pull-Request.

Eine letzte Anmerkung: Diese Arbeit wird gegen den Kibana 4.3.1-Zweig durchgeführt.

Als Fortsetzung meines vorherigen Kommentars über die Verwendung von "include_in_parent" und "include_in_root", um ausgewählte Felder aus verschachtelten Dokumenten auf die oberste Ebene zu kopieren, um Aggregationen auf ihnen auszuführen, wurde in ES 2.0 die "copy_to"-Funktion eingeführt, die eine andere bietet Option für so etwas: https://www.elastic.co/guide/en/elasticsearch/reference/current/copy-to.html
Es ist die Rede davon, "include_in_parent" und "include_in_root" zugunsten von "copy_to" in einer zukünftigen ES-Version abzulehnen: https://github.com/elastic/elasticsearch/issues/12461 Wenn Sie Erfahrung mit beiden haben, können Sie dies gerne tun einwiegen.

+1

ppadovani, schätze, was du zu tun versuchst. Diese Funktion ist uns sehr wichtig
Ein paar Fragen:

1. Ich verstehe, dass das dauern wird? Gibt es eine geschätzte Zeit, in der diese Funktion verfügbar sein wird?
2. Hat jemand eine Alternative ausprobiert? Möchten Sie das Protokollformat von verschachtelten json (arrays) in etwas anderes ändern? Wenn ja, was sollte das Format sein, um mit ELK zu arbeiten?
3. Gibt es ein anderes Produkt auf dem Markt, mit dem diese Funktionalität erreicht werden kann? Ich bin ganz für ELK, weil es Open Source ist, aber bis es nicht so ist, wollen wir etwas billigeres als Splunk. Wir haben viele Optionen untersucht, wie Loggly, Sumologic, Logentries, Logscape, Graylog (entweder so teuer wie Splunk oder sie haben diese Funktionalität nicht).

Vielen Dank!

1. Hat jemand eine Alternative ausprobiert? Möchten Sie das Protokollformat von verschachtelten json (arrays) in etwas anderes ändern? Wenn ja, was sollte das Format sein, um mit ELK zu arbeiten?

Sie können das Schema vereinfachen oder die ES-Zuordnungsoptionen "include_in_parent" oder "copy_to" verwenden, um einige der Felder aus verschachtelten Dokumenten in übergeordnete Dokumente zu kopieren. Funktioniert nicht für alle Anwendungsfälle, aber in einigen Fällen können Sie Kibana sofort verwenden. Wir verwenden intern bei Elastic den Ansatz "include_in_parent".

1. Ich habe einen Zweig, der "funktioniert", aber mehr TLC in Form von UI-Arbeiten benötigt. Dies ist nicht meine Hauptaufgabe, daher kann ich nur daran arbeiten, wenn ich Zeit habe.
2. Wie @tbragin anzeigt, können Sie die Daten
3. Alternativen sind mir derzeit nicht bekannt.

Um klarer zu sein, wie die Abfragesprache aussieht, da ich bei meinem alten Pull-Request gefragt wurde, hier eine BNF-Zusammenfassung:

Vergleich: Feld [=,<,>,<=,>=,~=] Wert
Beachten Sie das ~= .. dies zeigt LIKE an, was wiederum eine Wildcard-Abfrage verursacht
IN: Feld IN {Wert,Wert,...} Operation setzen
Feld IN [Wert,Wert] Bereichsoperation mit [ ] oder ( ) je nach Inklusiv/Exklusiv
IS: Feld IS NULL
Ausdruck: IS | IN | Vergleich
NOT: NOT Ausdruck
UND | ODER: Ausdruck UND |
EXISTS: EXISTS-Ausdruck
Existiert ist die Art und Weise, wie der Bereich von verschachtelten Objekten festgelegt wird. Ohne EXISTS werden normalerweise alle Ausdrücke, die nebeneinander stehen und denselben verschachtelten Pfad haben, in derselben verschachtelten Abfrage kombiniert. Sie können den verschachtelten Abfrageblock jedoch aufteilen, indem Sie EXISTS verwenden, um bestimmte verschachtelte Abfragen voneinander abzugrenzen.

Wie bereits erwähnt, verwendet die Sprache JISON, ein JavaScript-BISON-Äquivalent, und ermöglicht es uns, die Sprache nach Bedarf mit sehr geringem Aufwand zu erweitern.

AKTUALISIEREN:

Ich glaube, ich bin kurz davor, einen Branch mit allen zu teilen, um ihn zu testen und Feedback zu geben. Ich habe den (die) Parser arbeiten und zumindest das Syntax-Feedback sowie Unit-Tests gegen den Parser. Einige Screenshots:

Ich hoffe, dass ich die Filiale noch in dieser Woche fertig habe. Wenn ich es fertig habe, verlinke ich hier auf einen Blogbeitrag, der auf den Branch verlinkt und einen vollständigen Überblick über Syntax, Verwendung usw. enthält. Mein Plan ist es, Feedback zum Branch zu sammeln, Probleme zu beheben, wie gewünscht zu verbessern und dann eine Pull-Anfrage gesendet bekommen.

Ich würde es gerne testen (hier ist ein Beispiel für unsere Verwendung von verschachtelten Aggregationen in K3 https://discuss.elastic.co/t/nested-aggregation-charts/41523, wird ohne es nicht migriert).

@Robitx Ich glaube nicht, dass das ein Problem sein wird ... wir haben Dokumente mit mindestens zwei Ebenen verschachtelter Objekte ... zum Beispiel:

A->B->C

Dabei kann ein einzelnes A-Dokument ein oder mehrere B haben, und jedes davon enthält eine Liste von C, die sich auf dem B befinden. Jedes verschachtelte Dokument hat mehrere Felder unterschiedlichen Typs. Ich habe diesen Code so getestet, dass ich ein Histogramm oder ein mehrschichtiges Tortendiagramm für die innersten verschachtelten Daten erstellen kann.

Um es klar zu sagen, unsere Mappings werden automatisch aus unseren Pojos generiert und können sehr komplex werden.

+1

AKTUALISIEREN:

Ich wollte dies herausbringen, damit die Leute anfangen können, damit zu spielen, anstatt darauf zu warten, dass ein offizieller Blog-Post meinerseits erscheint.

Gabel/Zweig finden Sie hier:

https://github.com/homeaway/kibana/tree/fullNestedSupport

LIESMICH:

https://github.com/homeaway/kibana/blob/fullNestedSupport/NESTED_README.md

Der Inhalt der README ist im Wesentlichen der Inhalt des Blogbeitrags, der irgendwann erscheinen wird.

Fühlen Sie sich frei, Issues/Pull-Requests für den fullNestedSupport-Zweig zu eröffnen, wenn Sie dies wünschen. Ich werde versuchen, bei allen Problemen auf dem Laufenden zu bleiben, die die Leute finden.

+10000

+100500

+100

Hallo ppadovani,

Könnten Sie bitte einen Rat geben, was soll ich tun

Dieses Feld ist in Ihrer Elasticsearch-Zuordnung vorhanden, jedoch in keinem Dokument in den Suchergebnissen. Sie können es möglicherweise immer noch visualisieren oder suchen.

Vielen Dank!

Hallo ppadovani,

Wir haben ein Feld als verschachtelte Arrays.
"abc":[["3815222235847451","131712121218083052"]]
ODER
"abc":[["3815222235847451","131712121218083052","131712121217783052"]]
ODER
"abc":[["3815222235847451"]]

Die Werte können 1-10 . sein

Während ich für andere verschachtelte Felder eine Warnung sehe, dass das Feld nicht indiziert ist (was ich vermute, dass ich Zuordnungen verwenden muss?), Für dieses und andere wie diese wird jeder Satz als separater Wert behandelt? Außerdem wird der Feldtyp als "String" anstelle einer Zahl angezeigt, was an sich kein Problem ist, aber was es bedeutet, ist, dass ich nicht nach einem einzelnen Wert von abc suchen kann..?

Vielen Dank!

Einige Minuten gefunden, um mit dem Testen zu beginnen :) :|

Error: [illegal_argument_exception] Invalid format: "1457354016603" is malformed at "6603"
    at respond (http://elastic.dev:5601/bundles/kibana.bundle.js:76155:16)
    at checkRespForFailure (http://elastic.dev:5601/bundles/kibana.bundle.js:76118:8)
    at http://elastic.dev:5601/bundles/kibana.bundle.js:74736:8
    at processQueue (http://elastic.dev:5601/bundles/commons.bundle.js:42333:29)
    at http://elastic.dev:5601/bundles/commons.bundle.js:42349:28
    at Scope.$eval (http://elastic.dev:5601/bundles/commons.bundle.js:43577:29)
    at Scope.$digest (http://elastic.dev:5601/bundles/commons.bundle.js:43388:32)
    at Scope.$apply (http://elastic.dev:5601/bundles/commons.bundle.js:43685:25)
    at done (http://elastic.dev:5601/bundles/commons.bundle.js:38134:48)
    at completeRequest (http://elastic.dev:5601/bundles/commons.bundle.js:38332:8)

@BigDataEngineer
1) - Ich glaube nicht, dass dies eine Nachricht ist, die durch meine Änderungen generiert wurde, und möglicherweise etwas, das zuvor in Kibana existierte.
2) - Also ja.. es sieht so aus, als würden die Werte als String gespeichert, aber diese sind möglicherweise nicht verschachtelt.. Ich müsste sehen, wie die Zuordnung auf dem Index aussieht, um zu verstehen, was/wenn ein Problem vorliegt. Bitte fügen Sie die Zuordnung hier ein.

@Robitx
Ich gehe davon aus, dass dies ein Datumsfeld war ... die Epochenzeit hat zu viele Ziffern sollte 10 und nicht 13 sein. Können Sie die von Ihnen ausgegebene Abfrage aktualisieren / einfügen?

@ppadovani
Ich habe gerade das Standardindexmuster in den Einstellungen ausgewählt und bin zurück zur Registerkarte "Entdecken" gegangen

Wir gebrauchen

      "timestamp": {
        "format": "dateOptionalTime",
        "type": "date"
      }

K 4.4.1+ES 2.2 funktioniert gut, es könnte K 4.3 spezifisch sein (ich habe diese Version noch nie ausprobiert)

@Robitx
Ich suche nach der verwendeten Abfrage ... oder sagen Sie, dass die übergebene Abfrage nur das Standarddatumsfenster der Benutzeroberfläche war und Sie keine Abfrage angegeben haben? Ich werde meine Änderungen gegen eine spätere Kibana-Version rebasieren und neu veröffentlichen, wenn der Branch aktualisiert wird.

@ppadovani yep nur * und einige Zeiträume

+1 für verschachtelte Objekte im Visualisierungsbereich

@Robitx
Diese Operation, die Sie ausgeführt haben, hat keinen meiner Parser-Codes getroffen ... daher bezweifle ich, dass dies auf etwas zurückzuführen ist, das ich getan habe ... Mein Setup ist K 4.3.1 + ES 2.1.1 - Ich werde meinen ES auf 2.2 aktualisieren und sehen, ob ich das gleiche Verhalten erhalte, dann werde ich den Zweig auf K 4.4.1 umbasieren

Gerade auf ES 2.2.1 mit K 4.3.1 aktualisiert + mein Code ... konnte nicht reproduziert werden:

Ich werde immer noch auf 4.4.1 umbasieren - die aktuelle Version, wird diesen Beitrag aktualisieren, wenn der Zweig fertig ist.

AKTUALISIEREN:

Umbasiert auf 4.4.1 in einem neuen Zweig: https://github.com/homeaway/kibana/tree/nestedSupport-4.4.1

Getestet auf ES 2.2.0 und K 4.4.1

Hallo ppadovani,

Auf meine bisherigen Fragen verzichte ich. Ich habe bereits eine elastische Suchinstanz in AWS (zusammen mit Zuordnungen) und versuche, diese daran anzuschließen. Der Kibana-Serverstatus auf der Benutzeroberfläche sagt jedoch:

plugin:elasticsearch Diese Version von Kibana erfordert Elasticsearch ^2.1.0 auf allen Knoten. Ich habe die folgenden inkompatiblen Knoten in Ihrem Cluster gefunden: Elasticsearch v1.5.2 @ undefined (undefined)

Ich verwende immer noch https://github.com/homeaway/kibana/tree/fullNestedSupport und nicht den neuesten von Ihnen bereitgestellten. Ist es für Sie möglich, es für 1.5.2 kompatibel zu machen?
Freundlicher Hinweis.

Vielen Dank!!

@ppadovani
Ich kann verstehen, wenn dies nicht möglich ist, da wir rückwärts gehen, aber Amazon Elasticsearch Service ist nicht sehr daran interessiert, auf neuere Versionen zu aktualisieren, was verständlich ist. Also muss ich mit allem arbeiten, was wir haben. Wir haben viel Mühe in die Einrichtung der AWS-Instanz investiert (zusammen mit der Protokollweiterleitung von mehreren Knoten, Streaming-Ereignissen und anderen Minutendetails) und alles auf einer separaten Plattform von Grund auf neu zu erfinden, ist für uns keine Option. Es wäre gut, dies als zusätzliches Frontend einhängen zu können. Ich bin mir nicht einmal sicher, ob es noch eine weitere Straßensperre geben wird?

Vielen Dank!!

@BigDataEngineer
Nachdem ich mir den Kibana-Code in früheren Versionen angeschaut habe, war die erste Version, in der ich versuchen konnte, die Änderungen anzuwenden, 4.1.6. Es gab jedoch eine erhebliche Umschreibung/Umgestaltung/Neuorganisation des Codes und ich kann diesen Zweig nicht einfach patchen. Es würde einen erheblichen Arbeitsaufwand erfordern, um zu versuchen, meinen Code einzufügen und zu funktionieren.

Ich weiß ehrlich gesagt nicht, warum das Kibana-Team die erforderliche elastische Version wie bei jedem Release zusammenstellt. Die REST-Schnittstelle ändert sich einfach nicht so oft. Ich vermute, dass sie dies tun, um Benutzer zu zwingen, ihre elastischen Cluster zu aktualisieren.

Ein Gedanke, Sie könnten versuchen, die Version in src/plugins/elasticsearch/index.js um Zeile 27 zu ändern

@ppadovani
es funktionierte. Vielen Dank.

+1

@ppadovani Hallo, 4.4.1. Entschuldigung, dass ich nicht früher

Es funktioniert jetzt, aber das erste, was mir aufgefallen ist, sind Leistungsprobleme und gelegentlich friert Kibana vollständig ein (kompliziertere Abfragen konnte ich nicht testen).

Es gibt nur wenige Dinge, die zu diesem Problem beitragen könnten, eines davon ist eine Reihe von Feldern in unserem täglichen Index (es gibt Hunderte davon http://pastebin.com/fktN0dR5).

@Robitx Haben Sie dieselben Probleme mit dem

@ppadovani die Basis K 4.4.1 hat dieses Problem nicht

Ein Jahr, seit dieses Problem nicht behoben ist ...

Verdammt, elastische Suche hat die ziemlich benötigte Funktion "Nested Objects", und Kibana von denselben Entwicklern unterstützt diese Funktion immer noch nicht.

Sie haben Fork, die diese Funktion bereits implementieren und noch nicht in den Hauptquellcode eingebunden werden, mit entsprechender Unterstützung.

Und wir können in unserer Projekt-Stock-Version von KIbana immer noch nicht mit "Nested Objects"-Unterstützung verwenden.

Verdammt toll!!!

@ppadovani vielen Dank für deine Arbeit an der Gabel =)

@Robitx Kannst du mir sagen, wann Kibana für dich einfriert? IndexMusterdefinition? Oder wenn Sie eine neue Abfrage starten? Es gibt mögliche Bereiche, in denen dies sein könnte, und ich möchte es eingrenzen.

Ich habe ein Problem behoben, das möglicherweise beim Aufrufen der Registerkarten "Erkennen/Visualisierung" dazu beigetragen hat... Ich habe eine Fehlerbehebung durchgeführt, bitte erneut testen.

@rashidkpc Ich bin bereit, basierend auf dieser Arbeit einen Pull-Request zu generieren. Können Sie mir sagen, auf welche Branche ich meine Arbeit umstellen soll? Ich habe es derzeit gegen 4.3.1, 4.4.1 und 4.x. (4.x ist in der Nähe, aber ich habe Probleme, die Komponententests auszuführen. Der Testcluster kann nicht gestartet werden ...)

Hey Bande (cc @ppadovani)

Wie ich in https://github.com/elastic/kibana/pull/5411 erwähnt habe, gibt es in Elasticsearch selbst eine Reihe von Einschränkungen, insbesondere dass verschachtelte Aggs/Filter nicht automatisch sind und die Lucene-Abfragesyntax keine verschachtelte Suche unterstützt. Der hier gewählte Ansatz würde zwar einen anderen Weg zur Lösung des Problems aufzeigen, aber es ist nicht die Richtung, in die wir gehen wollen. Dies ist eine Lösung für ein enges Problem, aber wir möchten, dass Kibana eine Vielzahl von Herausforderungen löst. In diesem Fall bedeutet das, kleinere Gewinne für größere Gewinne zu opfern.

Während wir Möglichkeiten für eine Sprache für Kibana erwägen, haben wir uns noch nicht genau entschieden, wie die Funktionen aussehen sollen und wollen es nicht auf halbem Weg oder mit einem einzigen Ziel vor Augen machen. Wir erwägen einige Taktiken und Feature-Sets, sowohl in Elasticsearch als auch in Kibana, aber wir befinden uns noch in der Gründungsphase. Im Laufe der Zeit möchten wir, dass dies Suche, Transformation und Visualisierung einschließt, wie Sie es in Timelion sehen, und wir werden dabei sicherlich die Idee der Abfrage verschachtelter Dokumente im Hinterkopf behalten

Ich habe festgestellt, dass dies den verschachtelten Pfad speichert, aber wir entfernen die zwischengespeicherte Zuordnung https://github.com/elastic/kibana/pull/6648 und ersetzen sie durch neue APIs in Elasticsearch: https://github.com/elastic /elasticsearch/issues/15728. Bitte wägen Sie dieses Problem ab. Es wäre großartig, wenn Kibana den verschachtelten Pfad nicht analysieren müsste. Dies ist besonders wichtig für unser Ziel, sehr große Dokumente in Kibana zugänglich zu machen

Für den Moment empfehlen wir, den Ansatz von @tbragin mit include_in_parent oder copy_to . Für 90% der Aggregationen funktioniert dieser Ansatz perfekt.

Ich bin froh, dass diese Lösung für diejenigen funktioniert, die include_in_parent oder copy_to , sehr beeindruckt von dem, was @ppadovani erreicht hat. Ich würde gerne so etwas als Plugin implementiert sehen. Im Moment benötigt die Abfrageeingabe im Wesentlichen sowieso zwei Arten von Abfragen, wir könnten wahrscheinlich einen Weg finden, dies steckbar zu machen.

hey, schalte ein. Ich habe mich mit Rashid darüber unterhalten, und obwohl ich den Schmerz empfinde, dass Benutzer Kibana für verschachtelte Mappings verwenden möchten, ist eine allgemeinere Unterstützung (das könnte zusätzliche Funktionen in der Elasticsearch-Ebene selbst implizieren) der Weg nach vorne das die Flexibilität erhält, die wir in Kibana haben müssen. Während diese vorgeschlagene Änderung das kurzfristige Problem der Nichtunterstützung von Nested lösen könnte, wird es sich in der Zukunft als problematisch erweisen.

Ich überlege und fühle die Notwendigkeit, dass Kibana hier Nested unterstützt, aber dies ist einer der Fälle, in denen es besser ist, es ungelöst zu lassen, wenn nicht offensichtlich ist, wie es gelöst werden muss, bis wir eine Lösung haben, die sich natürlich anfühlt. Wir müssen auf jeden Fall fortfahren und untersuchen, dass einer von denen, mit denen wir an verschiedenen Stellen gechattet haben, automatisch verschachtelte (Wrapping usw.) in ES selbst unterstützt.

Ich bin strotzend vor Aufregung, dies elegant gelöst zu sehen.

+1

+1

IMHO muss ich der Haltung der Kibana-Betreuer respektvoll widersprechen. Wenn wir jedoch einen Weg finden können, etwas in dieser Richtung in Kibana einzubinden, wäre ich dafür.

In der Zwischenzeit werde ich weiterhin Fehler in meinen Fork(s)/Branches für diejenigen pflegen und beheben, die die von mir erstellte Version weiterhin verwenden möchten. Ich weiß, dass wir dies in Zukunft intensiv für Live-BI-Analyse-Dashboards verwenden werden.

Vieh. Nicht Haustier.

+1 :)
Es könnte großartig sein, verschachtelte Objekte in Kibana zu verwenden !! (Hat jemand ein Plugin dafür oder nicht?...)

+1

+1

+1

@tbragin Der von Ihnen erwähnte Ansatz funktioniert nicht bei verschachtelten Typen. Es aggregiert alle Daten unabhängig vom Typ.

+1

+1

+1

+1

Diese Funktion ist so ein Kinderspiel, dass ich tatsächlich schockiert war, als ich feststellte, dass sie nicht nur nicht unterstützt wird, sondern dass die Entwickler anscheinend auch nicht vor haben, sie jemals zu unterstützen. Verdammt , sprich mit deinen Projektmanagern und beauftrage erstellen , wenn ihr es nicht selbst macht.

+1 da das Fehlen verschachtelter Objekte mein Projekt erheblich behindert

Für alle, die nach einer Diskussion über die Denormalisierung suchen, um dieses Problem zu umgehen: Kibanas fehlende Unterstützung für verschachtelte Objekte und Eltern/Kind umgehen

Es wäre toll, wenn es einen Haftungsausschluss auf der Website zu diesem Problem gäbe, um zu vermeiden, dass Benutzer ihre Zeit damit verschwenden, eine nicht unterstützte Funktion zu implementieren. Wieso den? Auf der Kibana-Produktseite steht "Nahtlose Integration mit ElasticSearch", was hier nicht zutrifft :)

Zu Ihrer Information - Der Zweig meines Codes, auf den in der obigen Diskussion verwiesen wird, ist alt. Der aktuelle Zweig ist:

https://github.com/homeaway/kibana/tree/nestedSupport-4.x

Wir verwenden es intern aktiv und aktualisieren unsere interne Version weiterhin. Ich kann/werde die Github-Version aktualisieren, falls Interesse besteht.

Pierre

+1

+1

+1

+1

+1

+1

Ich erinnere mich, dass ich dies vor über einem Jahr +1 gegeben habe, und seitdem hat das Kibana-Entwicklungsteam nichts anderes getan, als ihre Heilungen einzugraben und die Benutzer größtenteils zu ignorieren. weniger "NEIN", mit der Aussage, dass "es sich nicht natürlich anfühlt".

Ich sehe dieses Muster auch bei zahlreichen anderen angeforderten Funktionen wie:

• Unterstützung für den Aufruf von betriebssystemseitigen Groovy-Skripten.
• Unterstützung für die Verwendung von ES Scripted Metric Aggregations (besonders nützlich für die Berechnung gewichteter Durchschnitte).
• Und so weiter...

Dies alles widerspricht der Haltung der gesamten Elastic Stack 5-Vision, in der angegeben wurde, dass sie (Elastic) weitere zugrunde liegende Funktionen von Elasticsearch in Kibana unterstützen würden. Aber ich habe sehr wenig gesehen, um diese Behauptungen zu untermauern.

Infolgedessen sehe ich, dass Kibana gegenüber Gabeln wie Sirens Kibi an Boden verliert, die beschlossen haben, sich mit solchen Dingen wie diesem Thema zu beschäftigen und eine Lösung zu finden.

Ich bin den Entwicklern von Kibana dankbar, dass sie uns ein großartiges Visualisierungstool zur Verfügung gestellt haben. Aber Elastic muss sich in Zukunft entscheiden, ob Kibana ein einfaches Visualisierungstool bleiben oder auf die Community hören und seinen Nutzen erweitern soll. Wenn die Entscheidung die erstere ist, dann erwarten Sie, dass die Benutzer gehen, wenn andere sich entscheiden, diese Mängel auszunutzen.

+1

@cslinuxboy

Unterstützung für den Aufruf von betriebssystemseitigen Groovy-Skripten.

Die meisten der damit abgedeckten Anwendungsfälle werden von https://github.com/elastic/kibana/pull/7700 gelöst

Unterstützung für die Verwendung von ES Scripted Metric Aggregations

Ich glaube nicht, dass jemand dagegen ist (zumindest sehe ich hier keine Opposition https://github.com/elastic/kibana/issues/2646), tatsächlich ist jetzt die Zeit, es hinzuzufügen, da Elasticsearch hinzugefügt hat die schmerzlose Skriptsprache. Es geht wirklich nur darum, dass jemand die Zeit findet.

+1

+1

+1

Ich fange wieder an, an meiner Gabel zu arbeiten. Ich möchte mich bei der Community entschuldigen, ich hatte bis vor etwa einem Monat keine Ahnung, dass ich keine Probleme für den Fork aktiviert hatte, sodass niemand hätte angeben können, dass es Fehler gab. Das wurde korrigiert.

Aktueller Zweig: https://github.com/homeaway/kibana/tree/nestedSupport-4.5.4

Die Updates in der Reihenfolge, in der ich sie implementieren möchte:

• Hinzufügen von Unterstützung für Datumsoffsets zum Abfrageparser
• Unterstützung der Erkennung für verschachtelte Felder hinzufügen, wenn ein Ergebnis angezeigt wird - FERTIG
• Unterstützung für übergeordnete/untergeordnete Abfragen und Aggregationen hinzufügen
• Unterstützung für Geo-Shape-Typen für Abfragen hinzugefügt (zB Punkt, Box usw.) Dies ist eine Portierung einer kürzlichen Erweiterung unserer internen Sprache.
• Texteingabe für Feldnamen im Abfragefeld hinzufügen
• Ich könnte versuchen, einen Parser für die vorhandene einfache Abfragesprache von Elasticsearch zu erstellen, um den Ärger einer ungültigen Abfrage zu beheben, die entweder dazu führt, dass ein Stack-Trace von Elasticsearch zurückgegeben wird oder keine Ergebnisse ohne Angabe des Grundes zurückgegeben werden. Wenn ich daran arbeite, dann, nachdem ich das oben Gesagte abgeschlossen habe. Wenn ich dies tue, werde ich prüfen, ob die Sprache auf der Kibana-Seite verschachtelt und Eltern-/Kind-Unterstützung hinzugefügt wird.

Ich möchte meine Stimme denen hinzufügen, die darauf hingewiesen haben, dass das Kibana-Team nicht auf die Community hört. Das Kibana-Team KANN sich NICHT einfach darauf verlassen, dass Elasticsearch die benötigte Funktionalität bereitstellt, wenn es eine Lücke gibt, um Kibana "rein" zu halten. Marktanteile werden so nicht gewonnen, sondern verloren.

+1

+1
@Bargs :
Sehr langer Faden ....Das ist nicht gut für Produkte wie Kibana..
Wir schätzen Ihre Bemühungen

Das ist scheiße :-(

homeway hat verschachtelte Aggs & Query Support Build auf Kibana 4.3.1.

https://github.com/homeaway/kibana/tree/nestedSupport-4.x

@ankitchheda Ich weiß davon, aber ein Fork, der von wenigen Leuten gepflegt wird, der gegen die Philosophie des Hauptprojekts (das sich in starker Entwicklung befindet)

Ich würde gerne etwas dagegen tun, aber ich habe keine Zeit, also versuche ich im Moment zumindest Druck auszuüben und hoffe, dass die Entwickler aufhören, dieses Problem zu ignorieren :|

+1

Zu Ihrer Information - Der Fork, den ich für verschachtelte Unterstützung pflege, bietet jetzt Unterstützung für die folgenden Versionen:

4.5.X
4.6
4.7
5.X

Es folgt vielleicht nicht der "Philosophie" der Hauptentwickler, aber es funktioniert und funktioniert gut.

Ich bin gerade darauf gestoßen. Es ist ein kleiner Nachteil und es wäre wirklich nützlich, eine praktikable Lösung zu haben.

@tbragin , @rashidkpc - der vorgeschlagene Workaround verfehlt den Punkt - du bekommst
etwas mit verschachtelten Objekten raus - aber Sie erhalten die falschen Ergebnisse! Verschachtelt
Aggregationen führen zu unterschiedlichen Ergebnissen (ich werde ein wenig funktionierendes Beispiel machen und es später hier posten).

Ich teste die Gabel von @ppadovani.

+1

:Schildkröte::Strich:

@Bargs Hey, ändert sich von Fork-Schäden auf die Leistung der Basisfunktionalität?

+1

+1

+1

+10086

+1

+1

+1

include_in_parent funktioniert noch auf ES und Kibana 5.2? Ich habe versucht, es als Alternative zu verwenden, ohne Erfolg.

@gustavomr Ich glaube, es wird funktionieren, aber nur für bestimmte Anwendungsfälle. Es funktioniert nicht für alle möglichen Abfrageanwendungsfälle, die verschachtelte Abfragen/Aggregationen bieten können.

HINWEIS: Mein 5.1-Fork von Kibana verwendet jetzt einen Umschalter neben dem Suchsymbol, um zwischen der nativen elastischen einfachen Abfragesprache und der von mir enthaltenen verschachtelten Abfragesprache zu wechseln. Ich habe auch eine Vielzahl von Problemen mit Metriken für verschachtelte Felder behoben.
https://github.com/homeaway/kibana/tree/nestedSupport-5.1

@ppadovani vielen Dank dafür. Ist es möglich, Ihre Arbeit beim Aktivieren verschachtelter Objekte in Kibana von Ihrer Arbeit beim Erstellen einer neuen Abfragesprache zu trennen? Wenn dies separate Zweige sein können, können wir einfach erstere verwenden und sie mit neueren Kibana-Versionen zusammenführen, wenn sie herauskommen, anstatt beide Funktionen zusammenführen zu müssen.

Hast du auch schon einen Docker für diesen Fork erstellt?

@ppadovani +1 für Docker-Container für Ihre Gabel.

@gkozyryatskyy - Bitte öffne ein Problem in der Gabel, und ich werde es mir ansehen.

@imranq2 - Ich könnte dies tun, beachten Sie jedoch, dass die einfache elastische Abfragesprache keine verschachtelten Abfragen unterstützt. Wenn Sie verschachtelte Daten haben und diese abfragen möchten, müssen Sie die Abfrage von Hand als elastisches Search-Json-Blob erstellen und in das Abfragefeld einfügen.

+1

Mein Fork unterstützt jetzt 5.2 im nestedSupport-5.2-Zweig.

@ppadovani Das ist großartig! Lassen Sie es mich wissen, wenn Sie Hilfe bei der Erstellung eines Docker-Containers dafür benötigen.

Ich habe den Docker-Container noch nicht fertig, hatte aber etwas Zeit, mit der Registerkarte "Erkennung" zu spielen und wie sie verschachtelte Daten anzeigt ... auf der Suche nach Feedback von denen, die das verschachtelte Supportproblem überwachen. Die Tabelle ist rekursiv und die Filter für verschachtelte Felder scheinen gut zu funktionieren.

Zu Ihrer Information - Diese Arbeit ist im Grunde abgeschlossen und alle unterstützten Forks/Branches haben die Änderungen beginnend mit nestedSupport-4.5.4 bis nestedSupport-5.2

@Bargs - Ich weiß, dass Sie keine der verschachtelten Arbeiten, die ich durchgeführt habe,
https://github.com/homeaway/kibana/issues/12

Wenn dies etwas ist, was Sie wollen, lassen Sie es mich wissen und ich werde ein Problem eröffnen und einen Patch hinzufügen.

Sieht interessant aus @ppadovani ! Wenn Sie eine PR eröffnen möchten, würde ich auf jeden Fall daran interessiert sein, es auszuprobieren. Wir haben ein wenig darüber gesprochen, Discover eine bessere Unterstützung für verschachtelte Felder hinzuzufügen, daher wäre es großartig, etwas Konkretes zu besprechen.

@ppadovani Ich erstelle gerade einen Docker-Container dafür, damit ich ihn verwenden kann. Haben Sie bereits einen Tarball wie http://staging.elastic.co/ $(VERSION_TAG)/downloads/kibana/kibana-${ELASTIC_VERSION}-linux-x86_64.tar.gz erstellt? Wenn ja, kann ich das einfach in meinen Docker-Container ziehen. Andernfalls muss ich Ihren Zweig erstellen und den Tarball erstellen.

@imranq2 Ich

Zu Ihrer Information - Ich habe eine Pull-Anfrage zur Unterstützung verschachtelter Daten auf der Registerkarte "Erkennung" für Interessierte erstellt:
https://github.com/elastic/kibana/pull/10814

+1

+1 für mich
+10 für meine Kollegen

+1

+1

+1

+1

+1

+1

+1. Wird dies in ELK5 unterstützt?

+1

Dies ist wirklich eine Voraussetzung, da die Nichtunterstützung verschachtelter Objekte wirklich ein Hindernis für die breite Akzeptanz von Kibana in meinem Unternehmen ist, da Sie einen Index für Kibana und einen weiteren mit verschachtelten Dokumenten erstellen müssen, um eine cleverere Suche über die einfache API zu ermöglichen

+1
In meinem Mapping würde es eine mögliche "Explosion" von Indexeigenschaften verhindern.

+1

+1

+1

Bitte hör auf, +1-Kommentare zu posten, die nur alle Leute spammen, die diesen Thread abonniert haben. Klicken Sie stattdessen auf den großen gelben "Daumen hoch"-Button oben in dieser Ausgabe, um sie zu bewerten.

+1

Entwickler von Kibana, bitte tut etwas, Leute, wirklich. Die Verwendung von Kibana ohne verschachtelte Objekte ist in vielen Fällen nutzlos. Sie bereiten Version 6.x ohne verschachtelte Objekte vor...

Unser System scannt Text nach Häusern und speichert die Ergebnisse dann in ES. ES enthält also Hauptdokumente mit einer Reihe von Häusern. Haus ist die verschachtelten Objekte.

Ich kann keine Visualisierung verwenden, um ein Dashboard mit einer Analyse von Häusern zu erstellen, die wir im Text gefunden haben.
Mach bitte etwas. Die Häuser brennen.

Sie müssen dringend verschachtelte Objekte in Kibana verwenden. Fühlt sich schlecht an, dass dies nicht eingebaut ist.

███████╗████████╗██╗██╗     ██╗         ██╗    ██╗ █████╗ ██╗████████╗
██╔════╝╚══██╔══╝██║██║     ██║         ██║    ██║██╔══██╗██║╚══██╔══╝
███████╗   ██║   ██║██║     ██║         ██║ █╗ ██║███████║██║   ██║   
╚════██║   ██║   ██║██║     ██║         ██║███╗██║██╔══██║██║   ██║   
███████║   ██║   ██║███████╗███████╗    ╚███╔███╔╝██║  ██║██║   ██║   
╚══════╝   ╚═╝   ╚═╝╚══════╝╚══════╝     ╚══╝╚══╝ ╚═╝  ╚═╝╚═╝   ╚═╝   

+1

+1

+1

+1

+1

+1

+1

+1

+1

+1

hier noch einer!

Für diejenigen, die meinen Kibana-Fork mit verschachtelter Unterstützung verwendet haben, stelle ich den Support für diesen Fork nach der Kibana-Version 5.4.x ein. Stattdessen werde ich die meisten, wenn nicht sogar alle Funktionen in ein Kibana-Plugin verschieben. Ich hoffe, das Plugin bis Ende des Jahres für die neueste 5.x-Version bereit zu haben. Sie können den Fortschritt hier verfolgen: https://github.com/ppadovani/KibanaNestedSupportPlugin

Ich habe gerade erst mit der Arbeit begonnen, also erwarte in den nächsten Wochen nichts Wichtiges.

+1

+1

+1

+1

+1

Ich habe Screenshots und Statusaktualisierungen für meine Arbeit am verschachtelten Support-Plugin veröffentlicht. Sehen Sie sich das Problem an, um Statusaktualisierungen zu erhalten.

Screenshots und Updates

Ich habe eine Vorabversion von 1.0.0 mit Unterstützung für Kibana 5.6.5 veröffentlicht.

Weitere Informationen zum Inhalt der ersten Vorabversion finden Sie in dieser Ausgabe: Screenshots und Updates

V1.0.0-beta1

Mein Plugin ist vollständig für Version 5.6.5 von Kibana. Ich habe ein paar Aufräumarbeiten, dann schneide ich die Version 5.6.5 und beginne mit der Weiterportierung auf 6.1.X.

Merkmale:

• Unterstützung verschachtelter Abfragen
• Unterstützung für verschachtelte Aggregation
• Verschachtelte Unterstützung von Ergebnissen entdecken
• Anzeigepriorität des Zusammenfassungsfelds entdecken (das ist eigentlich etwas Neues)

Weitere Informationen finden Sie in der README-Datei .

Mein Plugin ist jetzt freigegeben! Unterstützung für 5.5.3, 5.6.5 und 5.6.6. Ich werde dieses Wochenende auf 6.0.X portieren.

Ich werde den Status hier zu diesem Thema wahrscheinlich nicht mehr aktualisieren. Bitte besuchen Sie meine GitHub-Seite, um Veröffentlichungen, Probleme usw. anzuzeigen.

Vielen Dank!

@ppadovani kannst du eine Support-Version für 5.4.0 freigeben, danke.

@ppadovani Ich werde nach dem 6.0.x-Port Ausschau halten!

@SolomonShorser-OICR
Ich habe einen 6.0.1 Beta 1 Build veröffentlicht.

Die einzige bekannte Einschränkung besteht darin, dass die Filterleiste nicht funktionsfähig ist, da sie hart codiert ist, um nur mit der Abfragesprache Lucene zu funktionieren. Ich arbeite daran, das zu umgehen, habe aber vielleicht erst am nächsten Wochenende eine Lösung.

Ich habe jetzt einen Plugin-Build für 6.0.1 veröffentlicht, 6.1.x ist als nächstes dran.

@ppadovani
Vielen Dank für Ihre Arbeit und die Version 6.0.1!

Basierend auf Kibana 6.0.1 funktionieren einige Kibana-Funktionen nach der Installation dieses Plugins nicht richtig.

Wenn Sie auf Timelion klicken, wird eine Fehlermeldung angezeigt:

wenn x-pack installiert ist, hat einige x-pack-Funktion "discover" eine andere Fehlermeldung in "Foreach"

Hey Kibana-Team, warum hast du @ppadovani noch nicht eingestellt?

@sccds - Bitte verschiebe diesen Fehlerbericht in mein GitHub-Repository:

https://github.com/ppadovani/KibanaNestedSupportPlugin/issues/27

Wenn jemand Probleme mit meinem Plugin hat, öffnen Sie bitte Probleme in meinem Repository und beginnen Sie hier keine Konversation. Diese Ausgabe hat viel zu viele Abonnenten.

@Hronom - Ich schätze den Gedanken, aber meine Stärken liegen nicht in Javascript .... obwohl das

Zu Ihrer Information - Mein Plugin ist jetzt mit Kibana-Versionen auf dem neuesten Stand. Ich habe die Unterstützung für 6.1.2 freigegeben.

Danke @ppadovani , mach weiter so!

+1

+1

+1 Hallo, Tomitribe ist sehr an dieser Funktion interessiert. Wissen Sie, wann diese Funktion implementiert wird?

@ppadovani wo kann ich nach der Funktionalität fragen? Ich kämpfe mit der verschachtelten Aggregation in der Datentabelle.

@bumerankkk Gehe hier hin und öffne ein Problem: https://github.com/ppadovani/KibanaNestedSupportPlugin

Alternativ können Sie, wenn Sie zu einer der Dokumentationsseiten gehen, die Ihrer Frage entspricht, einen Kommentar am Ende der Seite hinzufügen.

https://ppadovani.github.io/knql_plugin/overview/

Wird daran aktiv gearbeitet? Haben wir Zeitpläne, wann ein solches Feature eine Produktionsfreigabe erfahren würde?

Alles Gute zum Geburtstag 🎂 'Verschachtelte Typaggregationen',

Jetzt bist du schon vier Jahre alt. Vor nicht allzu langer Zeit warst du noch so klein und süß.
Ich hoffe, Sie werden erwachsen und wir werden in Zukunft einige gemeinsame gute Jahre haben.

beste Malu

+1

+1

+1

+1

+1

+1

+1

Warum ist das noch nicht implementiert

cue gründe, mit dieser Funktion hätte Whey keinen Spaß, keinen Spaß und niemand wird zum Github der Kibana gehen, das ist eine Art Leuchtfeuer

Die neueste elk-Version unterstützt verschachtelte Daten für mich korrekt

El El Mié, 6. Juni 2018 bis 22:08, Eugene [email protected]
Beschreibung:

aus gründen, mit dieser funktion hätte Whey keinen faden, keinen spaß und
Niemand wird zum Github der Kibana gehen, das ist eine Art Leuchtfeuer

—
Sie erhalten dies, weil Sie einen Kommentar abgegeben haben.
Antworten Sie direkt auf diese E-Mail und zeigen Sie sie auf GitHub an
https://github.com/elastic/kibana/issues/1084#issuecomment-395214259 ,
oder den Thread stumm schalten
https://github.com/notifications/unsubscribe-auth/AMK55lokgriJHhPF5EuBN6yREr5-dT4-ks5t6ETAgaJpZM4Bru7J
.

@javixeneize Ich sitze hier auf der 6.2.4 Version, kann keine Unterstützung für verschachtelte Objekte finden, korrigiere mich, wenn ich falsch liege

Ich habe diese Version und kann auf ab zugreifen, wobei meine Struktur {Id:xx,
a: {b:xx}}

El El Mié, 6. Juni 2018 um 22:18 Uhr, Eugene [email protected]
Beschreibung:

@javixeneize https://github.com/javixeneize Ich sitze hier am 6.2.4
Version, kann keine Unterstützung für dat verschachtelte Objekte finden, korrigieren Sie mich, wenn ich falsch liege.

—
Sie erhalten dies, weil Sie erwähnt wurden.

Antworten Sie direkt auf diese E-Mail und zeigen Sie sie auf GitHub an
https://github.com/elastic/kibana/issues/1084#issuecomment-395216828 ,
oder den Thread stumm schalten
https://github.com/notifications/unsubscribe-auth/AMK55tPrh5Qi8m7PyHbQatkRAw8qj4RGks5t6EcKgaJpZM4Bru7J
.

@javixeneize hast du das nächste Mapping mit type : nested ?
Sie können eine Zuordnung von GET /index-name

{
  "document": {
    "properties": {
      "locations": {
        "type": "nested",
        "properties": {
          "name": {
            "type": "keyword"
          },
          "popularity": {
            "type": "long"
          }
        }
      }
    }
  }
}

Ich werde morgen nachsehen, aber ich habe die Standardkonfiguration

El El Mié, 6. Juni 2018 um 22:24 Uhr, Eugene [email protected]
Beschreibung:

@javixeneize https://github.com/javixeneize hast du das nächste Mapping ?
mit Typ: verschachtelt?
Sie können eine Zuordnung durch GET /index-name . erhalten

{
"dokumentieren": {
"Eigenschaften": {
"Standorte": {
"typ": "verschachtelt",
"Eigenschaften": {
"Start": {
"typ": "lang"
},
"Ende": {
"typ": "lang"
},
"normalisiert": {
"typ": "Schlüsselwort"
},
"Original": {
"typ": "Schlüsselwort"
}
}
}
}
}
}
}

—
Sie erhalten dies, weil Sie erwähnt wurden.
Antworten Sie direkt auf diese E-Mail und zeigen Sie sie auf GitHub an
https://github.com/elastic/kibana/issues/1084#issuecomment-395218644 ,
oder den Thread stumm schalten
https://github.com/notifications/unsubscribe-auth/AMK55npNY8uTVUPgVIbjXfAXSB5tPwDwks5t6EikgaJpZM4Bru7J
.

@javixeneize danke im voraus!
Sie haben wahrscheinlich ein Unter-JSON-Objekt, das auf das Hauptdokument reduziert wurde, aber dies ist kein verschachteltes Objekt.

Ja, seien Sie vorsichtig, @javixeneize Ihre Daten korrelieren nicht wie erwartet, es sei denn, Sie setzen die Zuordnung in ES für dieses Feld ausdrücklich auf verschachtelt

https://www.elastic.co/guide/en/elasticsearch/reference/current/nested.html

Hauptproblem jedes Feld im verschachtelten Objekt wird einfach zu einem Array und Sie verlieren die Korrelation zwischen den Eigenschaften.

Ich habe gerade meine Daten abgeflacht, bevor ich sie vorerst in es geworfen habe.

Wenn Sie nicht warten können, bis Elastic dies implementiert, können Sie mein Kibana-Plugin verwenden:

Überblick:
https://ppadovani.github.io/knql_plugin/overview/
Installation:
https://ppadovani.github.io/knql_plugin/installation/
Abfragesprache (SQL wie):
https://ppadovani.github.io/knql_plugin/knql/

Unterstützung für 5.5.3 bis 6.2.4, wenn eine Version fehlt, öffnen Sie nach 5.5 bitte ein Problem:
https://github.com/ppadovani/KibanaNestedSupportPlugin

Beiträge, Funktionsanfragen und Fehlerberichte sind willkommen.

Okay, dann muss ich warten...

El El Juli, 7. Juni 2018 um 0:38 Uhr, Pierre Padovani [email protected]
Beschreibung:

Wenn Sie nicht warten können, bis Elastic dies implementiert, können Sie my Kibana . verwenden
Plugin:

Überblick:
https://ppadovani.github.io/knql_plugin/overview/
Installation:
https://ppadovani.github.io/knql_plugin/installation/
Abfragesprache (SQL wie):
https://ppadovani.github.io/knql_plugin/knql/

Unterstützung für 5.5.3 bis 6.2.4, falls eine Version fehlt, bitte nach 5.5
öffne ein Problem:
https://github.com/ppadovani/KibanaNestedSupportPlugin

Beiträge, Funktionsanfragen und Fehlerberichte sind willkommen.

—
Sie erhalten dies, weil Sie erwähnt wurden.
Antworten Sie direkt auf diese E-Mail und zeigen Sie sie auf GitHub an
https://github.com/elastic/kibana/issues/1084#issuecomment-395246977 ,
oder den Thread stumm schalten
https://github.com/notifications/unsubscribe-auth/AMK55q36DWICC4QoNald5fO7rCBnLdTgks5t6GgJgaJpZM4Bru7J
.

+1

+1

+1

+1

+1

+1

sehr nützliches Feature... +1

Ohne diese Unterstützung ist Kibana für meine Anwendungsfälle absolut nutzlos. Ich sollte meine Daten nicht glätten oder umstrukturieren müssen. Ich sollte nur in der Lage sein, Daten einzugeben und Visualisierungen oder Aggregationen herauszuholen. Vier Jahre später und immer noch keine Unterstützung für verschachtelte Objekte?

Irgendeine Schätzung, wann diese Funktion verfügbar ist?

Könnte uns jemand von Elastic bitte mitteilen, ob diese Funktion zu Kibana hinzugefügt wird? Dieses Ticket ist jetzt seit fast 5 Jahren geöffnet.

Was bringt es außerdem, eine solche Funktion freizugeben, wenn sie in Kibana nicht verwendet werden kann?

Versteh mich nicht falsch, aber es fühlt sich ein bisschen komisch an.

+1

+1

@dayotoro @berkoaviv @yechanpark @mackermann2 @mahnejo @bphenriques

Bitte fügen Sie keine Kommentare wie +1-Kommentare hinzu. Vor allem für Themen, die Ihnen wirklich am Herzen liegen! Lassen Sie mich erklären, dass jeder mit aktivierten Benachrichtigungen leicht verärgert ist und sich vom Thread abmeldet. Das bedeutet, dass die Mitwirkenden dies allein aufgrund der Anzahl der beteiligten Teilnehmer nicht als wichtiges Thema ansehen werden. Wenn sich Leute abmelden, sinkt diese Zahl.

Stattdessen sollten Sie den Thread über das Feld in der oberen rechten Ecke abonnieren und der ersten Github-Ausgabe einen Daumen nach oben geben, um Ihre Unterstützung zu zeigen.

@bugs181 das funktioniert hier nicht, dieses Problem ist eine Anomalie und absorbiert alle ankommenden Wellen, seit fünf Jahren!

Ich denke, Wissenschaftler sollten dieses Schwarze Loch erforschen!

Die Entwickler von Kibana scheinen ungewöhnliche Kräfte zu haben!!!

@bugs181 das funktioniert hier nicht, dieses Problem ist eine Anomalie und absorbiert alle ankommenden Wellen, seit fünf Jahren!

Haben Sie jemals gedacht, dass sie nicht die gesamte Ausgabe mit Tonnen von "+1 ich auch"-Kommentaren lesen wollten, die nach Informationen suchen, die für sie wertvoll sein könnten?

@ppadovani hat ein Open-Source-Plugin, das verwendet werden könnte (siehe seinen Kommentar oben)

@mika76
ich benutze das.

sehr nützlich im einfachen Fall

@mika76 sei Zeitgründen derzeit nicht aktiv gepflegt wird.

ppadovani kommentierte vor 28 Tagen
Hey Leute... Ich habe festgestellt, dass meine Zeit aufgrund von Arbeit und Leben stark eingeschränkt ist. Obwohl ich die Dinge teilweise verbessern konnte, erfordern die Änderungen, die das Kibana-Team beim Wechsel zu React vorgenommen hat, hauptsächlich das Umschreiben großer Teile dessen, was ich getan habe.

@mika76 ja, dieses Plugin ist
Aber was für mich seltsam ist, dass Elasticsearch offizielle Unterstützung für verschachtelte Objekte hat, Kibana jedoch nicht.

Wie bereits erwähnt @bugs181, wird es derzeit nicht aktiv gewartet und das bedeutet, dass Sie nicht auf die neueste Version des ELK-Stack aktualisieren können.

Offizielle Unterstützung bedeutet also auch richtige Wartung. Aber da die Entwickler dieses Thema ausspucken, haben wir dafür keinen offiziellen Support.

Ich muss hier @bugs181 an zweiter Stelle

Bisher habe ich auch immer empfohlen, dieses Plugin zu verwenden. Mir war nicht bewusst, dass dies nicht mehr aktiv gepflegt wird und bin traurig das zu hören. Wir wissen auch, dass dieses Problem seit 5 Jahren offen ist, und wir führen Analysen zu Problemen durch (natürlich in Kibana - siehe Screenshot im Anhang) und wissen, dass dies die am häufigsten reagierten Probleme sind:

Aber wie Sie ziemlich genau wissen, gibt es (buchstäblich) Tausende anderer offener Probleme, daher müssen wir immer zwischen Funktionen, Fehlerbehebungen usw. abwägen, um eine gute Priorisierung zu finden. Auch (aber nicht nur) weil dieses Feature immer ein ziemlich solides funktionierendes Community-Plugin hatte, hatte es bisher nicht genug Priorität (um andere Probleme zu überwinden). Wie so oft gibt es auch oft technische Zusammenhänge zwischen verschiedenen Dingen, und zum Beispiel für verschachtelte Feldunterstützungen möchten wir derzeit zuerst unsere Überarbeitung der gesamten Visualisierungs-Rendering-Pipeline (#19813) abschließen, bevor wir damit beginnen, da sie stark verknüpft ist zusammen. Trotzdem haben wir dieses Problem derzeit auf unserer Roadmap für 7.x und werden hoffentlich nicht durch andere technische Änderungen blockiert, sodass wir dieses Feature bald in den Kibana-Kern verschieben können, um es ohne Community-Plugin verfügbar zu machen.

Beinhaltet die Anfrage zur Unterstützung verschachtelter Objektvisualisierungen Unterstützung für Eltern-Kind-Beziehungen? Ich habe einen Kunden, der sich nach Eltern-Kind-Visualisierungen erkundigt.

@MorrieAtElastic nein, Eltern-Kind wäre ein separates Problem.

https://github.com/elastic/kibana/issues/3730
https://github.com/elastic/kibana/issues/20255

Es ist ein wirklich großes Problem, da wir 1:M-Beziehungen in Kibana nicht richtig anzeigen können, da ElasticSearch Nested Object unterstützt, sodass wir Daten laden, aber nicht richtig anzeigen können. Dies muss bald behoben werden.

Vielen Dank,
Rakesh

Habe heute mit der Arbeit an der Unterstützung verschachtelter Felder in KQL begonnen. Es wurde ein separates Problem erstellt, das nachverfolgt werden muss, da die vollständige Unterstützung verschachtelter Felder in Kibana viele Änderungen beinhaltet, die über nur KQL hinausgehen.

https://github.com/elastic/kibana/issues/44554

OMG ist das echt? Nach 5 Jahren...

Was ist mit dem neuen Datentyp: abgeflacht? Wird es in Zukunft Unterstützung für Visualisierungen für diesen neuen Typ geben? Viele Servicekunden werden auf diesen neuen Typ gelenkt und fragen, ob/wann Visualisierungen ins Spiel kommen.

@Barrybigbuddy Ich bin mir nicht sicher, was die Pläne für abgeflacht sind, könnten Sie ein separates Ticket dafür erstellen?

Ich möchte, dass die Eltern-Kind-Beziehung in Kibana dargestellt wird. Bitten Sie daher, diese Funktion zu priorisieren. Vielen Dank. M'Jay

+1

Fantastisch! +1 hier! Gibt es einen bestimmten Zeitrahmen für diese Funktion?

Lassen Sie mich hier der Party-Pooper sein und eine kurze Erinnerung daran geben: Es gibt viele Leute, die diese Ausgabe abonniert haben (228 Community-Leute + ein paar Elastic-Teams), also wäre es schön, wenn wir +1 behalten würden ein Minimum. Dank GitHubs netter Reaktionsfunktion kannst du auch deine Zustimmung und Liebe zu @Bargs zu seinen Kommentaren

Ich werde hier ein paar Referenzen für andere Feldtypen hinterlassen:

• Unterstützung für den Feldtyp flattened – derzeit nicht auf unserer kurzfristigen Roadmap
• Eltern-Kind-Unterstützung - derzeit nicht auf unserer kurzfristigen Roadmap

Wann kommt diese Funktion? Wir arbeiten aktiv daran und es wird verschiedene Phasen dazu geben (KQL, Filterunterstützung, Visualisierungen usw.), die in verschiedenen Versionen erscheinen können, und es hängt davon ab, wie der Entwicklungsprozess damit abläuft. Wir werden hier Pull-Requests zu dieser Funktion als Kommentar veröffentlichen, damit Sie in der PR sehen können, in welcher Version diese bestimmte Phase/dieser Teil des Supports landen wird.

Ich bin mir nicht sicher, ob dies das gleiche Problem ist, aber ich habe einen Index mit einer Liste von Objekten, verwende jedoch nicht den "verschachtelten" Datentyp. In Kibana sehe ich jedoch unter "Verfügbare Felder" keine Felder in den Objekten, die in der Liste enthalten sind. Ist das eine bekannte Einschränkung?

@ppadovani ist das Plugin für Kibana-7.3.1 verfügbar?

Hallo zusammen, ich glaube ich habe eine Lösung für dieses Problem gefunden. Beim Lesen des Quellcodes der Mappings habe ich festgestellt, dass es eine include_in_parent-Option für den verschachtelten Mapping-Typ gibt. Mit dieser Option kann ich problemlos eine Reihe von Objekten in Kibana visualisieren!!! Aus irgendeinem Grund erscheint diese Option NICHT in der ES-Dokumentation. Vielleicht mache ich etwas falsch, aber anscheinend funktioniert alles. Ich verwende die Felder-Option, damit ich sowohl als Schlüsselwort als auch als Volltext suchen kann.

Zuordnungen

PUT /test_index
```json
{
"Zuordnungen": {
"dynamisch": "streng",
"Eigenschaften": {
"Zustand": {
"typ": "Schlüsselwort"
},
"erstellt von": {
"typ": "verschachtelt",
"include_in_parent": wahr,
"Eigenschaften": {
"Vorname": {
"Text eingeben",
"Felder": {
"roh": {
"typ": "Schlüsselwort"
}
}
},
"Nachname": {
"Text eingeben",
"Felder": {
"roh": {
"typ": "Schlüsselwort"
}
}
}
},
"dynamisch": "streng"
},
"Personen": {
"typ": "verschachtelt",
"include_in_parent": wahr,
"Eigenschaften": {
"Vorname": {
"Text eingeben",
"Felder": {
"roh": {
"typ": "Schlüsselwort"
}
}
},
"Nachname": {
"Text eingeben",
"Felder": {
"roh": {
"typ": "Schlüsselwort"
}
}
}
},
"dynamisch": "streng"
}
}
}
}

### Documents
POST test_index/_doc
```json
{
  "state": "done",
  "created_by": {
    "first_name": "Patricio",
    "last_name": "de Villa"
  },
  "people": [
    {
      "first_name": "Patricio",
      "last_name": "de Villa"
    },
    {
      "first_name": "Test",
      "last_name": "Test"
    }
  ]
}

@patodevilla

Die Verwendung von include_in_parent oder copy_to als Problemumgehung wird nicht unterstützt und funktioniert möglicherweise in zukünftigen Versionen nicht mehr.

https://www.elastic.co/guide/en/kibana/7.x/nested-objects.html

Verschachtelte Feldunterstützung Phase 1 veröffentlicht in 7.6.0

Ein kleines Update zu diesem Problem: Wir haben gerade 7.6.0 von Kibana veröffentlicht, das die anfängliche Unterstützung für verschachtelte Felder enthält. Sie können nun verschachtelte Felder an den folgenden Stellen in Kibana verwenden:

• Indexmuster erkennen verschachtelte Felder korrekt
• Sie können verschachtelte Felder in Discover ansehen
• Das Filtern nach verschachtelten Feldern über die Filterleiste funktioniert
• KQL ermöglicht die Suche nach verschachtelten Feldern (eine Erläuterung der Syntax zum Abfragen verschachtelter Felder finden Sie in der KQL-Dokumentation )

Wir arbeiten derzeit daran, verschachtelte Felder in Visualisierungen zu aktivieren und werden dieses Problem weiterhin mit relevanten Informationen aktualisieren.

Hi! Wir warten auf das NESTED-Funktional. Wann können wir es sehen? Dies ist der einzige Moment, in dem nicht vollständig auf Kibana umgestellt wird (Elastic ist das Beste). Die ganze Welt beobachtet dich.

Die Abfrage verschachtelter Felder ist immer noch mit KQL fehlerbehaftet.
Beispiel:
Betrachten Sie die Indexzuordnung definiert als
"first": { "type": "nested", "properties": { "second": { "type": "nested", "properties": { "field": { "type": "text" } } } } }
Ich habe ein Indexmuster basierend auf diesem Index erstellt und möchte first.second.field : "test" abfragen
Diese Abfrage auf der Registerkarte "Inspizieren" wird generiert
"filter": [ { "bool": { "should": [ { "match": { "first.second.field": "test" } } ], "minimum_should_match": 1 } } ],
was falsch ist.
Die korrekte Version sollte auch die verschachtelte Syntax "nested": {"path": "first.second",...}

Pingen @elastic/kibana-app-arch (Team:AppArch)

@IlyaHalsky Bitte überprüfen Sie die KQL-Dokumentation zu verschachtelten Feldern. Verschachtelte Felder erfordern für die Abfrage eine bestimmte Syntax, da Sie mehrere Abfragemöglichkeiten haben (in Ihrem Fall möchten Sie wahrscheinlich nur Folgendes tun: first.second:{ field: "test" } ).

Sie sollten auch eine Popup-Benachrichtigung sehen, wenn Sie zum ersten Mal versuchen, ein verschachteltes Feld in einer KQL-Abfrage zu verwenden, die Sie mit dieser Erklärung verknüpft.

Ich frage, ob es eine neue Kibana-Version gibt, die verschachtelte Felder in Visualisieren unterstützt:
mein daten beispiel:
{
"fieldX": "x",
"fiedY": "Y",
"Anomalien": [
{
"Kategorie": "System",
"name": "cpu",
"Datum": "2020-03-11T13:33:40.000Z"
},
{
"Kategorie": "Neustart",
"name": "zurücksetzen",
"Datum": "2020-03-11T13:33:40.000Z"
},
{
"Kategorie": "System",
"name": "erinnerung",
"Datum": "2020-03-11T13:33:40.000Z"
}
]
}

Ich möchte ein Kreisdiagramm in Kibana visualisieren, in dem:
Slice Size count = Gesamtanzahl der Anomalien-Array-Objekte (Dokumentenanzahl x Objektanzahl nach Anomalien-Array)
erster Eimer = anomalies.category
zweiter Eimer = anomalies.name

Mit anderen Worten, ich möchte die Verteilung des Anomalienamens nach Anomaliekategorie visualisieren?

+1

Gibt es darüber irgendwelche Neuigkeiten? Das Release 7.6 ist schon ein paar Monate alt, 7.7 und 7.8 hatten keine Erwähnungen in den Release Notes und auch die Dokumentationen zu 7.9, 7.x und master enthalten keine neuen Infos zu dieser Funktionalität.

Einfach einstimmen, um auch unsere großen Hoffnungen auf die Unterstützung verschachtelter Aggregationen in Visualisierungen auszudrücken. Das wäre großartig!